Тест PostGIS vs ArcSDE: загрузка растра

[Максим Дубинин]

Есть ли счастливые обладатели ArcSDE интересующиеся PostGIS, которые хотят поучаствовать в тестировании производительности PostGIS и ArSDE?

Идея теста простая, загрузка растра размером пару сотен мегапикселей. В новом PostGIS появилась такая возможность. Если кто заинтересуется, объясню что и как делать.

[Voltron]

Есть ли счастливые обладатели ArcSDE интересующиеся PostGIS, которые хотят поучаствовать в тестировании производительности PostGIS и ArSDE?

Не знаю, счастлив или нет от этого факта, но ArcSDE обладаю. Правда стареньким 9.1. Если это подходит - попробую поучаствовать

[Максим Дубинин]

Так, тогда поехали, первым делом скажи, умеешь ли ты загружать туда растры и есть ли в процессе построения некий аналог overviews? или пирамидных слоев? Так чтобы несколько можно было построить. Скажем растр 10000х10000, а тебе нужны еще на его основе сделать 5000х5000, 3000х3000 и т.д.?

Я сам никогда дела с ArcSDE не имел, к сожалению, поэтому могу неправильно сформулировать.

[Voltron]

Так, тогда поехали, первым делом скажи, умеешь ли ты загружать туда растры

Умеешь. Через ArcCatalog

и есть ли в процессе построения некий аналог overviews? или пирамидных слоев?

В процессе загрузки нету, можно после загрузки растра построить пирамиды, только вот настроек там никаких нет, т.е. тупо выбираешь построить и они строятся.

Я тоже с SDE знаком постольку-поскольку, и всех тонкостей не знаю

[Максим Дубинин]

а у тебя ArcSDE на сервере каком-то? Там же можно будет собрать PostGIS? Или наоборот ArcSDE локально установить временно? Иначе сравнение не очень будет, если заливку локально и на сервер сравнивать.

[Voltron]

а у тебя ArcSDE на сервере каком-то? Там же можно будет собрать PostGIS? Или наоборот ArcSDE локально установить временно?

На сервере. Могу там же поднять и PostGIS, а могу все локально на раб. станции организовать, машинка достаточно производительная. Наверное, попробую проверить на обеих.
Насколько понимаю, и загрузку растра производить нужно будет тоже с этой же машины, а не по сети.

[Максим Дубинин]

да, на обоих это отлично! загрузку да, с той же
следующий этап следующий:
1. установить PostGIS http://trac.osgeo.org/postgis/
2. установить WKTRaster http://trac.osgeo.org/postgis/wiki/WKTRaster
3. скачать тестовый наборчик данных

[Voltron]

следующий этап следующий...

Наборчик скачал, нужные исходники тоже. Сижу компиляю, и пытаюсь всю эту кучу кода заставить работать как одно целое

[Dorofeev]

Мне кажется можно объективно сравнивать быстродействие только при использовании обоими PostgreSQL в качестве БД, а она стала поддерживаться в ArcSDE с версии 9.3.

[Voltron]

Мне кажется можно объективно сравнивать быстродействие только при использовании обоими PostgreSQL в качестве БД, а она стала поддерживаться в ArcSDE с версии 9.3.

Попробую заполучить на "пощупать" 9.3... Только тогда потестить смогу только на рабочей станции. Не рискну на боевом серваке заводить второй SDE

[Dorofeev]

На винде 2 сервиса SDE разных версий нормально сосуществуют, на линуксе правда не пробовал. Если что, у меня есть варезная 9.3.
Сам по себе тест времени загрузки с практической стороны мало интересен.Интересно как поведет себя свободный аналог в работе. У меня на предприятии на сервере с 16 гб оперативки крутится БД SDE с растрами около 100 гб, при этом всегда свободно около 7 га оперативки, работает без задержек.

[Voltron]

Все собралось. PostgreSQL 8.3.7, GEOS 3.1.0, Proj 4.6.1, PostGIS 1.4.0 (r4156), WKT Raster 0.1.6 (r4156). Завтра можно будет начинать.

На винде 2 сервиса SDE разных версий нормально сосуществуют, на линуксе правда не пробовал.

У нас виндовые серваки. Но все равно не рискну, сервак поднимал не я, и там такое творится... Один неверный чих и все может оч-ч-ч-чень феерично накрыться

Если что, у меня есть варезная 9.3.

Ну да, где Симферополь и где Запорожье , в таком случае самому проще скачать. Но даже качать не прийдется - выцыганил у коллег, судя по всему, тоже варез.

У меня на предприятии на сервере с 16 гб оперативки крутится БД SDE с растрами около 100 гб, при этом всегда свободно около 7 га оперативки, работает без задержек.

Неслабо. А что за контора, если не секрет?

[Dorofeev]

Предприятие называется ООО Технохимкомплект

[Максим Дубинин]

Сам по себе тест времени загрузки с практической стороны мало интересен

Надо с чего-то начинать.

Дальше нужно действовать согласно инструкции Матеуша.

Вкратце:

1. Построить овервью

Код: Выделить всё

gdaladdo -r average input.tif 2 4 8 16 32 64 128

2. Конвертировать в sql (srid надо проверить)

Код: Выделить всё

gdal2wktraster.py -r input.tif -t input_rb_128 \
  -o input_rb_128.sql \
  --index --srid 4326 -k -m 128x128 -O -M -v

Тут пройдет много времени.
3. Загрузка в БД

Код: Выделить всё

psql -d input -f input_rb_128.sql

Тут тоже как я понимаю пройдет время.

Вопросы: как померять время, похожа ли процедура загрузки в arcsde и наконец вопрос, конечно, как попробовать это в работе, но это на потом.

[Voltron]

как померять время

Может подойдет timethis из набора Windows 2000 Resource Kit ?

похожа ли процедура загрузки в arcsde

Насколько знаю, там в два этапа всего:
1. Загрузка растра в БД (без промежуточных действий вроде конвертации в sql)
2. Построение пирамид (по желанию)

Вопросы:
1. Время считать полностью на все три операции? Если да, то как: для каждой отдельно, а потом суммировать; вести учет общего времени, какой-то другой вариант...
2. SDE брать последний, который работает с PostgreSQL?