Страница 1 из 2

Тест PostGIS vs ArcSDE: загрузка растра

Добавлено: 04 июн 2009, 05:22
Максим Дубинин
Есть ли счастливые обладатели ArcSDE интересующиеся PostGIS, которые хотят поучаствовать в тестировании производительности PostGIS и ArSDE?

Идея теста простая, загрузка растра размером пару сотен мегапикселей. В новом PostGIS появилась такая возможность. Если кто заинтересуется, объясню что и как делать.

Re: Тест PostGIS vs ArcSDE: загрузка растра

Добавлено: 04 июн 2009, 08:45
Voltron
sim писал(а):Есть ли счастливые обладатели ArcSDE интересующиеся PostGIS, которые хотят поучаствовать в тестировании производительности PostGIS и ArSDE?
Не знаю, счастлив или нет от этого факта, но ArcSDE обладаю. Правда стареньким 9.1. Если это подходит - попробую поучаствовать

Re: Тест PostGIS vs ArcSDE: загрузка растра

Добавлено: 04 июн 2009, 17:56
Максим Дубинин
Так, тогда поехали, первым делом скажи, умеешь ли ты загружать туда растры и есть ли в процессе построения некий аналог overviews? или пирамидных слоев? Так чтобы несколько можно было построить. Скажем растр 10000х10000, а тебе нужны еще на его основе сделать 5000х5000, 3000х3000 и т.д.?

Я сам никогда дела с ArcSDE не имел, к сожалению, поэтому могу неправильно сформулировать.

Re: Тест PostGIS vs ArcSDE: загрузка растра

Добавлено: 04 июн 2009, 18:45
Voltron
sim писал(а):Так, тогда поехали, первым делом скажи, умеешь ли ты загружать туда растры
Умеешь. Через ArcCatalog
sim писал(а):и есть ли в процессе построения некий аналог overviews? или пирамидных слоев?
В процессе загрузки нету, можно после загрузки растра построить пирамиды, только вот настроек там никаких нет, т.е. тупо выбираешь построить и они строятся.

Я тоже с SDE знаком постольку-поскольку, и всех тонкостей не знаю :-(

Re: Тест PostGIS vs ArcSDE: загрузка растра

Добавлено: 05 июн 2009, 01:51
Максим Дубинин
а у тебя ArcSDE на сервере каком-то? Там же можно будет собрать PostGIS? Или наоборот ArcSDE локально установить временно? Иначе сравнение не очень будет, если заливку локально и на сервер сравнивать.

Re: Тест PostGIS vs ArcSDE: загрузка растра

Добавлено: 05 июн 2009, 09:40
Voltron
sim писал(а):а у тебя ArcSDE на сервере каком-то? Там же можно будет собрать PostGIS? Или наоборот ArcSDE локально установить временно?
На сервере. Могу там же поднять и PostGIS, а могу все локально на раб. станции организовать, машинка достаточно производительная. Наверное, попробую проверить на обеих.
Насколько понимаю, и загрузку растра производить нужно будет тоже с этой же машины, а не по сети.

Re: Тест PostGIS vs ArcSDE: загрузка растра

Добавлено: 06 июн 2009, 13:11
Максим Дубинин
да, на обоих это отлично! загрузку да, с той же
следующий этап следующий:
1. установить PostGIS http://trac.osgeo.org/postgis/
2. установить WKTRaster http://trac.osgeo.org/postgis/wiki/WKTRaster
3. скачать тестовый наборчик данных

Re: Тест PostGIS vs ArcSDE: загрузка растра

Добавлено: 09 июн 2009, 10:06
Voltron
sim писал(а):следующий этап следующий...
Наборчик скачал, нужные исходники тоже. Сижу компиляю, и пытаюсь всю эту кучу кода заставить работать как одно целое :-)

Re: Тест PostGIS vs ArcSDE: загрузка растра

Добавлено: 09 июн 2009, 13:23
Dorofeev
Мне кажется можно объективно сравнивать быстродействие только при использовании обоими PostgreSQL в качестве БД, а она стала поддерживаться в ArcSDE с версии 9.3.

Re: Тест PostGIS vs ArcSDE: загрузка растра

Добавлено: 09 июн 2009, 13:59
Voltron
Dorofeev писал(а):Мне кажется можно объективно сравнивать быстродействие только при использовании обоими PostgreSQL в качестве БД, а она стала поддерживаться в ArcSDE с версии 9.3.
Попробую заполучить на "пощупать" 9.3... Только тогда потестить смогу только на рабочей станции. Не рискну на боевом серваке заводить второй SDE

Re: Тест PostGIS vs ArcSDE: загрузка растра

Добавлено: 09 июн 2009, 15:28
Dorofeev
На винде 2 сервиса SDE разных версий нормально сосуществуют, на линуксе правда не пробовал. Если что, у меня есть варезная 9.3.
Сам по себе тест времени загрузки с практической стороны мало интересен.Интересно как поведет себя свободный аналог в работе. У меня на предприятии на сервере с 16 гб оперативки крутится БД SDE с растрами около 100 гб, при этом всегда свободно около 7 га оперативки, работает без задержек.

Re: Тест PostGIS vs ArcSDE: загрузка растра

Добавлено: 09 июн 2009, 15:57
Voltron
Все собралось. PostgreSQL 8.3.7, GEOS 3.1.0, Proj 4.6.1, PostGIS 1.4.0 (r4156), WKT Raster 0.1.6 (r4156). Завтра можно будет начинать.
Dorofeev писал(а):На винде 2 сервиса SDE разных версий нормально сосуществуют, на линуксе правда не пробовал.
У нас виндовые серваки. Но все равно не рискну, сервак поднимал не я, и там такое творится... Один неверный чих и все может оч-ч-ч-чень феерично накрыться
Dorofeev писал(а):Если что, у меня есть варезная 9.3.
Ну да, где Симферополь и где Запорожье :-), в таком случае самому проще скачать. Но даже качать не прийдется - выцыганил у коллег, судя по всему, тоже варез.
Dorofeev писал(а):У меня на предприятии на сервере с 16 гб оперативки крутится БД SDE с растрами около 100 гб, при этом всегда свободно около 7 га оперативки, работает без задержек.
Неслабо. А что за контора, если не секрет?

Re: Тест PostGIS vs ArcSDE: загрузка растра

Добавлено: 09 июн 2009, 22:03
Dorofeev
Предприятие называется ООО Технохимкомплект

Re: Тест PostGIS vs ArcSDE: загрузка растра

Добавлено: 11 июн 2009, 16:51
Максим Дубинин
Dorofeev писал(а):Сам по себе тест времени загрузки с практической стороны мало интересен
Надо с чего-то начинать.

Дальше нужно действовать согласно инструкции Матеуша.

Вкратце:

1. Построить овервью

Код: Выделить всё

gdaladdo -r average input.tif 2 4 8 16 32 64 128
2. Конвертировать в sql (srid надо проверить)

Код: Выделить всё

gdal2wktraster.py -r input.tif -t input_rb_128 \
  -o input_rb_128.sql \
  --index --srid 4326 -k -m 128x128 -O -M -v
Тут пройдет много времени.
3. Загрузка в БД

Код: Выделить всё

psql -d input -f input_rb_128.sql
Тут тоже как я понимаю пройдет время.

Вопросы: как померять время, похожа ли процедура загрузки в arcsde и наконец вопрос, конечно, как попробовать это в работе, но это на потом.

Re: Тест PostGIS vs ArcSDE: загрузка растра

Добавлено: 11 июн 2009, 17:27
Voltron
sim писал(а):как померять время
Может подойдет timethis из набора Windows 2000 Resource Kit ?
sim писал(а):похожа ли процедура загрузки в arcsde
Насколько знаю, там в два этапа всего:
1. Загрузка растра в БД (без промежуточных действий вроде конвертации в sql)
2. Построение пирамид (по желанию)

Вопросы:
1. Время считать полностью на все три операции? Если да, то как: для каждой отдельно, а потом суммировать; вести учет общего времени, какой-то другой вариант...
2. SDE брать последний, который работает с PostgreSQL?