СУБД для анализа данных

Ответить
ykochubeev
Новоприбывший
Сообщения: 8
Зарегистрирован: 23 сен 2010, 12:43
Репутация: 0

СУБД для анализа данных

Сообщение ykochubeev » 23 сен 2010, 13:19

Я прошу прощения за возможно маркетинговое сообщение.

Но дело в том что мне очно нужно понять насколько применимо в ГИС предлагаемая нами система. Это СУБД работающая на кластере из x86 машин, и обрабатывающая в параллель тяжелые SQL запросы, поддерживает сохраненные процедуры, написанные на PL/R, фреймворк Map/Reduceb разшинение PostGIS.
Эта СУБД называется GreenPlum. Ядро ее базируется на PostgreSQL но в добавок к Postgre к ней добавлен функционал распараллеливания плана выполнения запросов, Map/Reduce, и различные способы организации хранения данных (например поколоночное хранение).

Буду очень благодарен, если поможете сориентироваться в этом вопросе.

Аватара пользователя
Mavka
Гуру
Сообщения: 2060
Зарегистрирован: 14 мар 2008, 17:36
Репутация: 9

Re: СУБД для анализа данных

Сообщение Mavka » 24 сен 2010, 10:17

Подключение к вашей БД ничем не отличается от работы с обычным PostgreSQL? Тогда все клиентское ПО должно работать в штатном режиме.
лангольеры под окном жрали время ом-ном-ном

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: СУБД для анализа данных

Сообщение Максим Дубинин » 25 сен 2010, 05:35

Если хотите показать что применимо, то сделайте хороший бенчмарк или тест. В принципе упоминаемые технологии интересны и могут быть полезны для нагруженных систем (мы вот с высоконагруженной базой мучаемся ежедневно), но без практики оценить что-то сложно.
пристегивайтесь, турбулентность прямо по курсу

ykochubeev
Новоприбывший
Сообщения: 8
Зарегистрирован: 23 сен 2010, 12:43
Репутация: 0

Re: СУБД для анализа данных

Сообщение ykochubeev » 25 сен 2010, 15:46

Мы готовы провести бенчмарк тестирование, но нам нужна ваша помощь в подготовке сценария. Если у вас действительное есть интерес, давайте попробуем либо встретиться, либо обсудить по почте. Мой контактный адрес yk{at}worlditsystems.com. В случае удачного описания задачи мы сможем провести бенчмарк тестирование на кластере до 40 узлов.

ykochubeev
Новоприбывший
Сообщения: 8
Зарегистрирован: 23 сен 2010, 12:43
Репутация: 0

Re: СУБД для анализа данных

Сообщение ykochubeev » 25 сен 2010, 15:57

To Mavka - да подключение к системе снаружи чисто Постгресовское, по тому же 1521 порту, Драйвера ODBC и JDBC используются Постгресовкие.

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: СУБД для анализа данных

Сообщение Максим Дубинин » 25 сен 2010, 18:26

интерес есть, времени мало, на все это нужно время
но я подумаю на досуге
пристегивайтесь, турбулентность прямо по курсу

ykochubeev
Новоприбывший
Сообщения: 8
Зарегистрирован: 23 сен 2010, 12:43
Репутация: 0

Re: СУБД для анализа данных

Сообщение ykochubeev » 29 сен 2010, 12:22

Если кому-то еще может быть интересна эта система, то я с удовольствием постараюсь провести с вами такое тестирование.

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: СУБД для анализа данных

Сообщение Максим Дубинин » 06 окт 2010, 06:10

пристегивайтесь, турбулентность прямо по курсу

ykochubeev
Новоприбывший
Сообщения: 8
Зарегистрирован: 23 сен 2010, 12:43
Репутация: 0

Re: СУБД для анализа данных

Сообщение ykochubeev » 07 окт 2010, 12:44

Максим, большое спасибо за интересную находку. У меня в свою очередь тоже есть что добавить:

Я установил тестовый образец GreenPlum c PostGIS. Загрузил в него данные при помощи shp2psql. Эти данные теперь прекрасно отображаются в Quantum GIS.
Интересно было бы протестировать его так же с продуктами MapINFO и Mentum Planet. Если есть желающие, могу прийти к вам с демо-стендом и подключить его к вашей системе.
Либо можно установить систему на вашем железе - тоже могу вам в этом помочь.

ykochubeev
Новоприбывший
Сообщения: 8
Зарегистрирован: 23 сен 2010, 12:43
Репутация: 0

Re: СУБД для анализа данных

Сообщение ykochubeev » 02 ноя 2010, 12:07

Господа, ну что? Кто решится протестировать Greenplum? Я готов вам посодействовать в этом нелегком деле :)

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: СУБД для анализа данных

Сообщение Максим Дубинин » 02 ноя 2010, 22:30

мы решимся
пристегивайтесь, турбулентность прямо по курсу

ykochubeev
Новоприбывший
Сообщения: 8
Зарегистрирован: 23 сен 2010, 12:43
Репутация: 0

Re: СУБД для анализа данных

Сообщение ykochubeev » 03 ноя 2010, 16:31

Отлично, напишите мне на почту свой контакт, я постараюсь с вами связаться.

yk{at}worlditsystems.com

ykochubeev
Новоприбывший
Сообщения: 8
Зарегистрирован: 23 сен 2010, 12:43
Репутация: 0

Re: СУБД для анализа данных

Сообщение ykochubeev » 27 янв 2011, 13:22

Максим, так и не получал вашего письма - попробуйте еще разок yk@worlditsystems.com

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: СУБД для анализа данных

Сообщение Максим Дубинин » 27 янв 2011, 23:19

пока не решились, как решимся - напишу, адреса есть, дублировать не обязательно
пристегивайтесь, турбулентность прямо по курсу

Ответить

Вернуться в «PostGIS/PostgreSQL»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 2 гостя