СУБД для анализа данных
-
- Новоприбывший
- Сообщения: 8
- Зарегистрирован: 23 сен 2010, 12:43
- Репутация: 0
СУБД для анализа данных
Я прошу прощения за возможно маркетинговое сообщение.
Но дело в том что мне очно нужно понять насколько применимо в ГИС предлагаемая нами система. Это СУБД работающая на кластере из x86 машин, и обрабатывающая в параллель тяжелые SQL запросы, поддерживает сохраненные процедуры, написанные на PL/R, фреймворк Map/Reduceb разшинение PostGIS.
Эта СУБД называется GreenPlum. Ядро ее базируется на PostgreSQL но в добавок к Postgre к ней добавлен функционал распараллеливания плана выполнения запросов, Map/Reduce, и различные способы организации хранения данных (например поколоночное хранение).
Буду очень благодарен, если поможете сориентироваться в этом вопросе.
Но дело в том что мне очно нужно понять насколько применимо в ГИС предлагаемая нами система. Это СУБД работающая на кластере из x86 машин, и обрабатывающая в параллель тяжелые SQL запросы, поддерживает сохраненные процедуры, написанные на PL/R, фреймворк Map/Reduceb разшинение PostGIS.
Эта СУБД называется GreenPlum. Ядро ее базируется на PostgreSQL но в добавок к Postgre к ней добавлен функционал распараллеливания плана выполнения запросов, Map/Reduce, и различные способы организации хранения данных (например поколоночное хранение).
Буду очень благодарен, если поможете сориентироваться в этом вопросе.
- Mavka
- Гуру
- Сообщения: 2060
- Зарегистрирован: 14 мар 2008, 17:36
- Репутация: 9
Re: СУБД для анализа данных
Подключение к вашей БД ничем не отличается от работы с обычным PostgreSQL? Тогда все клиентское ПО должно работать в штатном режиме.
лангольеры под окном жрали время ом-ном-ном
- Максим Дубинин
- MindingMyOwnBusiness
- Сообщения: 9128
- Зарегистрирован: 06 окт 2003, 20:20
- Репутация: 747
- Ваше звание: NextGIS
- Откуда: Москва
- Контактная информация:
Re: СУБД для анализа данных
Если хотите показать что применимо, то сделайте хороший бенчмарк или тест. В принципе упоминаемые технологии интересны и могут быть полезны для нагруженных систем (мы вот с высоконагруженной базой мучаемся ежедневно), но без практики оценить что-то сложно.
пристегивайтесь, турбулентность прямо по курсу
-
- Новоприбывший
- Сообщения: 8
- Зарегистрирован: 23 сен 2010, 12:43
- Репутация: 0
Re: СУБД для анализа данных
Мы готовы провести бенчмарк тестирование, но нам нужна ваша помощь в подготовке сценария. Если у вас действительное есть интерес, давайте попробуем либо встретиться, либо обсудить по почте. Мой контактный адрес yk{at}worlditsystems.com. В случае удачного описания задачи мы сможем провести бенчмарк тестирование на кластере до 40 узлов.
-
- Новоприбывший
- Сообщения: 8
- Зарегистрирован: 23 сен 2010, 12:43
- Репутация: 0
Re: СУБД для анализа данных
To Mavka - да подключение к системе снаружи чисто Постгресовское, по тому же 1521 порту, Драйвера ODBC и JDBC используются Постгресовкие.
- Максим Дубинин
- MindingMyOwnBusiness
- Сообщения: 9128
- Зарегистрирован: 06 окт 2003, 20:20
- Репутация: 747
- Ваше звание: NextGIS
- Откуда: Москва
- Контактная информация:
Re: СУБД для анализа данных
интерес есть, времени мало, на все это нужно время
но я подумаю на досуге
но я подумаю на досуге
пристегивайтесь, турбулентность прямо по курсу
-
- Новоприбывший
- Сообщения: 8
- Зарегистрирован: 23 сен 2010, 12:43
- Репутация: 0
Re: СУБД для анализа данных
Если кому-то еще может быть интересна эта система, то я с удовольствием постараюсь провести с вами такое тестирование.
- Максим Дубинин
- MindingMyOwnBusiness
- Сообщения: 9128
- Зарегистрирован: 06 окт 2003, 20:20
- Репутация: 747
- Ваше звание: NextGIS
- Откуда: Москва
- Контактная информация:
Re: СУБД для анализа данных
пристегивайтесь, турбулентность прямо по курсу
-
- Новоприбывший
- Сообщения: 8
- Зарегистрирован: 23 сен 2010, 12:43
- Репутация: 0
Re: СУБД для анализа данных
Максим, большое спасибо за интересную находку. У меня в свою очередь тоже есть что добавить:
Я установил тестовый образец GreenPlum c PostGIS. Загрузил в него данные при помощи shp2psql. Эти данные теперь прекрасно отображаются в Quantum GIS.
Интересно было бы протестировать его так же с продуктами MapINFO и Mentum Planet. Если есть желающие, могу прийти к вам с демо-стендом и подключить его к вашей системе.
Либо можно установить систему на вашем железе - тоже могу вам в этом помочь.
Я установил тестовый образец GreenPlum c PostGIS. Загрузил в него данные при помощи shp2psql. Эти данные теперь прекрасно отображаются в Quantum GIS.
Интересно было бы протестировать его так же с продуктами MapINFO и Mentum Planet. Если есть желающие, могу прийти к вам с демо-стендом и подключить его к вашей системе.
Либо можно установить систему на вашем железе - тоже могу вам в этом помочь.
-
- Новоприбывший
- Сообщения: 8
- Зарегистрирован: 23 сен 2010, 12:43
- Репутация: 0
Re: СУБД для анализа данных
Господа, ну что? Кто решится протестировать Greenplum? Я готов вам посодействовать в этом нелегком деле
- Максим Дубинин
- MindingMyOwnBusiness
- Сообщения: 9128
- Зарегистрирован: 06 окт 2003, 20:20
- Репутация: 747
- Ваше звание: NextGIS
- Откуда: Москва
- Контактная информация:
-
- Новоприбывший
- Сообщения: 8
- Зарегистрирован: 23 сен 2010, 12:43
- Репутация: 0
Re: СУБД для анализа данных
Отлично, напишите мне на почту свой контакт, я постараюсь с вами связаться.
yk{at}worlditsystems.com
yk{at}worlditsystems.com
-
- Новоприбывший
- Сообщения: 8
- Зарегистрирован: 23 сен 2010, 12:43
- Репутация: 0
Re: СУБД для анализа данных
Максим, так и не получал вашего письма - попробуйте еще разок yk@worlditsystems.com
- Максим Дубинин
- MindingMyOwnBusiness
- Сообщения: 9128
- Зарегистрирован: 06 окт 2003, 20:20
- Репутация: 747
- Ваше звание: NextGIS
- Откуда: Москва
- Контактная информация:
Re: СУБД для анализа данных
пока не решились, как решимся - напишу, адреса есть, дублировать не обязательно
пристегивайтесь, турбулентность прямо по курсу
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 2 гостя