Подключение к объектам БД информации из Интернета

[Evgenia]

Здравствуйте, коллеги
Подскажите, пожалуйста, существует ли возможность подключить к объектам базы данных (географической/объектно-реляционной, конечно) текстовую (атрибутивную) информацию, выкладываемую и периодически обновляемую в Интернете. Т.е. хочется получить такой динамический слой объектов, у которых при подключении к сети Интернет будут в режиме реального времени меняться атрибуты.
Это лишь часть от основного проекта, который предполагается собирать в QGIS. Подскажите, пожалуйста, в каком направлении стоит двигаться для решения моего вопроса? Возможно, тут нужен PostGIS, а QGIS самостоятельно с этим не "справится"? И вообще, возможно ли это?..

[gamm]

Здравствуйте, коллеги
Подскажите, пожалуйста, существует ли возможность подключить к объектам базы данных (географической/объектно-реляционной, конечно) текстовую (атрибутивную) информацию, выкладываемую и периодически обновляемую в Интернете. Т.е. хочется получить такой динамический слой объектов, у которых при подключении к сети Интернет будут в режиме реального времени меняться атрибуты.
Это лишь часть от основного проекта, который предполагается собирать в QGIS. Подскажите, пожалуйста, в каком направлении стоит двигаться для решения моего вопроса? Возможно, тут нужен PostGIS, а QGIS самостоятельно с этим не "справится"? И вообще, возможно ли это?..

информацию об изменении Вы можете получить только опросив соотвествующий сайт. Тогда придется написать "демона", который 1 раз в минуту (или раз в час, или при старте QGIS) будет опрашивать сайт, и считывать информацию в локальную базу, а потом давать команду на перерисовку.

Сделать это можно, но скорее всего придется встраивать "демона" (или обработчик его сигналов) в код QGIS - я не знаю, есть ли в нем обработка внешних сигналов или запуск по таймеру (что-то типа "тикеров", под Уиндовс скорее всего нет, под UNIX это сделать проще). Если "тикер" есть , то просто сажаете на него код на питоне, который опрашивает сайт и перерисовывает.

[Mavka]

Как вариант - мини-сервер WFS.

[Evgenia]

Прямо любую информацию?

Инфо представлена в .csv формате. Представляет из себя числа, которые являются атрибутами объектов.

[Mavka]

А вот такое некоторые ГИСы умеют делать сами (про qgis не знаю).
Выглядит так:
1. Загружается слой с объектами (в нем есть геометрия)
2. Загружается слой с данными (он не имеет преставления на карте)
3. Делается запрос на объединение двух массивов данных по общему ключу (одинаковые номера и т.п.)
4. Результат выводится на карту.

Стоит подождать, может и подскажут в какой свободной ГИС такое есть в наличии.

[Voltron]

Можно создать расширение, которое с определенным интервалом будет загружать данные с сайта и либо обновлять существующую таблицу атрибутов, либо создавать шейп и добавлять его на карту вместо существующего.

[Mavka]

А как вам такой вариант.

Ваши данные лежат в PostGIS (таблица #1).
Из интернета регулярно скрипт загружает CSV и импортирует его в PostGIS (таблица #2).
Делаем вид (view), в котором объединяем две таблицы.
Из qgis смотрим на этот вид.

Просто, надежно и достаточно оперативно.

[Evgenia]

А как вам такой вариант.

Про такой вариант я тоже думала, когда писала про PostGIS. Моя сложность в том, что я с PostGIS еще не работала, только читала кое-что и пока плохо представляю, как соорудить такое:

интернета регулярно скрипт

Если это действительно самый простой, надежный и при том оперативный способ, то, очевидно, следует заняться его изучением =)) Но вдруг, все-таки существует другая хорошая альтернатива?..

Можно создать расширение

Можно поподробнее про это расширение, пожалуйста? В какой БД/СУБД при этом должны храниться данные? Да, данные - точечные. Я как-то не конкретизировала это раньше. Но, теоретически, это не должно быть важно.

[Mavka]

1. с помощью cURL скачиваем файл csv по интернет-ссылке
2. sql-командой COPY из файла CSV загружаем в таблицу данные (предварительно ее создав/очистив?) [пример]
3. пишем bat-файл, который сам выполняет эти два шага, и прописываем его в стандартный "планировщик задач windows"

[Voltron]

Данные можно хранить в SpatiaLite/PostGIS. Фактически это будет то же самое, что предлагает Mavka, только в виде расширения QGIS

[Evgenia]

toVoltron: Поясните, пожалуйста, что значит расширение QGIS?

[Александр Мурый]

Я думаю, Voltron имел в виду модули QGIS, они же расширения или дополнения. В данном случае, это PostGIS или SpatiaLite.

[Voltron]

Расширение (модуль, плагин, дополнение) - небольшая программа на Python или С++, которая добавляет функционал в QGIS. Например, fTools (инструменты из меню Вектор), GdalTools (инструменты из меню Раст) это расширения. Statist, RasterCalc, Qgis2Google, georeferencer - тоже расширения.

PostGIS или SpatiaLite - тоже расширения, но у них другая специализация - поддержка определенных форматов данных. Такие расширения обычно называются провайдерами или поставщиками данных.

В контексте этой темы я под расширением подразумевал именно программу, которая будет с некоторым интервалом загружать данные и обновлять таблицу.

[Evgenia]

Спасибо за ответы =).
Т.е. правильно ли я поняла предлагаемую схему: данные хранятся в PostGIS (или SpatialLite(?)) и существует программа (надо написать на Python или С++), которая загружает и изменяет в PostGIS /SpatialLite данные из сети через определенные промежутки времени. А со стороны пользователя это выглядит так, что он просто подгружает слой PostGIS и радуется регулярно обновляемым данным (т.е. сам при этом больше ничего не делает). И сразу вопрос, а нельзя ли запросами из PostGIS, например, реализовать то же, минуя Python и C++?

[Voltron]

Т.е. правильно ли я поняла предлагаемую схему: данные хранятся в PostGIS (или SpatialLite(?)) и существует программа (надо написать на Python или С++), которая загружает и изменяет в PostGIS /SpatialLite данные из сети через определенные промежутки времени. А со стороны пользователя это выглядит так, что он просто подгружает слой PostGIS и радуется регулярно обновляемым данным (т.е. сам при этом больше ничего не делает).

Генеральная задумка именно такая. Но, насколько плавным и быстрым будет процесс загрузки и обновления зависит от нескольких факторов: объема данных, скорости соединения... Так что, пользователю, возможно, придется не только радоваться, но и беситься из-за фризов.

И сразу вопрос, а нельзя ли запросами из PostGIS, например, реализовать то же, минуя Python и C++?

Можно. Выше Mavka как раз предлагал такой вариант. Там не используется Python/C++, но нужен командный файл, который будет выполнять скачивание ваших данных на локальную машину и последующую их загрузку в базу PostGIS