Открытые данные с портала data.mos.ru - API портала

Получение, новые источники, открытость
Ответить
limpopo
Новоприбывший
Сообщения: 2
Зарегистрирован: 16 дек 2013, 17:07
Репутация: 0

Открытые данные с портала data.mos.ru - API портала

Сообщение limpopo » 16 дек 2013, 17:23

Коллеги, предлагаю протестировать возможности API портала открытых данных.
api.data.mos.ru

В самых ближайших планах у нас расширить возможности фильтрации получаемых данных.
До конца недели использование API-ключа останется необязательным, однако уже сейчас доступна простейшая регистрация для разработчиков.
В дальнейшем на основе ключей мы будем собирать статистику по работе сервисов (аналогичная статистика ведётся по просмотру/скачиванию csv).

Любые технические вопросы о работе с API вы можете задавать мне.
Буду рад любым комментариям со стороны сообщества.

Аватара пользователя
Дмитрий Барышников
Гуру
Сообщения: 2572
Зарегистрирован: 17 ноя 2009, 19:17
Репутация: 261
Откуда: Москва

Re: Открытые данные с портала data.mos.ru

Сообщение Дмитрий Барышников » 16 дек 2013, 21:29

А какие открытые геоданные можно получить через API. Есть ли описание состава и структуры полей, систем координат , метаданных? Особенно интересуют системы координат (желательно EPSG код). Да, чуть не забыл, в каком из открытых форматов эти данные можно получить (http://gdal.org/ogr/ogr_formats.html)?

P.S. Доки читал, ответов не нашел. Ткните носом, если что не заметил.

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 16 дек 2013, 21:38

жаль, что про файлы вы толком на обратную связь не реагируете

- Зайти через FB не удается, нажатие на кнопку просто ни к чему не приводит
- почему не работает http://api.data.mos.ru/v1/datasets/495/rows как и многие другие, наугад протыкал пяток, заработал только 889

UPD: Дима, вот, я "протыкал" еще десяток и один с геоданными таки сработал, вот этот
пристегивайтесь, турбулентность прямо по курсу

trir
Гуру
Сообщения: 5278
Зарегистрирован: 09 апр 2010, 19:30
Репутация: 1014
Ваше звание: просто мимо прохожу
Откуда: Ё-бург

Re: Открытые данные с портала data.mos.ru - API портала

Сообщение trir » 16 дек 2013, 22:04

Зашибись геоданные:

Код: Выделить всё

<X_WGS84>37,612263</X_WGS84><Y_WGS84>55,75134</Y_WGS84>
Люди явно про GML/WFS - ничего не слышали

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru - API портала

Сообщение Максим Дубинин » 16 дек 2013, 22:09

WFS тут лучше не надо, а про названия полей сообщалось уже давно (13 и другие)
пристегивайтесь, турбулентность прямо по курсу

andreygeo
Гуру
Сообщения: 1085
Зарегистрирован: 27 окт 2010, 10:53
Репутация: 358
Откуда: Ракурс & GISGeo

Re: Открытые данные с портала data.mos.ru - API портала

Сообщение andreygeo » 17 дек 2013, 14:08

Может быть не в тему...
Статья:
Единое геоинформационное пространство Москвы. С. А. Зубков (Департамент информационных технологий Москвы).
Я же правильно понимаю, что Электронный атлас Москвы (который прям сейчас у меня под Хромом не работает) и data.mos это одни товарищи делают? Значит вот их статья. Много всего концептуального описано. Про открытые данные не нашёл. Про API упоминается.
Как я понял, основной задачей развития "ГЕО-Москвы" это не раздача данных, а концентрация как данных, так и инструментов их анализа на электронном атласе.
PS.Ну и заодно лучи позора за космоданные на Москву
Проект GISGeo: геомаркетинг

Аватара пользователя
Дмитрий Барышников
Гуру
Сообщения: 2572
Зарегистрирован: 17 ноя 2009, 19:17
Репутация: 261
Откуда: Москва

Re: Открытые данные с портала data.mos.ru

Сообщение Дмитрий Барышников » 17 дек 2013, 14:14

Максим Дубинин писал(а): UPD: Дима, вот, я "протыкал" еще десяток и один с геоданными таки сработал, вот этот
Я конечно дико извиняюсь, но подход "я потыкал", это не подход. Есть определенная культура, да в конце концов здравый смысл, когда имеется ресурс, где написано, какие данные, кем созданы, в какой СК, с какими полями. Например, вот как это сделано в Росреестре.
1. Каталог - http://nsdi.ru/geoportal/catalog/search ... rowse.page
2. Метаданные растра - http://nsdi.ru/geoportal/catalog/search ... 83AF222%7D
3. Метаданные вектора - http://nsdi.ru/geoportal/catalog/search ... C797D08%7D

Да не лучший пример: там нет также части информации - состав слоев карт, состав полей в слоях карты, но эти карты ГОСТированные, так что там все стандартно. Да и сам способ подачи, если не ошибаюсь CSW - очень технологичный.

В принципе вот это бы расширить http://data.mos.ru/datasets полезной информацией о структуре и составу полей и СК, да CSW прикрутить.

В любом случае, как-то тяжело браться за API не понимая с чем работаешь.

trir
Гуру
Сообщения: 5278
Зарегистрирован: 09 апр 2010, 19:30
Репутация: 1014
Ваше звание: просто мимо прохожу
Откуда: Ё-бург

Re: Открытые данные с портала data.mos.ru - API портала

Сообщение trir » 17 дек 2013, 16:59

GIGO - смысл делать API, с такими данными???

limpopo
Новоприбывший
Сообщения: 2
Зарегистрирован: 16 дек 2013, 17:07
Репутация: 0

Re: Открытые данные с портала data.mos.ru - API портала

Сообщение limpopo » 17 дек 2013, 20:13

Учитывая проблемы самих данных, с которыми я полностью согласен, реакция сообщества вполне ожидаема.

Однако, коллеги, личная просьба - не стоит расценивать мои сообщения как официальную обратную связь.
Я являюсь представителем команды, способной влиять на конечный продукт.
Часть изменений: нормализация имён атрибутов, частичное избавление от мусора в csv, и в конце концов API - являются нашей личной инициативой.

Коротко о том, что происходит в рамках основной части проекта data.mos.ru, так называемой "витрины открытых данных" города Москвы:
Глобально на проекте ОПОД (Общегородской Платформы Открытых Данных, идеологически слабо связанной с ЕГИП, но об этом позже) сейчас делается упор на централизованный и регламентированный сбор данных и предоставление их в едином формате. Проделана огромная работа, в результате которой появился понятный всем участникам процесс публикации данных на портале.
Shurik как-то упомянул одну из систем, откуда можно выгрузить данные ДОгМ. Так вот, это самое начало пути, в результате которого данные проходят ряд согласований всех ответственных сторон (а таковые безусловно имеются), и в конечном итоге попадают к нам на портал в виде CSV (параллельно данные размещаются в Электронном атласе, если имеют геопривязку).

Теперь немного о ЕГИП и Электронном Атласе:
Сергей Зубков в своей статье писал(а):Основной целью развития ЕГИП является формирование оптимального по составу и плотности событий геоинформационного пространства, позволяющего обеспечить геоинформационную поддержку существующих процессов оказания услуг населению города и организациям, а также формировать новые процессы и наборы услуг, базирующиеся на геоданных.
Коллеги из ЕГИП проделали аналогичную работу по сбору и представлению данных от различных ОИВ, и "витриной геоданных" города Москвы здесь является Электронный Атлас.
Наличие в целевой архитектуре проекта ЕГИП "системы предоставления доступа к пространственным данным", на мой взгляд, предполагает в конечном итоге развитие геоинформационного API, но символ машиночитаемой открытости данных это ОПОД. В его основу положены такие принципы открытых данных как первичность, актуальность, пригодность к машинной обработке, отсутствие проприетарных форматов.

О смысле развития API портала:
Для улучшения качества исходных данных существуют свои методы, и все участники процесса публикации данных на нашем портале заинтересованы в этом. Здесь немалую роль играет наличие всевозможных регламентов и их же соблюдение ответственными сторонами.
Сейчас посредством API реализован доступ к актуальному содержимому всех датасетов. При желании разработчика воспользоваться определённым набором данных, низкоуровневую обработку (если потребуется) или как минимум конвертацию в необходимый формат гораздо удобнее осуществить, имея доступ к ресурсу посредством REST-сервиса, нежели заниматься ещё более низкоуровневым парсингом исходных CSV-файлов.
Кроме того, через API доступны паспорта всех наборов данных, применимость которых мы планируем расширять, добавив информацию о типе данных в каждом атрибуте датасета, об истории изменений в наборе и т.д. Планов много, и, например, в качестве эксперимента наряду с json и xml я бы добавил формат GeoJSON для датасетов с геопривязкой. Посмотрим, что из этого получится.

Ну и коротко об исправлении текущих недочётов ещё совсем молодого сервиса:
1. Проблема с авторизацией через FB решается, периодически лично у меня получается авторизоваться. В любом случае можно зарегистрировать локальную учетную запись, и привязать аккаунт соц.сети позже.
2. Проблема недоступности некоторых ресурсов (http://api.data.mos.ru/v1/datasets/495/rows) через браузер решена. Были проблемы сериализации наименований атрибутов с пробелами в xml (по умолчанию для браузера). Формат выдачи можно менять параметром $format=json.

andreygeo
Гуру
Сообщения: 1085
Зарегистрирован: 27 окт 2010, 10:53
Репутация: 358
Откуда: Ракурс & GISGeo

Re: Открытые данные с портала data.mos.ru - API портала

Сообщение andreygeo » 17 дек 2013, 21:03

limpopo писал(а): Коллеги из ЕГИП проделали аналогичную работу по сбору и представлению данных от различных ОИВ, и "витриной геоданных" города Москвы здесь является Электронный Атлас.
:shock: :?: :shock: :!: :lol:
Чёт я потерялся совсем...И вы и они собирали одни и те же данные? Или просто на одной площадке есть две категории команд, одна отвечает за eatlas.mos.ru, а другая за публикацию данных в открытом доступе?
И раз уж про API зашёл разговор. Планируете ли вы развитие аналитических инструментов на этой платформе?
Проект GISGeo: геомаркетинг

Аватара пользователя
Дмитрий Барышников
Гуру
Сообщения: 2572
Зарегистрирован: 17 ноя 2009, 19:17
Репутация: 261
Откуда: Москва

Re: Открытые данные с портала data.mos.ru - API портала

Сообщение Дмитрий Барышников » 17 дек 2013, 21:59

limpopo писал(а):Коллеги, предлагаю протестировать возможности API портала открытых данных.
api.data.mos.ru
Мне кажется нормальная реакция. Была высказана просьба потестировать.
Как любой разработчик и ГИС специалист возникли вопросы. Ответов ни в документации ни в топике нет.

Правильно я понимаю, что api.data.mos.ru не предоставляет доступ к геоданным и имеет мало отношения к картографии. Так что тогда тестировать специалистам именно в этой области?

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru - API портала

Сообщение Максим Дубинин » 17 дек 2013, 22:00

Дима, всё что ты описал - НЕ НУЖНО для данных которые сейчас раздаются с портала, если соблюдаются элементарная чистоплотность. Все ваши WFS/CSW ведут только к усложнению доступа для 80% задач в угоду 20% гиков. А еще эта повышенная "технологичность" ведет к тому что проекты начинают годами строиться, стоить по 200 миллионов и реализуются настолько криво, что сотрудникам нужно заходить на форум гислаб, чтобы узнать что у них только 1 из 10 наборов доступен через API. Разумеется при более четкой работе подобные баги были бы отловлены моментально потому что вокруг них сформировалось бы настоящее активное сообщество.

limpopo, спасибо за ответы, хоть и неофициальные. Я не согласен, что это проблемы данных. Со стороны похоже, что ваша команда просто была увлечена чем-то другим, чем угодно, но не решением этих проблем с данными (я про технические вещи, не про то что доступно, а что нет). В качестве доказательства привожу пример нашей команды, состоящей из одного недопрограммиста (меня), постпроцессингом за вас всё решавшим в течение полугода. Если честно, очень странно видеть такое:
limpopo писал(а):нормализация имён атрибутов, частичное избавление от мусора в csv
в категории "наша личная инициатива". Это все равно что признать, что инициатива выше у вас занята чем угодно, кроме обеспечения эффективного доступа к данным. Это же элементарные вещи. Но "7 месяцев фуфлопробелов" (с) заставят поверить во что угодно.

Простите, не смог удержать своего мнения, тем не менее, текущие изменения на портале к лучшему. Скоро мне надоест ругаться, займусь чем-нибудь еще.

PS: Давайте либо вернемся к обсуждению самого API как предлагал автор темы либо придется темы обратно сливать.
пристегивайтесь, турбулентность прямо по курсу

Аватара пользователя
Дмитрий Барышников
Гуру
Сообщения: 2572
Зарегистрирован: 17 ноя 2009, 19:17
Репутация: 261
Откуда: Москва

Re: Открытые данные с портала data.mos.ru - API портала

Сообщение Дмитрий Барышников » 18 дек 2013, 09:47

Максим Дубинин писал(а):Дима, всё что ты описал - НЕ НУЖНО для данных которые сейчас раздаются с портала, если соблюдаются элементарная чистоплотность. Все ваши WFS/CSW ведут только к усложнению доступа для 80% задач в угоду 20% гиков. А еще эта повышенная "технологичность" ведет к тому что проекты начинают годами строиться, стоить по 200 миллионов и реализуются настолько криво, что сотрудникам нужно заходить на форум гислаб, чтобы узнать что у них только 1 из 10 наборов доступен через API. Разумеется при более четкой работе подобные баги были бы отловлены моментально потому что вокруг них сформировалось бы настоящее активное сообщество.
Максим, ну почему ты читаешь только часть поста? Попросили потестировать api.data.mos.ru. При чем тут сами данные, чистоплотность и т.п.!? Я все излагаю в рамках тестирования и сами данные (полнота, актуальность и т.д.) не трогаю.

Вот пример обратной связи:
Тест №1 - Документация разработчика в части ГИС - провален.

Я попросил, хотя бы сюда запостить ответы на вопросы которые меня волнуют как разработчика. Если нет желания писать, имеются средства автоматического формирования необходимой информации (WFS/CSW) - и это я уже в порядке рекомендации написал (опять же в рамках тестирования).
Я не могу тестировать дальше без понимания с чем имею дело с точки зрения ГИС.

Есть твой пример, игры "угадай что хотели сказать разработчики", который вытек в сервис нормализации открытых данных Москвы и 2 мега поста в блоге с обзором ситуации. Причем, как я понимаю, твой сервис работает не через api.data.mos.ru.

Повторять твой подвиг в части api.data.mos.ru у меня нет желания, хотя, при помощи разработчиков есть ряд идей, которые хотел бы попробовать - основное, чтение в ГИС данных напрямую (добавление как слоя(ев) без промежуточных файлов).

Коллеги: вот пример эталонного исполнения документации к API (естественно мое ИМХО)
1. API яндекс карт
2. API Google maps

trir
Гуру
Сообщения: 5278
Зарегистрирован: 09 апр 2010, 19:30
Репутация: 1014
Ваше звание: просто мимо прохожу
Откуда: Ё-бург

Re: Открытые данные с портала data.mos.ru - API портала

Сообщение trir » 18 дек 2013, 17:38

пример описания API:
http://dev.socrata.com/
Опаньки, у Нью-Йорк'а и Сан-Франциско - общее API. Так зачем изобретать велосипед?

Ответить

Вернуться в «Данные»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 6 гостей