Открытые данные с портала data.mos.ru - API портала
-
- Новоприбывший
- Сообщения: 2
- Зарегистрирован: 16 дек 2013, 17:07
- Репутация: 0
Открытые данные с портала data.mos.ru - API портала
Коллеги, предлагаю протестировать возможности API портала открытых данных.
api.data.mos.ru
В самых ближайших планах у нас расширить возможности фильтрации получаемых данных.
До конца недели использование API-ключа останется необязательным, однако уже сейчас доступна простейшая регистрация для разработчиков.
В дальнейшем на основе ключей мы будем собирать статистику по работе сервисов (аналогичная статистика ведётся по просмотру/скачиванию csv).
Любые технические вопросы о работе с API вы можете задавать мне.
Буду рад любым комментариям со стороны сообщества.
api.data.mos.ru
В самых ближайших планах у нас расширить возможности фильтрации получаемых данных.
До конца недели использование API-ключа останется необязательным, однако уже сейчас доступна простейшая регистрация для разработчиков.
В дальнейшем на основе ключей мы будем собирать статистику по работе сервисов (аналогичная статистика ведётся по просмотру/скачиванию csv).
Любые технические вопросы о работе с API вы можете задавать мне.
Буду рад любым комментариям со стороны сообщества.
- Дмитрий Барышников
- Гуру
- Сообщения: 2572
- Зарегистрирован: 17 ноя 2009, 19:17
- Репутация: 261
- Откуда: Москва
Re: Открытые данные с портала data.mos.ru
А какие открытые геоданные можно получить через API. Есть ли описание состава и структуры полей, систем координат , метаданных? Особенно интересуют системы координат (желательно EPSG код). Да, чуть не забыл, в каком из открытых форматов эти данные можно получить (http://gdal.org/ogr/ogr_formats.html)?
P.S. Доки читал, ответов не нашел. Ткните носом, если что не заметил.
P.S. Доки читал, ответов не нашел. Ткните носом, если что не заметил.
- Максим Дубинин
- MindingMyOwnBusiness
- Сообщения: 9128
- Зарегистрирован: 06 окт 2003, 20:20
- Репутация: 747
- Ваше звание: NextGIS
- Откуда: Москва
- Контактная информация:
Re: Открытые данные с портала data.mos.ru
жаль, что про файлы вы толком на обратную связь не реагируете
- Зайти через FB не удается, нажатие на кнопку просто ни к чему не приводит
- почему не работает http://api.data.mos.ru/v1/datasets/495/rows как и многие другие, наугад протыкал пяток, заработал только 889
UPD: Дима, вот, я "протыкал" еще десяток и один с геоданными таки сработал, вот этот
- Зайти через FB не удается, нажатие на кнопку просто ни к чему не приводит
- почему не работает http://api.data.mos.ru/v1/datasets/495/rows как и многие другие, наугад протыкал пяток, заработал только 889
UPD: Дима, вот, я "протыкал" еще десяток и один с геоданными таки сработал, вот этот
пристегивайтесь, турбулентность прямо по курсу
-
- Гуру
- Сообщения: 5292
- Зарегистрирован: 09 апр 2010, 19:30
- Репутация: 1015
- Ваше звание: просто мимо прохожу
- Откуда: Ё-бург
Re: Открытые данные с портала data.mos.ru - API портала
Зашибись геоданные:
Люди явно про GML/WFS - ничего не слышали
Код: Выделить всё
<X_WGS84>37,612263</X_WGS84><Y_WGS84>55,75134</Y_WGS84>
- Максим Дубинин
- MindingMyOwnBusiness
- Сообщения: 9128
- Зарегистрирован: 06 окт 2003, 20:20
- Репутация: 747
- Ваше звание: NextGIS
- Откуда: Москва
- Контактная информация:
Re: Открытые данные с портала data.mos.ru - API портала
WFS тут лучше не надо, а про названия полей сообщалось уже давно (13 и другие)
пристегивайтесь, турбулентность прямо по курсу
-
- Гуру
- Сообщения: 1085
- Зарегистрирован: 27 окт 2010, 10:53
- Репутация: 358
- Откуда: Ракурс & GISGeo
Re: Открытые данные с портала data.mos.ru - API портала
Может быть не в тему...
Статья:
Единое геоинформационное пространство Москвы. С. А. Зубков (Департамент информационных технологий Москвы).
Я же правильно понимаю, что Электронный атлас Москвы (который прям сейчас у меня под Хромом не работает) и data.mos это одни товарищи делают? Значит вот их статья. Много всего концептуального описано. Про открытые данные не нашёл. Про API упоминается.
Как я понял, основной задачей развития "ГЕО-Москвы" это не раздача данных, а концентрация как данных, так и инструментов их анализа на электронном атласе.
PS.Ну и заодно лучи позора за космоданные на Москву
Статья:
Единое геоинформационное пространство Москвы. С. А. Зубков (Департамент информационных технологий Москвы).
Я же правильно понимаю, что Электронный атлас Москвы (который прям сейчас у меня под Хромом не работает) и data.mos это одни товарищи делают? Значит вот их статья. Много всего концептуального описано. Про открытые данные не нашёл. Про API упоминается.
Как я понял, основной задачей развития "ГЕО-Москвы" это не раздача данных, а концентрация как данных, так и инструментов их анализа на электронном атласе.
PS.Ну и заодно лучи позора за космоданные на Москву
Проект GISGeo: геомаркетинг
- Дмитрий Барышников
- Гуру
- Сообщения: 2572
- Зарегистрирован: 17 ноя 2009, 19:17
- Репутация: 261
- Откуда: Москва
Re: Открытые данные с портала data.mos.ru
Я конечно дико извиняюсь, но подход "я потыкал", это не подход. Есть определенная культура, да в конце концов здравый смысл, когда имеется ресурс, где написано, какие данные, кем созданы, в какой СК, с какими полями. Например, вот как это сделано в Росреестре.Максим Дубинин писал(а): UPD: Дима, вот, я "протыкал" еще десяток и один с геоданными таки сработал, вот этот
1. Каталог - http://nsdi.ru/geoportal/catalog/search ... rowse.page
2. Метаданные растра - http://nsdi.ru/geoportal/catalog/search ... 83AF222%7D
3. Метаданные вектора - http://nsdi.ru/geoportal/catalog/search ... C797D08%7D
Да не лучший пример: там нет также части информации - состав слоев карт, состав полей в слоях карты, но эти карты ГОСТированные, так что там все стандартно. Да и сам способ подачи, если не ошибаюсь CSW - очень технологичный.
В принципе вот это бы расширить http://data.mos.ru/datasets полезной информацией о структуре и составу полей и СК, да CSW прикрутить.
В любом случае, как-то тяжело браться за API не понимая с чем работаешь.
-
- Гуру
- Сообщения: 5292
- Зарегистрирован: 09 апр 2010, 19:30
- Репутация: 1015
- Ваше звание: просто мимо прохожу
- Откуда: Ё-бург
Re: Открытые данные с портала data.mos.ru - API портала
GIGO - смысл делать API, с такими данными???
-
- Новоприбывший
- Сообщения: 2
- Зарегистрирован: 16 дек 2013, 17:07
- Репутация: 0
Re: Открытые данные с портала data.mos.ru - API портала
Учитывая проблемы самих данных, с которыми я полностью согласен, реакция сообщества вполне ожидаема.
Однако, коллеги, личная просьба - не стоит расценивать мои сообщения как официальную обратную связь.
Я являюсь представителем команды, способной влиять на конечный продукт.
Часть изменений: нормализация имён атрибутов, частичное избавление от мусора в csv, и в конце концов API - являются нашей личной инициативой.
Коротко о том, что происходит в рамках основной части проекта data.mos.ru, так называемой "витрины открытых данных" города Москвы:
Глобально на проекте ОПОД (Общегородской Платформы Открытых Данных, идеологически слабо связанной с ЕГИП, но об этом позже) сейчас делается упор на централизованный и регламентированный сбор данных и предоставление их в едином формате. Проделана огромная работа, в результате которой появился понятный всем участникам процесс публикации данных на портале.
Shurik как-то упомянул одну из систем, откуда можно выгрузить данные ДОгМ. Так вот, это самое начало пути, в результате которого данные проходят ряд согласований всех ответственных сторон (а таковые безусловно имеются), и в конечном итоге попадают к нам на портал в виде CSV (параллельно данные размещаются в Электронном атласе, если имеют геопривязку).
Теперь немного о ЕГИП и Электронном Атласе:
Наличие в целевой архитектуре проекта ЕГИП "системы предоставления доступа к пространственным данным", на мой взгляд, предполагает в конечном итоге развитие геоинформационного API, но символ машиночитаемой открытости данных это ОПОД. В его основу положены такие принципы открытых данных как первичность, актуальность, пригодность к машинной обработке, отсутствие проприетарных форматов.
О смысле развития API портала:
Для улучшения качества исходных данных существуют свои методы, и все участники процесса публикации данных на нашем портале заинтересованы в этом. Здесь немалую роль играет наличие всевозможных регламентов и их же соблюдение ответственными сторонами.
Сейчас посредством API реализован доступ к актуальному содержимому всех датасетов. При желании разработчика воспользоваться определённым набором данных, низкоуровневую обработку (если потребуется) или как минимум конвертацию в необходимый формат гораздо удобнее осуществить, имея доступ к ресурсу посредством REST-сервиса, нежели заниматься ещё более низкоуровневым парсингом исходных CSV-файлов.
Кроме того, через API доступны паспорта всех наборов данных, применимость которых мы планируем расширять, добавив информацию о типе данных в каждом атрибуте датасета, об истории изменений в наборе и т.д. Планов много, и, например, в качестве эксперимента наряду с json и xml я бы добавил формат GeoJSON для датасетов с геопривязкой. Посмотрим, что из этого получится.
Ну и коротко об исправлении текущих недочётов ещё совсем молодого сервиса:
1. Проблема с авторизацией через FB решается, периодически лично у меня получается авторизоваться. В любом случае можно зарегистрировать локальную учетную запись, и привязать аккаунт соц.сети позже.
2. Проблема недоступности некоторых ресурсов (http://api.data.mos.ru/v1/datasets/495/rows) через браузер решена. Были проблемы сериализации наименований атрибутов с пробелами в xml (по умолчанию для браузера). Формат выдачи можно менять параметром $format=json.
Однако, коллеги, личная просьба - не стоит расценивать мои сообщения как официальную обратную связь.
Я являюсь представителем команды, способной влиять на конечный продукт.
Часть изменений: нормализация имён атрибутов, частичное избавление от мусора в csv, и в конце концов API - являются нашей личной инициативой.
Коротко о том, что происходит в рамках основной части проекта data.mos.ru, так называемой "витрины открытых данных" города Москвы:
Глобально на проекте ОПОД (Общегородской Платформы Открытых Данных, идеологически слабо связанной с ЕГИП, но об этом позже) сейчас делается упор на централизованный и регламентированный сбор данных и предоставление их в едином формате. Проделана огромная работа, в результате которой появился понятный всем участникам процесс публикации данных на портале.
Shurik как-то упомянул одну из систем, откуда можно выгрузить данные ДОгМ. Так вот, это самое начало пути, в результате которого данные проходят ряд согласований всех ответственных сторон (а таковые безусловно имеются), и в конечном итоге попадают к нам на портал в виде CSV (параллельно данные размещаются в Электронном атласе, если имеют геопривязку).
Теперь немного о ЕГИП и Электронном Атласе:
Коллеги из ЕГИП проделали аналогичную работу по сбору и представлению данных от различных ОИВ, и "витриной геоданных" города Москвы здесь является Электронный Атлас.Сергей Зубков в своей статье писал(а):Основной целью развития ЕГИП является формирование оптимального по составу и плотности событий геоинформационного пространства, позволяющего обеспечить геоинформационную поддержку существующих процессов оказания услуг населению города и организациям, а также формировать новые процессы и наборы услуг, базирующиеся на геоданных.
Наличие в целевой архитектуре проекта ЕГИП "системы предоставления доступа к пространственным данным", на мой взгляд, предполагает в конечном итоге развитие геоинформационного API, но символ машиночитаемой открытости данных это ОПОД. В его основу положены такие принципы открытых данных как первичность, актуальность, пригодность к машинной обработке, отсутствие проприетарных форматов.
О смысле развития API портала:
Для улучшения качества исходных данных существуют свои методы, и все участники процесса публикации данных на нашем портале заинтересованы в этом. Здесь немалую роль играет наличие всевозможных регламентов и их же соблюдение ответственными сторонами.
Сейчас посредством API реализован доступ к актуальному содержимому всех датасетов. При желании разработчика воспользоваться определённым набором данных, низкоуровневую обработку (если потребуется) или как минимум конвертацию в необходимый формат гораздо удобнее осуществить, имея доступ к ресурсу посредством REST-сервиса, нежели заниматься ещё более низкоуровневым парсингом исходных CSV-файлов.
Кроме того, через API доступны паспорта всех наборов данных, применимость которых мы планируем расширять, добавив информацию о типе данных в каждом атрибуте датасета, об истории изменений в наборе и т.д. Планов много, и, например, в качестве эксперимента наряду с json и xml я бы добавил формат GeoJSON для датасетов с геопривязкой. Посмотрим, что из этого получится.
Ну и коротко об исправлении текущих недочётов ещё совсем молодого сервиса:
1. Проблема с авторизацией через FB решается, периодически лично у меня получается авторизоваться. В любом случае можно зарегистрировать локальную учетную запись, и привязать аккаунт соц.сети позже.
2. Проблема недоступности некоторых ресурсов (http://api.data.mos.ru/v1/datasets/495/rows) через браузер решена. Были проблемы сериализации наименований атрибутов с пробелами в xml (по умолчанию для браузера). Формат выдачи можно менять параметром $format=json.
-
- Гуру
- Сообщения: 1085
- Зарегистрирован: 27 окт 2010, 10:53
- Репутация: 358
- Откуда: Ракурс & GISGeo
Re: Открытые данные с портала data.mos.ru - API портала
limpopo писал(а): Коллеги из ЕГИП проделали аналогичную работу по сбору и представлению данных от различных ОИВ, и "витриной геоданных" города Москвы здесь является Электронный Атлас.
Чёт я потерялся совсем...И вы и они собирали одни и те же данные? Или просто на одной площадке есть две категории команд, одна отвечает за eatlas.mos.ru, а другая за публикацию данных в открытом доступе?
И раз уж про API зашёл разговор. Планируете ли вы развитие аналитических инструментов на этой платформе?
Проект GISGeo: геомаркетинг
- Дмитрий Барышников
- Гуру
- Сообщения: 2572
- Зарегистрирован: 17 ноя 2009, 19:17
- Репутация: 261
- Откуда: Москва
Re: Открытые данные с портала data.mos.ru - API портала
Мне кажется нормальная реакция. Была высказана просьба потестировать.limpopo писал(а):Коллеги, предлагаю протестировать возможности API портала открытых данных.
api.data.mos.ru
Как любой разработчик и ГИС специалист возникли вопросы. Ответов ни в документации ни в топике нет.
Правильно я понимаю, что api.data.mos.ru не предоставляет доступ к геоданным и имеет мало отношения к картографии. Так что тогда тестировать специалистам именно в этой области?
- Максим Дубинин
- MindingMyOwnBusiness
- Сообщения: 9128
- Зарегистрирован: 06 окт 2003, 20:20
- Репутация: 747
- Ваше звание: NextGIS
- Откуда: Москва
- Контактная информация:
Re: Открытые данные с портала data.mos.ru - API портала
Дима, всё что ты описал - НЕ НУЖНО для данных которые сейчас раздаются с портала, если соблюдаются элементарная чистоплотность. Все ваши WFS/CSW ведут только к усложнению доступа для 80% задач в угоду 20% гиков. А еще эта повышенная "технологичность" ведет к тому что проекты начинают годами строиться, стоить по 200 миллионов и реализуются настолько криво, что сотрудникам нужно заходить на форум гислаб, чтобы узнать что у них только 1 из 10 наборов доступен через API. Разумеется при более четкой работе подобные баги были бы отловлены моментально потому что вокруг них сформировалось бы настоящее активное сообщество.
limpopo, спасибо за ответы, хоть и неофициальные. Я не согласен, что это проблемы данных. Со стороны похоже, что ваша команда просто была увлечена чем-то другим, чем угодно, но не решением этих проблем с данными (я про технические вещи, не про то что доступно, а что нет). В качестве доказательства привожу пример нашей команды, состоящей из одного недопрограммиста (меня), постпроцессингом за вас всё решавшим в течение полугода. Если честно, очень странно видеть такое:
Простите, не смог удержать своего мнения, тем не менее, текущие изменения на портале к лучшему. Скоро мне надоест ругаться, займусь чем-нибудь еще.
PS: Давайте либо вернемся к обсуждению самого API как предлагал автор темы либо придется темы обратно сливать.
limpopo, спасибо за ответы, хоть и неофициальные. Я не согласен, что это проблемы данных. Со стороны похоже, что ваша команда просто была увлечена чем-то другим, чем угодно, но не решением этих проблем с данными (я про технические вещи, не про то что доступно, а что нет). В качестве доказательства привожу пример нашей команды, состоящей из одного недопрограммиста (меня), постпроцессингом за вас всё решавшим в течение полугода. Если честно, очень странно видеть такое:
в категории "наша личная инициатива". Это все равно что признать, что инициатива выше у вас занята чем угодно, кроме обеспечения эффективного доступа к данным. Это же элементарные вещи. Но "7 месяцев фуфлопробелов" (с) заставят поверить во что угодно.limpopo писал(а):нормализация имён атрибутов, частичное избавление от мусора в csv
Простите, не смог удержать своего мнения, тем не менее, текущие изменения на портале к лучшему. Скоро мне надоест ругаться, займусь чем-нибудь еще.
PS: Давайте либо вернемся к обсуждению самого API как предлагал автор темы либо придется темы обратно сливать.
пристегивайтесь, турбулентность прямо по курсу
- Дмитрий Барышников
- Гуру
- Сообщения: 2572
- Зарегистрирован: 17 ноя 2009, 19:17
- Репутация: 261
- Откуда: Москва
Re: Открытые данные с портала data.mos.ru - API портала
Максим, ну почему ты читаешь только часть поста? Попросили потестировать api.data.mos.ru. При чем тут сами данные, чистоплотность и т.п.!? Я все излагаю в рамках тестирования и сами данные (полнота, актуальность и т.д.) не трогаю.Максим Дубинин писал(а):Дима, всё что ты описал - НЕ НУЖНО для данных которые сейчас раздаются с портала, если соблюдаются элементарная чистоплотность. Все ваши WFS/CSW ведут только к усложнению доступа для 80% задач в угоду 20% гиков. А еще эта повышенная "технологичность" ведет к тому что проекты начинают годами строиться, стоить по 200 миллионов и реализуются настолько криво, что сотрудникам нужно заходить на форум гислаб, чтобы узнать что у них только 1 из 10 наборов доступен через API. Разумеется при более четкой работе подобные баги были бы отловлены моментально потому что вокруг них сформировалось бы настоящее активное сообщество.
Вот пример обратной связи:
Тест №1 - Документация разработчика в части ГИС - провален.
Я попросил, хотя бы сюда запостить ответы на вопросы которые меня волнуют как разработчика. Если нет желания писать, имеются средства автоматического формирования необходимой информации (WFS/CSW) - и это я уже в порядке рекомендации написал (опять же в рамках тестирования).
Я не могу тестировать дальше без понимания с чем имею дело с точки зрения ГИС.
Есть твой пример, игры "угадай что хотели сказать разработчики", который вытек в сервис нормализации открытых данных Москвы и 2 мега поста в блоге с обзором ситуации. Причем, как я понимаю, твой сервис работает не через api.data.mos.ru.
Повторять твой подвиг в части api.data.mos.ru у меня нет желания, хотя, при помощи разработчиков есть ряд идей, которые хотел бы попробовать - основное, чтение в ГИС данных напрямую (добавление как слоя(ев) без промежуточных файлов).
Коллеги: вот пример эталонного исполнения документации к API (естественно мое ИМХО)
1. API яндекс карт
2. API Google maps
-
- Гуру
- Сообщения: 5292
- Зарегистрирован: 09 апр 2010, 19:30
- Репутация: 1015
- Ваше звание: просто мимо прохожу
- Откуда: Ё-бург
Re: Открытые данные с портала data.mos.ru - API портала
пример описания API:
http://dev.socrata.com/
Опаньки, у Нью-Йорк'а и Сан-Франциско - общее API. Так зачем изобретать велосипед?
http://dev.socrata.com/
Опаньки, у Нью-Йорк'а и Сан-Франциско - общее API. Так зачем изобретать велосипед?
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 26 гостей