Проблемы с данными на портале открытых данных были озвучены чуть более широко на конференции Земля из Космоса (презентация) и были наконец заданы прямые вопросы руководителю направления Мобильные сервисы на пресс-конференции по итогам конкурса мобильных приложений. То ли завязавшаяся после этого краткая переписка с повторением проблем, то ли просто совпало, но спустя примерно 7 месяцев на портале открытых данных нашли силы учесть некоторые проблемы и на портале произошли значительные изменения. Некоторое время портал “трясло”, менялись все наборы разом (кодировка, чистка координат), было добавлено порядка 47 новых наборов (отмечены желтым здесь), вроде процессе немного успокоился и можно попробовать подытожить.
Всё время существования портала велся подробный перечень “неудачных мест организации” и сейчас можем посмотреть, что именно изменилось в новой версии. Как обычно, смотрим в основном на геоданные, тематическая точность данных остается за кадром (кое какие отзывы по этой части можно найти здесь).
Решенные проблемы
1. Наконец решена проблема с раздуванием выгрузок из-за попадания в них огромного количества фуфлопробелов провисевшая около полугода с 8 апреля.
2. В данных больше нет координат в секретных системах.
3. Убрана кириллица из названий полей и, хоть до конца не решено, но наметилась некая тенденция к стандартизации их названий.
Оставшиеся и новые проблемы
1. Геоданных стало меньше. К сожалению, секретные координаты не были заменены на нормальные. Многие наборы, которые раньше были геоданными больше таковыми не являются. По сравнению с предыдущей версией портала, где было 165 наборов с геоданными, в новой осталось меньше 100.
2. Геоданные, которые не геоданные. Как и раньше, на портале много наборов для которых указано, что это геоданные, но при попытке их скачать никаких координат вы там не найдете. Координат на самом деле не имеют такие наборы как Остановки НГПТ (752), Аптеки (501), Парковки такси (621), Таких наборов около 100.
3. Разные версии. Некое версионирование данных привело к тому, что вы можете получить разные данные в зависимости от того, откуда вы их забираете. Например, если вы скачиваете CSV по ссылке из основного перечня, вы можете получить одну версию набора, а при получении того же набора с его страницы, содержание будет другим. Подобный подход сильно усложнил работу нашего сервиса архивации и мониторинга данных. Но судя по всему эта проблема решается, сообщенные 3 недели назад 11 отличающихся наборов уже приведены в порядок. Возможно скоро уйдет совсем.
4. Приоритет API? Данные получаемые через API (хотя может дело и не в нем) отличаются от дампов. Попробуйте скачать набор данных Судебные участки мировых судей (590) и вы увидите ошибку назначения полей (X,Y вовсе не соответствуют координатам), хотя в таблице на странице набора всё нормально.
5. Скрытые данные. На портале продолжается странная практика убирания набора из основного списка, при том, что он продолжает быть доступен. Скрыты например: Спортивные секции города Москвы (630), Границы административных округов г. Москвы (615), Границы внутригородских муниципальных образований (616), ?тоги размещения госзаказа в сфере городской информатизации за 2012 год (782) и некоторые другие наборы.
6. Удаленные данные. Кроме скрытых данных, в новой версии некоторые наборы просто удалены. Для некоторых из них это объясняется тем что создана новая версия набора с другим идентификатором. Но некоторые наборы удалены окончательно и альтернативы им не видно. Например: Ремонтируемые объекты жилищного фонда (524), Ремонтируемые объекты нежилого фонда (525), Объекты капитального ремонта улично-дорожной сети (625) и другие, всего 26 наборов (полный список).
Заключение
Несмотря на существенное уменьшение полезности данных в части геоданных, такое состояние дел является более понятным и прозрачным по отношению к разработчикам. Наконец видна некоторая общая положительная динамика с решением мелких вопросов, хотя обратная связь оставляет желать лучшего. Также, решение технических проблем не снимает более существенных и сложных вопросов о тематическом наполнении портала, который пока похоже заполняется по принципу “только бы не отдать чего-нибудь ценного”.
Все текущие и архивные версии данных, включая удаленные, в разных форматах (CSV, ESRI Shape, OSM XML) можно по прежнему найти в нашем сервисе нормализации данных.
