Учитывая проблемы самих данных, с которыми я полностью согласен, реакция сообщества вполне ожидаема.
Однако, коллеги, личная просьба - не стоит расценивать мои сообщения как официальную обратную связь.
Я являюсь представителем команды, способной влиять на конечный продукт.
Часть изменений: нормализация имён атрибутов, частичное избавление от мусора в csv, и в конце концов API - являются нашей личной инициативой.
Коротко о том, что происходит в рамках основной части проекта data.mos.ru, так называемой "витрины открытых данных" города Москвы:
Глобально на проекте ОПОД (Общегородской Платформы Открытых Данных, идеологически слабо связанной с ЕГИП, но об этом позже) сейчас делается упор на централизованный и регламентированный
сбор данных и предоставление их в едином формате. Проделана огромная работа, в результате которой появился понятный всем участникам
процесс публикации данных на портале.
Shurik как-то упомянул одну из систем, откуда можно выгрузить данные ДОгМ. Так вот, это самое начало пути, в результате которого данные проходят ряд согласований всех ответственных сторон (а таковые безусловно имеются), и в конечном итоге попадают к нам на портал в виде CSV (параллельно данные размещаются в Электронном атласе, если имеют геопривязку).
Теперь немного о ЕГИП и Электронном Атласе:
Сергей Зубков в своей статье писал(а):Основной целью развития ЕГИП является формирование оптимального по составу и плотности событий геоинформационного пространства, позволяющего обеспечить геоинформационную поддержку существующих процессов оказания услуг населению города и организациям, а также формировать новые процессы и наборы услуг, базирующиеся на геоданных.
Коллеги из ЕГИП проделали аналогичную работу по сбору и представлению данных от различных ОИВ, и "витриной геоданных" города Москвы здесь является Электронный Атлас.
Наличие в целевой архитектуре проекта ЕГИП "системы предоставления доступа к пространственным данным", на мой взгляд, предполагает в конечном итоге развитие геоинформационного API, но символ машиночитаемой открытости данных это ОПОД. В его основу положены такие
принципы открытых данных как первичность, актуальность, пригодность к машинной обработке, отсутствие проприетарных форматов.
О смысле развития API портала:
Для улучшения качества исходных данных существуют свои методы, и все участники процесса публикации данных на нашем портале заинтересованы в этом. Здесь немалую роль играет наличие всевозможных регламентов и их же соблюдение ответственными сторонами.
Сейчас посредством API реализован доступ к актуальному содержимому всех датасетов. При желании разработчика воспользоваться определённым набором данных, низкоуровневую обработку (если потребуется) или как минимум конвертацию в необходимый формат гораздо удобнее осуществить, имея доступ к ресурсу посредством REST-сервиса, нежели заниматься ещё более низкоуровневым парсингом исходных CSV-файлов.
Кроме того, через API доступны паспорта всех наборов данных, применимость которых мы планируем расширять, добавив информацию о типе данных в каждом атрибуте датасета, об истории изменений в наборе и т.д. Планов много, и, например, в качестве эксперимента наряду с json и xml я бы добавил формат GeoJSON для датасетов с геопривязкой. Посмотрим, что из этого получится.
Ну и коротко об исправлении текущих недочётов ещё совсем молодого сервиса:
1. Проблема с авторизацией через FB решается, периодически лично у меня получается авторизоваться. В любом случае можно зарегистрировать локальную учетную запись, и привязать аккаунт соц.сети позже.
2. Проблема недоступности некоторых ресурсов (
http://api.data.mos.ru/v1/datasets/495/rows) через браузер решена. Были проблемы сериализации наименований атрибутов с пробелами в xml (по умолчанию для браузера). Формат выдачи можно менять параметром
$format=json.
