Открытые данные с портала data.mos.ru

Обсуждение материалов сайта: вопросы, замечания, предложения
Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 8918
Зарегистрирован: 06 окт 2003, 20:20
Статьи: 231
Проекты: 12/6
Репутация: 644
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 15 фев 2013, 15:52

Москва одной из первых создала портал по настоящему открытых данных, в том числе с геоданными.

В связи с тем, что данные на портале изобилуют мелкими недостатками, которые не дают использовать их сразу, "ограбил" его весь (разумеется без нарушений условий использования), поправил что счел нужным и сконвертировал всё в нормальные CSV и ESRI Shp.

Описание и получение данных

Приму предложения по улучшению, не забываем что статья редактируемая.

Собираюсь также выложить все скрипты созданные для получения, исправления, конвертации данных, чтобы процесс можно было повторять по мере желания/необходимости.
пристегивайтесь, турбулентность прямо по курсу

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 8918
Зарегистрирован: 06 окт 2003, 20:20
Статьи: 231
Проекты: 12/6
Репутация: 644
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 18 фев 2013, 12:58

добавил выгрузки всех слоёв в формат OSM XML
пристегивайтесь, турбулентность прямо по курсу

Александр Мурый
Гуру
Сообщения: 5059
Зарегистрирован: 26 сен 2009, 16:26
Статьи: 3
Проекты: 5/1
Репутация: 716
Ваше звание: званий не имею
Откуда: Москва

Re: Открытые данные с портала data.mos.ru

Сообщение Александр Мурый » 18 фев 2013, 13:14

Максим, эту страницу надо будет занести в статьи?
Редактор материалов, модератор форума

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 8918
Зарегистрирован: 06 окт 2003, 20:20
Статьи: 231
Проекты: 12/6
Репутация: 644
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 18 фев 2013, 13:30

да, я считаю это своим минипроектом с "мордой" в виде статьи.
пристегивайтесь, турбулентность прямо по курсу

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 8918
Зарегистрирован: 06 окт 2003, 20:20
Статьи: 231
Проекты: 12/6
Репутация: 644
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 24 фев 2013, 16:13

Выложил скрипты для создания/обновления копии, теперь ведется архив и считаются изменения относительно количества объектов между версиями.

Плюс выложили несколько новых наборов:

-Выданные разрешения на осуществление деятельности по перевозке пассажиров и багажа легковым такси
-Продажа билетов на пригородные поезда
-Региональные ярмарки
-Розничные рынки
-Тарифы на проезд в городском пассажирском транспорте
пристегивайтесь, турбулентность прямо по курсу

DimDim
Участник
Сообщения: 76
Зарегистрирован: 30 апр 2013, 13:22
Репутация: 6
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение DimDim » 30 апр 2013, 13:31

Максим, большое спасибо за проделанную работу!
Я уж было собирался с головой погрузится в область геокодирования, чтобы понять как исходные данные загрузить в Яндекс.Карты, но вовремя нашёл ваш проект. Не забрасывайте это дело :)

P.S. Готов отдать свой голос в Дата.мос.ру за публикацию данных по УДС, торговле, промзонам.

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 8918
Зарегистрирован: 06 окт 2003, 20:20
Статьи: 231
Проекты: 12/6
Репутация: 644
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 30 апр 2013, 13:53

пожалуйста, забрасывать пока не собирался.
пристегивайтесь, турбулентность прямо по курсу

DimDim
Участник
Сообщения: 76
Зарегистрирован: 30 апр 2013, 13:22
Репутация: 6
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение DimDim » 05 май 2013, 22:03

Радость была не долгой :(
Судя по всему, только в первом датасете (486 - Нестационарные торговые объекты) есть поле WKT-WGS, в котором координаты в понятном для Гугла и Яндекса виде.

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 8918
Зарегистрирован: 06 окт 2003, 20:20
Статьи: 231
Проекты: 12/6
Репутация: 644
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 05 май 2013, 22:41

1. нет, не только в первом

2. я несколько раз писал в департамент, что их подход к координатам - ужасно недружелюбен, думаю что процентов 80% разработчиков незнакомых с основами ГИС сразу село в лужу. Дальше все становится только хуже, теперь у них часть наборов в чистом WGS84, часть в Mercator, а у третьей части координаты записаны через WKT Mercator.

3. Если вы работаете с результатами моей конвертации, вам нужно просто брать не CSV, а ESRI Shape или OSM, они в latlon/WGS84, имейте в виду, у шейпов обрезана атрибутика по 255 символов максимум.

4. Если время терпит, то скоро будет еще один этап нормализации с моей стороны, где это тоже будет исправлено.

5. Если хотите пересчитывать координаты сами, читайте про преобразование Mercator/WGS84 в latlon/WGS84.

6. Там есть еще куча других проблем, если вы работаете не с одним набором, столкнетесь.
пристегивайтесь, турбулентность прямо по курсу

DimDim
Участник
Сообщения: 76
Зарегистрирован: 30 апр 2013, 13:22
Репутация: 6
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение DimDim » 05 май 2013, 22:54

Максим, спасибо за исчерпывающий ответ.

Некоторые комментарии по пунктам:
3. Да, я видел, что в OSM есть нормальные координаты. Погуглил "osm to sql server" и вновь появилась надежда :) Как-то раньше я до этого не догадался.
4. Было бы очень здорово!
5. ОК, спасибо, а то голова кругом от этих проекций :)
6. Пока мне нужно только координаты и что это за объект (буквально название датасета). Надеюсь хоть здесь у них не так много косяков.

DimDim
Участник
Сообщения: 76
Зарегистрирован: 30 апр 2013, 13:22
Репутация: 6
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение DimDim » 05 май 2013, 22:57

А напишу-ка я им тоже про координаты! :)

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 8918
Зарегистрирован: 06 окт 2003, 20:20
Статьи: 231
Проекты: 12/6
Репутация: 644
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 05 май 2013, 23:08

DimDim писал(а):Пока мне нужно только координаты и что это за объект (буквально название датасета).
Тогда просто используйте здешние шейпы, я уверен, что есть загрузчики в MS SQL Server.
пристегивайтесь, турбулентность прямо по курсу

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 8918
Зарегистрирован: 06 окт 2003, 20:20
Статьи: 231
Проекты: 12/6
Репутация: 644
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 14 май 2013, 10:21

сделал сервис контроля и архивации данных портала, подробнее тут
пристегивайтесь, турбулентность прямо по курсу

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 8918
Зарегистрирован: 06 окт 2003, 20:20
Статьи: 231
Проекты: 12/6
Репутация: 644
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 22 май 2013, 23:57

Опубликовал новую версию нормализованных данных, вкратце:
  1. Зоопарк координат приведен в единую прекрасную EPSG: 4326
  2. Нормализованы поля, теперь поля с координатами везде называются одинаково и многие другие поля имеющие 20 вариантов названия тоже приведены к единым.
  3. Убраны странные глюки типа многочисленных пробельных последовательностей
  4. Осуществлена конвертация каждого набора с привязкой в ESRI Shape и OSM XML, добавлены VRT файлы. Теперь всё можно грузить в ГИС в один шаг.
В данных очень много изменений. Свежесть - вчерашняя)

Брать по ссылке в первом сообщении.

Приму на исправление ошибки и несуразности.
пристегивайтесь, турбулентность прямо по курсу

DimDim
Участник
Сообщения: 76
Зарегистрирован: 30 апр 2013, 13:22
Репутация: 6
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение DimDim » 23 май 2013, 12:31

Максим, здорово!

Вопрос:
1. Насколько я понял изменился столбец "Код" в таблице. Что он вообще означает и можно ли на него ориентироваться (например, заливать в БД таблицы под этим кодом)?

Предложения:
1. Если это возможно, то давать скачивать все датасеты одного типа в одном архиве.
2. Дать примечание, чтобы пользователи данных отмечались в комментариях. Так можно понять востребованность, в какой-то мере усилить самомотивацию :) и вовремя переложить груз ответственности за конвертацию в случае невозможности её продолжать.

Ответить

Вернуться в «Материалы сайта»