Открытые данные с портала data.mos.ru

[Максим Дубинин]

Москва одной из первых создала портал по настоящему открытых данных, в том числе с геоданными.

В связи с тем, что данные на портале изобилуют мелкими недостатками, которые не дают использовать их сразу, "ограбил" его весь (разумеется без нарушений условий использования), поправил что счел нужным и сконвертировал всё в нормальные CSV и ESRI Shp.

Описание и получение данных - Устарело
Новый способ: https://youtu.be/uPLmfXknnbc (03.2018)

Приму предложения по улучшению, не забываем что статья редактируемая.

[Максим Дубинин]

добавил выгрузки всех слоёв в формат OSM XML

[Александр Мурый]

Максим, эту страницу надо будет занести в статьи?

[Максим Дубинин]

да, я считаю это своим минипроектом с "мордой" в виде статьи.

[Максим Дубинин]

Выложил скрипты для создания/обновления копии, теперь ведется архив и считаются изменения относительно количества объектов между версиями.

Плюс выложили несколько новых наборов:

-Выданные разрешения на осуществление деятельности по перевозке пассажиров и багажа легковым такси
-Продажа билетов на пригородные поезда
-Региональные ярмарки
-Розничные рынки
-Тарифы на проезд в городском пассажирском транспорте

[DimDim]

Максим, большое спасибо за проделанную работу!
Я уж было собирался с головой погрузится в область геокодирования, чтобы понять как исходные данные загрузить в Яндекс.Карты, но вовремя нашёл ваш проект. Не забрасывайте это дело

P.S. Готов отдать свой голос в Дата.мос.ру за публикацию данных по УДС, торговле, промзонам.

[Максим Дубинин]

пожалуйста, забрасывать пока не собирался.

[DimDim]

Радость была не долгой
Судя по всему, только в первом датасете (486 - Нестационарные торговые объекты) есть поле WKT-WGS, в котором координаты в понятном для Гугла и Яндекса виде.

[Максим Дубинин]

1. нет, не только в первом

2. я несколько раз писал в департамент, что их подход к координатам - ужасно недружелюбен, думаю что процентов 80% разработчиков незнакомых с основами ГИС сразу село в лужу. Дальше все становится только хуже, теперь у них часть наборов в чистом WGS84, часть в Mercator, а у третьей части координаты записаны через WKT Mercator.

3. Если вы работаете с результатами моей конвертации, вам нужно просто брать не CSV, а ESRI Shape или OSM, они в latlon/WGS84, имейте в виду, у шейпов обрезана атрибутика по 255 символов максимум.

4. Если время терпит, то скоро будет еще один этап нормализации с моей стороны, где это тоже будет исправлено.

5. Если хотите пересчитывать координаты сами, читайте про преобразование Mercator/WGS84 в latlon/WGS84.

6. Там есть еще куча других проблем, если вы работаете не с одним набором, столкнетесь.

[DimDim]

Максим, спасибо за исчерпывающий ответ.

Некоторые комментарии по пунктам:
3. Да, я видел, что в OSM есть нормальные координаты. Погуглил "osm to sql server" и вновь появилась надежда Как-то раньше я до этого не догадался.
4. Было бы очень здорово!
5. ОК, спасибо, а то голова кругом от этих проекций
6. Пока мне нужно только координаты и что это за объект (буквально название датасета). Надеюсь хоть здесь у них не так много косяков.

[DimDim]

А напишу-ка я им тоже про координаты!

[Максим Дубинин]

Пока мне нужно только координаты и что это за объект (буквально название датасета).

Тогда просто используйте здешние шейпы, я уверен, что есть загрузчики в MS SQL Server.

[Максим Дубинин]

сделал сервис контроля и архивации данных портала, подробнее тут

[Максим Дубинин]

Опубликовал новую версию нормализованных данных, вкратце:

1. Зоопарк координат приведен в единую прекрасную EPSG: 4326
2. Нормализованы поля, теперь поля с координатами везде называются одинаково и многие другие поля имеющие 20 вариантов названия тоже приведены к единым.
3. Убраны странные глюки типа многочисленных пробельных последовательностей
4. Осуществлена конвертация каждого набора с привязкой в ESRI Shape и OSM XML, добавлены VRT файлы. Теперь всё можно грузить в ГИС в один шаг.

В данных очень много изменений. Свежесть - вчерашняя)

Брать по ссылке в первом сообщении.

Приму на исправление ошибки и несуразности.

[DimDim]

Максим, здорово!

Вопрос:
1. Насколько я понял изменился столбец "Код" в таблице. Что он вообще означает и можно ли на него ориентироваться (например, заливать в БД таблицы под этим кодом)?

Предложения:
1. Если это возможно, то давать скачивать все датасеты одного типа в одном архиве.
2. Дать примечание, чтобы пользователи данных отмечались в комментариях. Так можно понять востребованность, в какой-то мере усилить самомотивацию и вовремя переложить груз ответственности за конвертацию в случае невозможности её продолжать.