Страница 1 из 12

Открытые данные с портала data.mos.ru

Добавлено: 15 фев 2013, 15:52
Максим Дубинин
Москва одной из первых создала портал по настоящему открытых данных, в том числе с геоданными.

В связи с тем, что данные на портале изобилуют мелкими недостатками, которые не дают использовать их сразу, "ограбил" его весь (разумеется без нарушений условий использования), поправил что счел нужным и сконвертировал всё в нормальные CSV и ESRI Shp.

Описание и получение данных - Устарело
Новый способ: https://youtu.be/uPLmfXknnbc (03.2018)

Приму предложения по улучшению, не забываем что статья редактируемая.

Re: Открытые данные с портала data.mos.ru

Добавлено: 18 фев 2013, 12:58
Максим Дубинин
добавил выгрузки всех слоёв в формат OSM XML

Re: Открытые данные с портала data.mos.ru

Добавлено: 18 фев 2013, 13:14
Александр Мурый
Максим, эту страницу надо будет занести в статьи?

Re: Открытые данные с портала data.mos.ru

Добавлено: 18 фев 2013, 13:30
Максим Дубинин
да, я считаю это своим минипроектом с "мордой" в виде статьи.

Re: Открытые данные с портала data.mos.ru

Добавлено: 24 фев 2013, 16:13
Максим Дубинин
Выложил скрипты для создания/обновления копии, теперь ведется архив и считаются изменения относительно количества объектов между версиями.

Плюс выложили несколько новых наборов:

-Выданные разрешения на осуществление деятельности по перевозке пассажиров и багажа легковым такси
-Продажа билетов на пригородные поезда
-Региональные ярмарки
-Розничные рынки
-Тарифы на проезд в городском пассажирском транспорте

Re: Открытые данные с портала data.mos.ru

Добавлено: 30 апр 2013, 13:31
DimDim
Максим, большое спасибо за проделанную работу!
Я уж было собирался с головой погрузится в область геокодирования, чтобы понять как исходные данные загрузить в Яндекс.Карты, но вовремя нашёл ваш проект. Не забрасывайте это дело :)

P.S. Готов отдать свой голос в Дата.мос.ру за публикацию данных по УДС, торговле, промзонам.

Re: Открытые данные с портала data.mos.ru

Добавлено: 30 апр 2013, 13:53
Максим Дубинин
пожалуйста, забрасывать пока не собирался.

Re: Открытые данные с портала data.mos.ru

Добавлено: 05 май 2013, 22:03
DimDim
Радость была не долгой :(
Судя по всему, только в первом датасете (486 - Нестационарные торговые объекты) есть поле WKT-WGS, в котором координаты в понятном для Гугла и Яндекса виде.

Re: Открытые данные с портала data.mos.ru

Добавлено: 05 май 2013, 22:41
Максим Дубинин
1. нет, не только в первом

2. я несколько раз писал в департамент, что их подход к координатам - ужасно недружелюбен, думаю что процентов 80% разработчиков незнакомых с основами ГИС сразу село в лужу. Дальше все становится только хуже, теперь у них часть наборов в чистом WGS84, часть в Mercator, а у третьей части координаты записаны через WKT Mercator.

3. Если вы работаете с результатами моей конвертации, вам нужно просто брать не CSV, а ESRI Shape или OSM, они в latlon/WGS84, имейте в виду, у шейпов обрезана атрибутика по 255 символов максимум.

4. Если время терпит, то скоро будет еще один этап нормализации с моей стороны, где это тоже будет исправлено.

5. Если хотите пересчитывать координаты сами, читайте про преобразование Mercator/WGS84 в latlon/WGS84.

6. Там есть еще куча других проблем, если вы работаете не с одним набором, столкнетесь.

Re: Открытые данные с портала data.mos.ru

Добавлено: 05 май 2013, 22:54
DimDim
Максим, спасибо за исчерпывающий ответ.

Некоторые комментарии по пунктам:
3. Да, я видел, что в OSM есть нормальные координаты. Погуглил "osm to sql server" и вновь появилась надежда :) Как-то раньше я до этого не догадался.
4. Было бы очень здорово!
5. ОК, спасибо, а то голова кругом от этих проекций :)
6. Пока мне нужно только координаты и что это за объект (буквально название датасета). Надеюсь хоть здесь у них не так много косяков.

Re: Открытые данные с портала data.mos.ru

Добавлено: 05 май 2013, 22:57
DimDim
А напишу-ка я им тоже про координаты! :)

Re: Открытые данные с портала data.mos.ru

Добавлено: 05 май 2013, 23:08
Максим Дубинин
DimDim писал(а):Пока мне нужно только координаты и что это за объект (буквально название датасета).
Тогда просто используйте здешние шейпы, я уверен, что есть загрузчики в MS SQL Server.

Re: Открытые данные с портала data.mos.ru

Добавлено: 14 май 2013, 10:21
Максим Дубинин
сделал сервис контроля и архивации данных портала, подробнее тут

Re: Открытые данные с портала data.mos.ru

Добавлено: 22 май 2013, 23:57
Максим Дубинин
Опубликовал новую версию нормализованных данных, вкратце:
  1. Зоопарк координат приведен в единую прекрасную EPSG: 4326
  2. Нормализованы поля, теперь поля с координатами везде называются одинаково и многие другие поля имеющие 20 вариантов названия тоже приведены к единым.
  3. Убраны странные глюки типа многочисленных пробельных последовательностей
  4. Осуществлена конвертация каждого набора с привязкой в ESRI Shape и OSM XML, добавлены VRT файлы. Теперь всё можно грузить в ГИС в один шаг.
В данных очень много изменений. Свежесть - вчерашняя)

Брать по ссылке в первом сообщении.

Приму на исправление ошибки и несуразности.

Re: Открытые данные с портала data.mos.ru

Добавлено: 23 май 2013, 12:31
DimDim
Максим, здорово!

Вопрос:
1. Насколько я понял изменился столбец "Код" в таблице. Что он вообще означает и можно ли на него ориентироваться (например, заливать в БД таблицы под этим кодом)?

Предложения:
1. Если это возможно, то давать скачивать все датасеты одного типа в одном архиве.
2. Дать примечание, чтобы пользователи данных отмечались в комментариях. Так можно понять востребованность, в какой-то мере усилить самомотивацию :) и вовремя переложить груз ответственности за конвертацию в случае невозможности её продолжать.