GIS-LAB

Географические информационные системы и дистанционное зондирование


Форумы GIS-Lab.info

Геоинформационные системы (ГИС) и Дистанционное зондирование Земли


Открытые данные с портала data.mos.ru

Обсуждение материалов сайта: вопросы, замечания, предложения

Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 15 фев 2013, 16:52

Москва одной из первых создала портал по настоящему открытых данных, в том числе с геоданными.

В связи с тем, что данные на портале изобилуют мелкими недостатками, которые не дают использовать их сразу, "ограбил" его весь (разумеется без нарушений условий использования), поправил что счел нужным и сконвертировал всё в нормальные CSV и ESRI Shp.

Описание и получение данных

Приму предложения по улучшению, не забываем что статья редактируемая.

Собираюсь также выложить все скрипты созданные для получения, исправления, конвертации данных, чтобы процесс можно было повторять по мере желания/необходимости.
  • 0

пристегивайтесь, турбулентность прямо по курсу
Аватара пользователя
Максим Дубинин
NextGIS
 
Зарегистрирован: 06 окт 2003
Откуда: Москва (на карте)
 
Сообщения: 8863
Репутация: 627
Статьи: 231
Проекты: 12/6

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 18 фев 2013, 13:58

добавил выгрузки всех слоёв в формат OSM XML
  • 0

пристегивайтесь, турбулентность прямо по курсу
Аватара пользователя
Максим Дубинин
NextGIS
 
Зарегистрирован: 06 окт 2003
Откуда: Москва (на карте)
 
Сообщения: 8863
Репутация: 627
Статьи: 231
Проекты: 12/6

Re: Открытые данные с портала data.mos.ru

Сообщение Александр Мурый » 18 фев 2013, 14:14

Максим, эту страницу надо будет занести в статьи?
  • 0

Редактор материалов, модератор форума
Александр Мурый
званий не имею
 
Зарегистрирован: 26 сен 2009
Откуда: Москва (на карте)
 
Сообщения: 4864
Репутация: 662
Статьи: 3
Проекты: 5/1

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 18 фев 2013, 14:30

да, я считаю это своим минипроектом с "мордой" в виде статьи.
  • 0

пристегивайтесь, турбулентность прямо по курсу
Аватара пользователя
Максим Дубинин
NextGIS
 
Зарегистрирован: 06 окт 2003
Откуда: Москва (на карте)
 
Сообщения: 8863
Репутация: 627
Статьи: 231
Проекты: 12/6

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 24 фев 2013, 17:13

Выложил скрипты для создания/обновления копии, теперь ведется архив и считаются изменения относительно количества объектов между версиями.

Плюс выложили несколько новых наборов:

-Выданные разрешения на осуществление деятельности по перевозке пассажиров и багажа легковым такси
-Продажа билетов на пригородные поезда
-Региональные ярмарки
-Розничные рынки
-Тарифы на проезд в городском пассажирском транспорте
  • 0

пристегивайтесь, турбулентность прямо по курсу
Аватара пользователя
Максим Дубинин
NextGIS
 
Зарегистрирован: 06 окт 2003
Откуда: Москва (на карте)
 
Сообщения: 8863
Репутация: 627
Статьи: 231
Проекты: 12/6

Re: Открытые данные с портала data.mos.ru

Сообщение DimDim » 30 апр 2013, 14:31

Максим, большое спасибо за проделанную работу!
Я уж было собирался с головой погрузится в область геокодирования, чтобы понять как исходные данные загрузить в Яндекс.Карты, но вовремя нашёл ваш проект. Не забрасывайте это дело :)

P.S. Готов отдать свой голос в Дата.мос.ру за публикацию данных по УДС, торговле, промзонам.
  • 0

DimDim
Участник
 
Зарегистрирован: 30 апр 2013
Откуда: Москва (на карте)
 
Сообщения: 76
Репутация: 6

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 30 апр 2013, 14:53

пожалуйста, забрасывать пока не собирался.
  • 0

пристегивайтесь, турбулентность прямо по курсу
Аватара пользователя
Максим Дубинин
NextGIS
 
Зарегистрирован: 06 окт 2003
Откуда: Москва (на карте)
 
Сообщения: 8863
Репутация: 627
Статьи: 231
Проекты: 12/6

Re: Открытые данные с портала data.mos.ru

Сообщение DimDim » 05 май 2013, 23:03

Радость была не долгой :(
Судя по всему, только в первом датасете (486 - Нестационарные торговые объекты) есть поле WKT-WGS, в котором координаты в понятном для Гугла и Яндекса виде.
  • 0

DimDim
Участник
 
Зарегистрирован: 30 апр 2013
Откуда: Москва (на карте)
 
Сообщения: 76
Репутация: 6

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 05 май 2013, 23:41

1. нет, не только в первом

2. я несколько раз писал в департамент, что их подход к координатам - ужасно недружелюбен, думаю что процентов 80% разработчиков незнакомых с основами ГИС сразу село в лужу. Дальше все становится только хуже, теперь у них часть наборов в чистом WGS84, часть в Mercator, а у третьей части координаты записаны через WKT Mercator.

3. Если вы работаете с результатами моей конвертации, вам нужно просто брать не CSV, а ESRI Shape или OSM, они в latlon/WGS84, имейте в виду, у шейпов обрезана атрибутика по 255 символов максимум.

4. Если время терпит, то скоро будет еще один этап нормализации с моей стороны, где это тоже будет исправлено.

5. Если хотите пересчитывать координаты сами, читайте про преобразование Mercator/WGS84 в latlon/WGS84.

6. Там есть еще куча других проблем, если вы работаете не с одним набором, столкнетесь.
  • 0

пристегивайтесь, турбулентность прямо по курсу
Аватара пользователя
Максим Дубинин
NextGIS
 
Зарегистрирован: 06 окт 2003
Откуда: Москва (на карте)
 
Сообщения: 8863
Репутация: 627
Статьи: 231
Проекты: 12/6

Re: Открытые данные с портала data.mos.ru

Сообщение DimDim » 05 май 2013, 23:54

Максим, спасибо за исчерпывающий ответ.

Некоторые комментарии по пунктам:
3. Да, я видел, что в OSM есть нормальные координаты. Погуглил "osm to sql server" и вновь появилась надежда :) Как-то раньше я до этого не догадался.
4. Было бы очень здорово!
5. ОК, спасибо, а то голова кругом от этих проекций :)
6. Пока мне нужно только координаты и что это за объект (буквально название датасета). Надеюсь хоть здесь у них не так много косяков.
  • 0

DimDim
Участник
 
Зарегистрирован: 30 апр 2013
Откуда: Москва (на карте)
 
Сообщения: 76
Репутация: 6

Re: Открытые данные с портала data.mos.ru

Сообщение DimDim » 05 май 2013, 23:57

А напишу-ка я им тоже про координаты! :)
  • 0

DimDim
Участник
 
Зарегистрирован: 30 апр 2013
Откуда: Москва (на карте)
 
Сообщения: 76
Репутация: 6

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 06 май 2013, 00:08

DimDim писал(а):Пока мне нужно только координаты и что это за объект (буквально название датасета).

Тогда просто используйте здешние шейпы, я уверен, что есть загрузчики в MS SQL Server.
  • 0

пристегивайтесь, турбулентность прямо по курсу
Аватара пользователя
Максим Дубинин
NextGIS
 
Зарегистрирован: 06 окт 2003
Откуда: Москва (на карте)
 
Сообщения: 8863
Репутация: 627
Статьи: 231
Проекты: 12/6

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 14 май 2013, 11:21

сделал сервис контроля и архивации данных портала, подробнее тут
  • 0

пристегивайтесь, турбулентность прямо по курсу
Аватара пользователя
Максим Дубинин
NextGIS
 
Зарегистрирован: 06 окт 2003
Откуда: Москва (на карте)
 
Сообщения: 8863
Репутация: 627
Статьи: 231
Проекты: 12/6

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 23 май 2013, 00:57

Опубликовал новую версию нормализованных данных, вкратце:

  1. Зоопарк координат приведен в единую прекрасную EPSG: 4326
  2. Нормализованы поля, теперь поля с координатами везде называются одинаково и многие другие поля имеющие 20 вариантов названия тоже приведены к единым.
  3. Убраны странные глюки типа многочисленных пробельных последовательностей
  4. Осуществлена конвертация каждого набора с привязкой в ESRI Shape и OSM XML, добавлены VRT файлы. Теперь всё можно грузить в ГИС в один шаг.

В данных очень много изменений. Свежесть - вчерашняя)

Брать по ссылке в первом сообщении.

Приму на исправление ошибки и несуразности.
  • 1

пристегивайтесь, турбулентность прямо по курсу
Аватара пользователя
Максим Дубинин
NextGIS
 
Зарегистрирован: 06 окт 2003
Откуда: Москва (на карте)
 
Сообщения: 8863
Репутация: 627
Статьи: 231
Проекты: 12/6

Re: Открытые данные с портала data.mos.ru

Сообщение DimDim » 23 май 2013, 13:31

Максим, здорово!

Вопрос:
1. Насколько я понял изменился столбец "Код" в таблице. Что он вообще означает и можно ли на него ориентироваться (например, заливать в БД таблицы под этим кодом)?

Предложения:
1. Если это возможно, то давать скачивать все датасеты одного типа в одном архиве.
2. Дать примечание, чтобы пользователи данных отмечались в комментариях. Так можно понять востребованность, в какой-то мере усилить самомотивацию :) и вовремя переложить груз ответственности за конвертацию в случае невозможности её продолжать.
  • 0

DimDim
Участник
 
Зарегистрирован: 30 апр 2013
Откуда: Москва (на карте)
 
Сообщения: 76
Репутация: 6

След.

Вернуться в Материалы сайта

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 3


(Геокруг)

© GIS-Lab и авторы, 2002-2013. При использовании материалов сайта, ссылка на GIS-Lab и авторов обязательна. Содержание материалов - ответственность авторов (подробнее).