Описание данных и копия данных в более удобном для ГИС формате

Источник данных: Портал открытых данных г. Москва http://data.mos.ru

Об исходных данных[править]

Системы координат данных:

• EPSG: 4326 (latlon/WGS84)
• EPSG: 3857 (Web Mercator/WGS84)
• Местная московская система координат (ПМСК 1, 2)

Формат данных: CSV
Кодировка: UTF-8
Формат хранения геометрий: WKT или пара полей с координатами.

Лицензия данных разрешает любое использование (включая коммерческое) при условии наличия ссылки на первоисточник.

Условия использования набора данных не предполагают ограничений использования набора данных в некоммерческих и коммерческих целях.

Лицензия не указывает явным образом согласие с CT OpenStreetMap.

Сомнительные места организации и ошибки в исходных данных[править]

Уровень проблемности этих пунктов разный. Некоторые из них не позволят даже начать работу с данными, многие улучшили бы данные, но не помешают их использовать специалисту. Пометка "-> исправлено" означает, что данная проблема исправлена в нормализованной версии данных представленных в этом проекте.

1. Служебная информация в названиях полей -> исправлено
2. Исходные данные в системе координат: EPSG:3857 (плохая СК для распространения векторных данных) -> исправлено
3. Исходные данные в системе координат: ПМСК (местная система координат г. Москвы) (ужасная СК для распространения векторных данных) -> исправлено
4. Смешивание данных в разных системах координат в одних и тех же столбцах в одном наборе данных -> исправлено
5. Непоследовательное применение WKT представлений координат, то используется, то не используется.
6. Названия полей на кириллице (проблемы с конвертацией в ESRI Shape) -> исправлено
7. Названия полей очень длинные (проблемы с конвертацией в ESRI Shape) -> исправлено
8. Названия полей содержат спецсимволы (например "№", "/", "," - проблемы с конвертацией) -> исправлено
9. Названия полей содержат разрывы строк (например: 782.csv от 20130806) -> исправлено
10. Одни и те же названия полей то в кавычках, то без (просто некрасиво) -> исправлено
11. Одни и те же названия полей то с пробелами, то с "_" вместо пробелов (просто некрасиво) -> исправлено
12. Названия полей с опечатками (например "1_Дополнителтная информация", "0_Дифицит_профицит", просто некрасиво) -> исправлено
13. Варианты в названиях полей обозначающие одно и тоже (например "0_POINT_X", "0_X", просто некрасиво) -> исправлено
14. Отсутствуют вспомогательные файлы описания системы координат данных -> исправлено
15. Отсутствуют файлы csvt (проблемы с конвертацией с распознаванием корректного типа значений) -> исправлено
16. Отсутствуют файлы vrt (проблемы с немедленной подгрузкой данных в ГИС) -> исправлено
17. Многочисленные неоправданные последовательности символов "пробел" в атрибутике -> исправлено
18. Пустые поля. ";" в конце заголовка и ";" в конце каждой записи (пример: 619), иногда нерегулярно встречается "; " -> исправлено
19. На данный момент (20130609) многие наборы данных, ранее имевшие геопривязку, ее потеряли - используйте архивные версии.
20. Неоправданные разрывы строк в записях (например: 493.csv от 20130806, форум) -> исправлено
21. Названия полей отсутствующие в принципе (например пропавшее поле WKT 562.csv от 20130806) -> исправлено
22. Различные переносы строк - Windows, UNIX (сравнить например 493.csv и 914.csv от 20130806) -> исправлено
23. Поля с координатами называются так, что невозможно понять, что там координаты (например: поля X,Y 501.csv от 201309029 называются "0_Тип Выходного" и "0_Доп информация") -> исправлено
24. Поля с координатами называются так, как будто они в одной СК, когда на самом деле они в другой (например: поля X,Y [589.7z 589.csv] от 2013???? называются "X_MSK77;Y_MSK77")
25. Поля с координатами неправильно указаны в заголовке (например: поля X,Y 591.csv или 673.csv от 20131212 соответствуют телефону и времени работы) -> исправлено

TODO[править]

Мы будем рады если кто-то подключится и поможет со следующими делами.

1. *.csvt файлы пока рассматривают все поля как тип String(255). Нужно пройтись по всем полям и выяснить их тип, добавив его в fields.csv <- вручную
2. создать *.qml <- вручную
3. сконвертировать все в GeoJSON <- скриптом (пока скрипта нет)
4. обновлять только обновившееся, дату можно взять из метаданных, (но вдруг нас обманут? :) либо побайтово сравнивать с пред.версией CSV <- плохая идея
5. добавить поле CODE_OLD показывающее как набор данных назывался в предыдущих версиях <- вручную
6. добавить отдельную таблицу удаленных (unavailable) наборов данных <- скриптом (доделать batch_table.py)
7. добавить поле "Геоданные, вообще" - показывающее есть ли геоданные в любой версии набора <- вручную
8. переделать таблицу замен имен полей <- скриптом + вручную

Актуальность производных данных и архив[править]

Текущая версия данных расположенная здесь: 12 декабря 2013.

Чтобы посмотреть архивную версию данных, возьмите ссылку из таблице ниже и добавьте дату в формате YYYYMMDD. Например:
Актуальная версия:

 http://gis-lab.info/data/mos.ru/493_shp.7z

Архивная:

 http://gis-lab.info/data/mos.ru/20130213/493_shp.7z

Доступны архивы за следующие числа:
20130213,20130222,20130503,20130522,20130611,20130626,20130806,20130929,20131212

Вы можете также воспользоваться специальным сервисом, который следит за обновлениями исходных данных на data.mos.ru и архивирует все версии. Пока этот сервис не занимается нормализацией данных. Планируется объединить эти два сервиса.

Что делать если в свежей версии поломаны данные?[править]

ДИТ периодически "ломает" выкладываемые данные (см. перечень проблем выше). Возможно данные или геоданные не поломаны в архивной версии. Соответственно, чтобы восстановить данные, нужно взять их предыдущую версию. Для этого нужно:

1. Выбрать одну из архивных версий выше, например 20130222.
2. Определить старый номер набора данных (да, у ДИТа нестабильные номера наборов данных), посмотрев в файл _list.csv лежащий в папке архива. Если такого файла нет, то нужно посмотреть список наборов по этой ссылке.
3. Определить старый номер этого набора (если он изменился) и скачать соответствующий набор из папки архива.

Нормализованные данные[править]

О нормализованных данных[править]

Все данные - в UTF-8, геометрии - в EPSG:4326. Дополнительно 2 поля: LAT, LON содержащие координаты исходно хранящиеся в 3 разных системах (см. выше), приведенные в эту систему координат в преобразованных данных.

В таблице в поле Источник и Данные данные для скачивания:

• csv - исходные данные 'как есть' на data.mos.ru.
• csv-norm - данные в формате CSV, с нормализованными названиями полей, *.csvt, *.prj, *.vrt файлами.
• shp - данные в формате ESRI Shape (максимальная длина строк 255 символов).
• osm - данные в формате OSM XML, без обрезки атрибутики.

Полный перечень названий полей и их замен для нормализованых данных.

Скачать данные[править]

Поля:

• "Изменение" - сравнение с версией от 20130929. Цветами показаны: увеличение или уменьшение количества объектов, новый набор (отсутствовавший 20130929)
• "Геоданные, официально" - значится ли, что это геоданные на официальном портале.
• "Геоданные, реально" - есть ли геоданные в последней версии данных, если нет, см. также тут.

Известные проблемы нормализации[править]

1. Закавыченные строки с "разделителем" слепятся, например (исходник, результат 529.csv #64):

 ;"www.tretyakovgallery.ru;tretyakov.ru"; -> ;www.tretyakovgallery.rutretyakov.ru;

2. Пока не обрабатываются значения вида (пример 821.csv)

 55.735571:37.616719,55.735571:37.61672,55.735572:37.616719

Использованные скрипты и сопутствующие файлы, процесс обновления[править]

Язык - Python. Все скрипты можно взять на Github.

По шагам:

1. batch_download.py - Загружаем данные в папку data. Скрипт использует http://gis-lab.info/data/mos.ru/data/_listings/_general.csv как источник кодов для ссылок:

 env\Scripts\python batch_download.py

2. Архивируем всё для истории

 for %i in (*.csv) do C:/tools/7-Zip/7z.exe a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on %~ni.7z %i

и выгружаем на FTP в качестве исходников.

3. batch_field_sanitizer_read.py - Экстрагируем названия полей из CSV файлов

 env\Scripts\python batch_field_sanitizer_read.py data\ fields.csv yes yes

• fields.csv - все названия полей данных
• yes - обновлять существующий файл замен имен полей
• yes - использовать транслит для новых полей

4. Вручную редактируем файл fields.csv добавляя замены
5. batch_field_sanitizer_write.py - Нормализуем поля CSV файлов с данными, используя fields.csv

 env\Scripts\python batch_field_sanitizer_write.py data\ data-norm fields.csv

6. batch_process.py - подготовщик данных, конвертация, и т.п. Использует GDAL/OGR, использует wgs84.prj.

 python batch_process.py

• wgs84.prj - файл описания результирующей нормализованной системы координат

7. batch_table.py - Формируем таблицу в вики-формате (для этой страницы), использует http://gis-lab.info/data/mos.ru/data/_listings/_general.csv

 env\Scripts\python batch_table.py > table.wiki