Открытые данные с портала data.mos.ru

Обсуждение материалов сайта: вопросы, замечания, предложения
Ответить
Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 23 май 2013, 12:41

Верно, изменился. Код это внутренний номер набора в системе портала. На портале порядка месяца назад поменяли всю нумерацию, например, аптеки были 414, стали 501. Учитывая это, существует вероятность, что ее могут поменять и в будущем. Это проблема, но мы тут зависим от поставщика данных.

По предложениям:
1. Сделать группировку по категориям, типа все наборы на тему "Здравоохранение"?
2. Дать текст в описании приглашающий еще раз сюда на форум? Вы можете, кстати, его и сами добавить, я не против. Нажмите отредактировать.

Груз ответственности то давно переложен, код доступен (только собираюсь его перевыложить на гитхабе на днях).
пристегивайтесь, турбулентность прямо по курсу

DimDim
Участник
Сообщения: 76
Зарегистрирован: 30 апр 2013, 13:22
Репутация: 6
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение DimDim » 23 май 2013, 14:50

Да, с внутренним кодом засада...

По предложениям:
1. Или по категориям или вообще все файлы, скажем csv, в одном архиве. Автоматом качать не сложно, а вот вручную 150 раз "Сохранить как...", а потом "Распаковать в..." :) Но только если это технически не сложно.

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 24 май 2013, 00:10

Добавил в таблицу строку с архивами включающими все данные: csv, нормализованные csv, шейпы и osm xml
Залил код на гитхаб.
пристегивайтесь, турбулентность прямо по курсу

DimDim
Участник
Сообщения: 76
Зарегистрирован: 30 апр 2013, 13:22
Репутация: 6
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение DimDim » 24 май 2013, 21:11

Здорово! Спасибо.

DimDim
Участник
Сообщения: 76
Зарегистрирован: 30 апр 2013, 13:22
Репутация: 6
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение DimDim » 04 июн 2013, 13:49

Похоже они не экспортируют файлы из своей системы, а выкладывают то, что присылают из департаментов. Что как бы странно...

EternalW
Новоприбывший
Сообщения: 6
Зарегистрирован: 09 июн 2013, 11:33
Репутация: 0

Re: Открытые данные с портала data.mos.ru

Сообщение EternalW » 09 июн 2013, 12:08

Скачал один из shapefile'ов (616) попробовал открыть в QGIS (новый векторный слой > 616.shp) вместо карты вижу точку, систему координат проверял- ESPG:4326. Полез смотреть файлы и впал в ступор, где вообще геоданные спрятаны, если в исходных *.csv есть только длина и площадь? С ГИС работаю недавно, но до сих пор при открытии shp видел карты. До этого считал что векторные данные задаются точками/линиями/полигонами, а тут что-то непонятное. Что не так, и как нужно делать в данном случае?

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 09 июн 2013, 12:44

выходите из ступора, вы все понимаете верно, но разработчики портала поломали половину своих данных, много наборов, в т.ч. 616 потеряли геоданные.

ДИТу об этом было сообщено еще 21 мая
пристегивайтесь, турбулентность прямо по курсу

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 09 июн 2013, 12:49

Что можно сделать?

Взять архивную версию данных, где они еще не были поломаны. Для этого:

1. Ткнуть в одну из архивных версий, например (все версии перечислены на странице)
2. Определить старый номер набора данных (да-да, у ДИТа еще и нестабильные номера) , посмотрев в файл _list.csv
3. Найти старый номер этого набора (например 616 был 484) и скачать соответствующий набор из архивной папки.

чуть подробнее расписал тут
пристегивайтесь, турбулентность прямо по курсу

EternalW
Новоприбывший
Сообщения: 6
Зарегистрирован: 09 июн 2013, 11:33
Репутация: 0

Re: Открытые данные с портала data.mos.ru

Сообщение EternalW » 09 июн 2013, 14:35

Благодарю за оперативный ответ, скачал данные от 2013.02.22- на карту вроде похоже :)

Интересно, как скоро они там приведут всё в порядок? А то может они забыли уже, и им напомнить нужно, или это сезон отпусков в ДИТе?

P.S. Вопросы больше риторические.

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 09 июн 2013, 14:43

со мной они планами не делятся, на всю критику отвечают "спасибо, учтем", но результатов учета пока не видел.

напишите им и вы, что тут еще посоветуешь...
пристегивайтесь, турбулентность прямо по курсу

DimDim
Участник
Сообщения: 76
Зарегистрирован: 30 апр 2013, 13:22
Репутация: 6
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение DimDim » 10 июн 2013, 21:39

В датасете №493 "Дома культуры и клубы" Зеленоград оказался по диагонали на другой стороне Москвы (в районе Бронниц).

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 10 июн 2013, 21:58

У меня в нормализованной версии всё окей вроде (смотрел шейпы и vrt+csv)

Изображение
пристегивайтесь, турбулентность прямо по курсу

DimDim
Участник
Сообщения: 76
Зарегистрирован: 30 апр 2013, 13:22
Репутация: 6
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение DimDim » 10 июн 2013, 22:32

Хм... А у меня вот такая картинка (csv norm):
Изображение

DimDim
Участник
Сообщения: 76
Зарегистрирован: 30 апр 2013, 13:22
Репутация: 6
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение DimDim » 10 июн 2013, 22:43

Всё ещё хуже :)
Изображение

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 10 июн 2013, 22:47

у вас явно широта с долготой перепутаны, поменяйте их местами
пристегивайтесь, турбулентность прямо по курсу

Ответить

Вернуться в «Материалы сайта»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 14 гостей