Открытые данные с портала data.mos.ru

Обсуждение материалов сайта: вопросы, замечания, предложения
Ответить
Аватара пользователя
nadiopt
Гуру
Сообщения: 4744
Зарегистрирован: 29 янв 2009, 13:27
Репутация: 495
Ваше звание: хрюкало
Откуда: Санкт-Петербург
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение nadiopt » 13 сен 2013, 21:45

Макс, а вот теперь моя очередь обвинять тебя в невнимательности. Где это ты увидел, что я сделала вывод по ОДНОМУ набору данных
1) я просмотрела ВСЕ наборы данных с момента появления наборов 613 и 614. кроме нулей, координат не дождалась
2) остался висеть в воздухе мой вопрос про геометрию. Границы объектов и границы охранных зон - это, блин, хотя бы полилинии, а не точки!
ин гроссен фамилен нихт клювен клац клац

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 13 сен 2013, 22:30

Во первых это противоречит тому что ты сама сказала:
nadiopt писал(а):я скачала первую из версий набора 613 по ссылке (21 мая), и там lat/long так и есть по нулям
Далее:
nadiopt писал(а):1) я просмотрела ВСЕ наборы данных с момента появления наборов 613 и 614. кроме нулей, координат не дождалась
Если бы ты внимательно прочитала вот это:
1.Выбрать одну из архивных версий выше, например 20130222.
2.Определить старый номер набора данных (да, у ДИТа нестабильные номера наборов данных), посмотрев в файл _list.csv лежащий в папке архива.
по прямой ссылке которую я многократно приводил выше, то ты перестала бы искать нужный тебе набор данных под номером 613, а начала бы искать под номером 548 и тогда бы тебе открылось кое-что кроме нулей.

Изображение
пристегивайтесь, турбулентность прямо по курсу

Аватара пользователя
nadiopt
Гуру
Сообщения: 4744
Зарегистрирован: 29 янв 2009, 13:27
Репутация: 495
Ваше звание: хрюкало
Откуда: Санкт-Петербург
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение nadiopt » 13 сен 2013, 22:43

я понимаю, что у вас , небожителей, проблем мало, мелкие все время спят и срочную работу сдавать не надо, но если бы ты сразу сказал "смотри, коза, номер 548", то было бы тебе улучшение кармы и лучи благодарности с моей стороны. не хватило мне терпения этот лист посмотреть, тем более что в наборах принадлежность зон не показано, зона себе и зона
Во первых это противоречит тому что ты сама сказала:
nadiopt писал(а):
я скачала первую из версий набора 613 по ссылке (21 мая), и там lat/long так и есть по нулям
и да, после этого поста я устыдилась и перепроверила все наборы
ин гроссен фамилен нихт клювен клац клац

Аватара пользователя
nadiopt
Гуру
Сообщения: 4744
Зарегистрирован: 29 янв 2009, 13:27
Репутация: 495
Ваше звание: хрюкало
Откуда: Санкт-Петербург
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение nadiopt » 13 сен 2013, 23:15

и вот еще что. на странице проекта под номером 548 -коррекционные школы. во всех наборах, где есть 613, он одинаковый, там везде в атрибутике граница. блин, ну не догадалась я, что номер не тот, тем более что в ссылке сказано - набор поломан. говорю ж, неискренямое тупорыльство

[ Сообщение с мобильного устройства ]
ин гроссен фамилен нихт клювен клац клац

EternalW
Новоприбывший
Сообщения: 6
Зарегистрирован: 09 июн 2013, 11:33
Репутация: 0

Re: Открытые данные с портала data.mos.ru

Сообщение EternalW » 13 сен 2013, 23:19

Максим Дубинин писал(а): Дело не совсем в представлении. Но да, сломали много наборов примерно тогда. Для точности можете проверить и другие даты, не делайте как nadiopt выше, посмотрела только ближайшую дату и все, все выводы сделаны.
Да я посмотрел вроде все другие (архивные) наборы, та же беда. Меня просто смутило, что в сводной табличке по наборам в столбце "Геоданные" стоит флаг "да". Я думал, он показывает битые данные или нет, может тогда ввести ещё один столбец, где будет отображаться поломаны ли данные, думаю, добавить проверку полей lat/lon на нули при парсинге данных не очень сложно. А вообще они там (портал открытых данных Москвы) совсем не работают, видимо, сколько уже сообщали о битых данных, и до сих пор всё поломатое!

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 14 сен 2013, 00:19

EternalW писал(а):Меня просто смутило, что в сводной табличке по наборам в столбце "Геоданные" стоит флаг "да". Я думал, он показывает битые данные или нет, может тогда ввести ещё один столбец
viewtopic.php?f=3&t=12882&start=60#p97450

короче говоря, я согласен и добавил issue
пристегивайтесь, турбулентность прямо по курсу

Аватара пользователя
nadiopt
Гуру
Сообщения: 4744
Зарегистрирован: 29 янв 2009, 13:27
Репутация: 495
Ваше звание: хрюкало
Откуда: Санкт-Петербург
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение nadiopt » 14 сен 2013, 09:16

Максим, спасибо что все-таки прояснил ситуацию. наборы с границами ООПТ и их охранных зон - 548 и 549.
ин гроссен фамилен нихт клювен клац клац

godnik
Активный участник
Сообщения: 107
Зарегистрирован: 23 окт 2007, 19:20
Репутация: 13
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение godnik » 15 сен 2013, 11:58

Ага, я тоже нашел не поломанную версию под другим номером (#550 20130222).
Спасибо за добавление issue!

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 01 окт 2013, 23:00

новая версия нормализованных данных от 29.09.2013

помимо всего прочего, теперь в таблице появилось поле "Геоданные - реально", если в нем стоит NO, это означает, что в последней версии данных геометрии отсутствуют, несмотря на то, что в поле "Геоданные - официально" может стоять YES.

Таких наборов - 28 штук.

Собираюсь напрячься и добавить так же поле oldid. Кстати, кто-то может захотеть не быть луркером и помочь с этим. Нужно просто увязать два списка между собой.
пристегивайтесь, турбулентность прямо по курсу

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 15 окт 2013, 22:17

критика видимо наконец-то услышана, потому что на портале исправили буквально каждый набор данных, из замеченного при просмотре наискосок:

- похоже, что многое перестало быть геоданными, то что было в ПМСК теперь просто без координат (проверил на 5 наборах из презентации)
- спустя 7 месяцев (на проблему было указано 8 апреля) наконец решили проблему с фуфлопробелами, раздувавшими наборы до мегабайтов там где они реально занимали килобайты
- вняли объяснениям, что кириллица и спецсимволы в названиях полей - зло

пока системно анализировать лень, потом, но презентацию про баги придется переделывать к следующему выступлению если оно будет.
пристегивайтесь, турбулентность прямо по курсу

andreygeo
Гуру
Сообщения: 1085
Зарегистрирован: 27 окт 2010, 10:53
Репутация: 358
Откуда: Ракурс & GISGeo

Re: Открытые данные с портала data.mos.ru

Сообщение andreygeo » 16 окт 2013, 21:16

Мне кажется я начинаю понимать Максима в его неистовой борьба за открытые данные.
Вот, после очередного заседания GIS-Lab, воодушевленный данными значит иду доделывать учебный проект, в котором использую Мосданные...
Это набор 904...Площадки детские игровые. Вот скажите...это реально?! Это вообще как? Это такие данные или что-то не нормализовано, недособрано или я туплю...но это же бред... :shock:
ИзображениеUploaded with ImageShack.com
Проект GISGeo: геомаркетинг

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 16 окт 2013, 21:31

а где ты брал данные? я смотрю у тебя геоданные, но на портале в CSV для этого набора нет координат, откуда они взялись у тебя?

http://data.mos.ru/datasets/904
пристегивайтесь, турбулентность прямо по курсу

andreygeo
Гуру
Сообщения: 1085
Зарегистрирован: 27 окт 2010, 10:53
Репутация: 358
Откуда: Ракурс & GISGeo

Re: Открытые данные с портала data.mos.ru

Сообщение andreygeo » 16 окт 2013, 21:58

Максим Дубинин писал(а):а где ты брал данные? я смотрю у тебя геоданные, но на портале в CSV для этого набора нет координат, откуда они взялись у тебя?
http://data.mos.ru/datasets/904
Отсюда...с GIS-Lab в shp.
Данные портала открытых данных Москвы.
Проект GISGeo: геомаркетинг

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 16 окт 2013, 22:36

ааа, то-то я удивился, неужели данные появились, но чудес не бывает

что я могу тебе сказать

1. Официально в текущем наборе координат больше нет, были данные в ПМСК (ты скачал переведенные мною в WGS), теперь нет, в первоисточнике все вычищено. Так что официальные претензии ты больше предъявить не сможешь, поздно.

2. Что касается полноты набора - что имеем, то имеем. Свою критику я основывал на гео-составляющей, в тематику системно даже не заглядывал (кроме пары нужных наборов), не сомневаюсь, что проблем в ней не мало.

Для сравнения, мы плотно работали с набором "выходы из метро", пришлось переделывать практически все, расширив набор в 2 раза с около 500 до около 1000 точек и подвинуть каждую точку по ОСМ. Еще мы плотно работали с набором "культурное наследие", тоже очень много ошибок.

Так что вот так.
пристегивайтесь, турбулентность прямо по курсу

andreygeo
Гуру
Сообщения: 1085
Зарегистрирован: 27 окт 2010, 10:53
Репутация: 358
Откуда: Ракурс & GISGeo

Re: Открытые данные с портала data.mos.ru

Сообщение andreygeo » 16 окт 2013, 22:49

Максим Дубинин писал(а):ааа, то-то я удивился, неужели данные появились, но чудес не бывает
что я могу тебе сказать
1. Официально в текущем наборе координат больше нет, были данные в ПМСК (ты скачал переведенные мною в WGS), теперь нет, в первоисточнике все вычищено.
2. Что касается полноты набора - что имеем, то имеем. Свою критику я основывал на гео-составляющей, в тематику системно даже не заглядывал (кроме пары нужных наборов), не сомневаюсь, что проблем в ней не мало.
Для сравнения, мы плотно работали с набором "выходы из метро", пришлось переделывать практически все, расширив набор в 2 раза с около 500 до около 1000 точек и подвинуть каждую точку по ОСМ. Еще мы плотно работали с набором "культурное наследие", тоже очень много ошибок.
Так что вот так.
Ну, так и подумал. Жаль, что отношение такое. "Геоданные - есть" это ещё не значит, что они есть и они гео.

Кстати, казалось бы, чего проще...а есть ли у кого данные Границ районов города Москвы в shp? Очень вот приспичило.
Проект GISGeo: геомаркетинг

Ответить

Вернуться в «Материалы сайта»

Кто сейчас на конференции

Сейчас этот форум просматривают: Semrush [Bot] и 19 гостей