Страница 6 из 12

Re: Открытые данные с портала data.mos.ru

Добавлено: 13 сен 2013, 21:45
nadiopt
Макс, а вот теперь моя очередь обвинять тебя в невнимательности. Где это ты увидел, что я сделала вывод по ОДНОМУ набору данных
1) я просмотрела ВСЕ наборы данных с момента появления наборов 613 и 614. кроме нулей, координат не дождалась
2) остался висеть в воздухе мой вопрос про геометрию. Границы объектов и границы охранных зон - это, блин, хотя бы полилинии, а не точки!

Re: Открытые данные с портала data.mos.ru

Добавлено: 13 сен 2013, 22:30
Максим Дубинин
Во первых это противоречит тому что ты сама сказала:
nadiopt писал(а):я скачала первую из версий набора 613 по ссылке (21 мая), и там lat/long так и есть по нулям
Далее:
nadiopt писал(а):1) я просмотрела ВСЕ наборы данных с момента появления наборов 613 и 614. кроме нулей, координат не дождалась
Если бы ты внимательно прочитала вот это:
1.Выбрать одну из архивных версий выше, например 20130222.
2.Определить старый номер набора данных (да, у ДИТа нестабильные номера наборов данных), посмотрев в файл _list.csv лежащий в папке архива.
по прямой ссылке которую я многократно приводил выше, то ты перестала бы искать нужный тебе набор данных под номером 613, а начала бы искать под номером 548 и тогда бы тебе открылось кое-что кроме нулей.

Изображение

Re: Открытые данные с портала data.mos.ru

Добавлено: 13 сен 2013, 22:43
nadiopt
я понимаю, что у вас , небожителей, проблем мало, мелкие все время спят и срочную работу сдавать не надо, но если бы ты сразу сказал "смотри, коза, номер 548", то было бы тебе улучшение кармы и лучи благодарности с моей стороны. не хватило мне терпения этот лист посмотреть, тем более что в наборах принадлежность зон не показано, зона себе и зона
Во первых это противоречит тому что ты сама сказала:
nadiopt писал(а):
я скачала первую из версий набора 613 по ссылке (21 мая), и там lat/long так и есть по нулям
и да, после этого поста я устыдилась и перепроверила все наборы

Re: Открытые данные с портала data.mos.ru

Добавлено: 13 сен 2013, 23:15
nadiopt
и вот еще что. на странице проекта под номером 548 -коррекционные школы. во всех наборах, где есть 613, он одинаковый, там везде в атрибутике граница. блин, ну не догадалась я, что номер не тот, тем более что в ссылке сказано - набор поломан. говорю ж, неискренямое тупорыльство

[ Сообщение с мобильного устройства ]

Re: Открытые данные с портала data.mos.ru

Добавлено: 13 сен 2013, 23:19
EternalW
Максим Дубинин писал(а): Дело не совсем в представлении. Но да, сломали много наборов примерно тогда. Для точности можете проверить и другие даты, не делайте как nadiopt выше, посмотрела только ближайшую дату и все, все выводы сделаны.
Да я посмотрел вроде все другие (архивные) наборы, та же беда. Меня просто смутило, что в сводной табличке по наборам в столбце "Геоданные" стоит флаг "да". Я думал, он показывает битые данные или нет, может тогда ввести ещё один столбец, где будет отображаться поломаны ли данные, думаю, добавить проверку полей lat/lon на нули при парсинге данных не очень сложно. А вообще они там (портал открытых данных Москвы) совсем не работают, видимо, сколько уже сообщали о битых данных, и до сих пор всё поломатое!

Re: Открытые данные с портала data.mos.ru

Добавлено: 14 сен 2013, 00:19
Максим Дубинин
EternalW писал(а):Меня просто смутило, что в сводной табличке по наборам в столбце "Геоданные" стоит флаг "да". Я думал, он показывает битые данные или нет, может тогда ввести ещё один столбец
viewtopic.php?f=3&t=12882&start=60#p97450

короче говоря, я согласен и добавил issue

Re: Открытые данные с портала data.mos.ru

Добавлено: 14 сен 2013, 09:16
nadiopt
Максим, спасибо что все-таки прояснил ситуацию. наборы с границами ООПТ и их охранных зон - 548 и 549.

Re: Открытые данные с портала data.mos.ru

Добавлено: 15 сен 2013, 11:58
godnik
Ага, я тоже нашел не поломанную версию под другим номером (#550 20130222).
Спасибо за добавление issue!

Re: Открытые данные с портала data.mos.ru

Добавлено: 01 окт 2013, 23:00
Максим Дубинин
новая версия нормализованных данных от 29.09.2013

помимо всего прочего, теперь в таблице появилось поле "Геоданные - реально", если в нем стоит NO, это означает, что в последней версии данных геометрии отсутствуют, несмотря на то, что в поле "Геоданные - официально" может стоять YES.

Таких наборов - 28 штук.

Собираюсь напрячься и добавить так же поле oldid. Кстати, кто-то может захотеть не быть луркером и помочь с этим. Нужно просто увязать два списка между собой.

Re: Открытые данные с портала data.mos.ru

Добавлено: 15 окт 2013, 22:17
Максим Дубинин
критика видимо наконец-то услышана, потому что на портале исправили буквально каждый набор данных, из замеченного при просмотре наискосок:

- похоже, что многое перестало быть геоданными, то что было в ПМСК теперь просто без координат (проверил на 5 наборах из презентации)
- спустя 7 месяцев (на проблему было указано 8 апреля) наконец решили проблему с фуфлопробелами, раздувавшими наборы до мегабайтов там где они реально занимали килобайты
- вняли объяснениям, что кириллица и спецсимволы в названиях полей - зло

пока системно анализировать лень, потом, но презентацию про баги придется переделывать к следующему выступлению если оно будет.

Re: Открытые данные с портала data.mos.ru

Добавлено: 16 окт 2013, 21:16
andreygeo
Мне кажется я начинаю понимать Максима в его неистовой борьба за открытые данные.
Вот, после очередного заседания GIS-Lab, воодушевленный данными значит иду доделывать учебный проект, в котором использую Мосданные...
Это набор 904...Площадки детские игровые. Вот скажите...это реально?! Это вообще как? Это такие данные или что-то не нормализовано, недособрано или я туплю...но это же бред... :shock:
ИзображениеUploaded with ImageShack.com

Re: Открытые данные с портала data.mos.ru

Добавлено: 16 окт 2013, 21:31
Максим Дубинин
а где ты брал данные? я смотрю у тебя геоданные, но на портале в CSV для этого набора нет координат, откуда они взялись у тебя?

http://data.mos.ru/datasets/904

Re: Открытые данные с портала data.mos.ru

Добавлено: 16 окт 2013, 21:58
andreygeo
Максим Дубинин писал(а):а где ты брал данные? я смотрю у тебя геоданные, но на портале в CSV для этого набора нет координат, откуда они взялись у тебя?
http://data.mos.ru/datasets/904
Отсюда...с GIS-Lab в shp.
Данные портала открытых данных Москвы.

Re: Открытые данные с портала data.mos.ru

Добавлено: 16 окт 2013, 22:36
Максим Дубинин
ааа, то-то я удивился, неужели данные появились, но чудес не бывает

что я могу тебе сказать

1. Официально в текущем наборе координат больше нет, были данные в ПМСК (ты скачал переведенные мною в WGS), теперь нет, в первоисточнике все вычищено. Так что официальные претензии ты больше предъявить не сможешь, поздно.

2. Что касается полноты набора - что имеем, то имеем. Свою критику я основывал на гео-составляющей, в тематику системно даже не заглядывал (кроме пары нужных наборов), не сомневаюсь, что проблем в ней не мало.

Для сравнения, мы плотно работали с набором "выходы из метро", пришлось переделывать практически все, расширив набор в 2 раза с около 500 до около 1000 точек и подвинуть каждую точку по ОСМ. Еще мы плотно работали с набором "культурное наследие", тоже очень много ошибок.

Так что вот так.

Re: Открытые данные с портала data.mos.ru

Добавлено: 16 окт 2013, 22:49
andreygeo
Максим Дубинин писал(а):ааа, то-то я удивился, неужели данные появились, но чудес не бывает
что я могу тебе сказать
1. Официально в текущем наборе координат больше нет, были данные в ПМСК (ты скачал переведенные мною в WGS), теперь нет, в первоисточнике все вычищено.
2. Что касается полноты набора - что имеем, то имеем. Свою критику я основывал на гео-составляющей, в тематику системно даже не заглядывал (кроме пары нужных наборов), не сомневаюсь, что проблем в ней не мало.
Для сравнения, мы плотно работали с набором "выходы из метро", пришлось переделывать практически все, расширив набор в 2 раза с около 500 до около 1000 точек и подвинуть каждую точку по ОСМ. Еще мы плотно работали с набором "культурное наследие", тоже очень много ошибок.
Так что вот так.
Ну, так и подумал. Жаль, что отношение такое. "Геоданные - есть" это ещё не значит, что они есть и они гео.

Кстати, казалось бы, чего проще...а есть ли у кого данные Границ районов города Москвы в shp? Очень вот приспичило.