Открытые данные с портала data.mos.ru

[andreygeo]

Немного проверил данных, которые потенциально интересны с т.з. всяких полезных приложений для Москвы и для своих образовательных задач.
Кому не хочется вникать: побеждает деп. образования! Реально молодцы, порадовали. Все их данные привязаны.
Немного тупит деп здравоохранения, в основном данные имеют привязку, но ситуация с аптеками и неотложкой всё портит.
Негодяи - деп транс.
Первая колонка - что. Вторая - есть ли адрес. Третья - есть ли геопривязка. + комментарии.
1. Границы районов. Странные данные, привязка только к административным округам. Зато есть данные по населению хорошие.
2. Многофункциональные центры Да Да
3. Wi-Fi в парках Да Нет
4. Велопарковки Да Нет
5. Кинотеатры Да Да
6. Музеи Да Да
7. Объекты культурного наследия Да Нет
8. Библиотеки Да Да
9. Избирательные участки Да Нет
10. Больницы взрослые Да Да
11. Больницы детские Да Да
12. Аптеки Нет Нет (как они интересно собирались выигрывать с проектом по аптекам на APIResearch)
13.Скорая помощь Да Нет
15. Диспансеры Да Да
16. Ветеринарные учреждения Да Да Очень мало данных. 21 шт.
17. Детские дома Да Да
18. Детские сады Да Да
19. Дома детского творчества (разные кружки) Да Да
20. Дома культуры Да Да
21. Площадки детские Да Нет
22. Школы (лицеи т т.п.) Да Да
23. Музыкальные школы Да Да
24. Техникумы Да Да
25. Женские консультации, Молочные кухни, роддома Да Да
26. ЗАГСы Да Да
27. Остановки НГПТ Нет/Да Нет
28. Народные гаражи Да Нет
29. Парковки такси Да Нет
30. Перехватывающие парковки Да Нет
31. Магазины, которые торгуют алкоголем Да Да
32. Социальные магазины Да Нет
33. Туалеты Да Нет На всю Москву их всего 215 бесплатных! Из них только 14 приспособлено для инвалидов.

[Максим Дубинин]

такую проверку нужно делать более системно, см. таблицу и поля "геоданные официально", "геоданные реально"
http://gis-lab.info/qa/data-mos.html#.D ... 1.8B.D0.B5

[andreygeo]

такую проверку нужно делать более системно, см. таблицу и поля "геоданные официально", "геоданные реально"
http://gis-lab.info/qa/data-mos.html#.D ... 1.8B.D0.B5

Не дошли пока руки до сравнения с вышеупомянутой таблицей.
Зато я знаю где можно выпить или где продают

geo.mgubs.ru:8080/api/index.html?permalink=ZTLYO&A96WP

[Максим Дубинин]

с таблицей не надо ничего сравнивать, таблицу надо заполнять, это называется "участвовать"

а про твою ссылку я тебе уже говорил - отдели, пожалуйста, в отдельную тему и рекламируй там вволю сколько угодно

[andreygeo]

с таблицей не надо ничего сравнивать, таблицу надо заполнять, это называется "участвовать"

Вопрос по участию..есть вот Сервис контроля и архивации материалов портала открытых данных г. Москвы. Это оно имеется ввиду? Как я понимаю, он работает автоматом. А таблица заполняется в ручную? Планировалось их объединять, на какой стадии это находится?
Сейчас таблица имеет актуальность на данные от 6 августа или же на 29 сентября (последний архив)? Т.е. мне брать самые последние данные из сервиса и сверять именно с ними таблицу?
Может быть с точки зрения массового объяснения как и что устроено + массово нормализовать устроить "хахатон"? Я был бы рад присоединиться к это таблице с т.з. участия. Но есть ряд как технических вопросов, так и общих. Как идея? Вообще было бы здорово...только как-то можно было бы всё это обыграть...ну, типа: Открытые данные Москвы: для бизнеса, людей и профессионалов. Вход бесплатный, пиво с вас.
Можео было бы не только похахатонить данные, но и устроить парочку мозговых штурмов в области использования данных, а в качестве пряника возможность кинуть идеи на этот APIResearch по инновационным фигням на основе ОД.

[Максим Дубинин]

все идеи прекрасные, с некоторыми небольшими замечаниями

1. Расписал более конкретно как можно поучаствовать: http://gis-lab.info/qa/data-mos.html#TODO
2. Поле Геоданные, реально - заполнять не надо, я почти доделал сам обновление
3. Хахатон - отличная идея, особенно если кто-то возьмется за организацию (я бы помог), единственное моё пожелание, не привязывать это ни к каким конкурсам, особенно официальным. Просто сделать это и всё.

PS: конкретная помощь прямо сейчас пригодилась бы с п. 5 и 7, приглашаю поучаствовать. Прежде чем бросаться что-то делать, обязательно появитесь в IRC или напишите по почте, я напишу более четко что именно нужно.

[andreygeo]

все идеи прекрасные, с некоторыми небольшими замечаниями
1. Расписал более конкретно как можно поучаствовать: http://gis-lab.info/qa/data-mos.html#TODO
2. Поле Геоданные, реально - заполнять не надо, я почти доделал сам обновление
3. Хахатон - отличная идея, особенно если кто-то возьмется за организацию (я бы помог), единственное моё пожелание, не привязывать это ни к каким конкурсам, особенно официальным. Просто сделать это и всё.
PS: конкретная помощь прямо сейчас пригодилась бы с п. 5 и 7, приглашаю поучаствовать. Прежде чем бросаться что-то делать, обязательно появитесь в IRC или напишите по почте, я напишу более четко что именно нужно.

В общем, ситуация с данными куда гораздо загадочнее, чем казалась. Я всё больше убеждаюсь, что им плевать на то, что они предлагают. Что сейчас происходит с наборами данных мне вообще не понятно. Кто, как и через какое место всё это собирал.
Проблема первоначальная, многократно поднимавшаяся Максимом, о координатах, кодировке и т.п. технических вещах может быть и стала решаться, но вот что происходит с адекватностью данных? Реальной проверкой данных они занимаются? Как с этим можно работать? Какая нафиг цель проекта — дать разработчикам возможность создавать новые социально полезные приложения. Какие нафиг полезные, если у них целые районы проваливаются, данные смешиваются и не отвечают действительности? Да, не все косячные наборы, но вот по образованию открывается ахтунг какой-то

[Максим Дубинин]

Возьми набор, проведи четкое сравнение, опубликуй в приличном месте. К чему эти риторические вопросы, разве отношение к ним подобным не было явным образом проиллюстрировано 7ми месячным присутствием секретных данных.

[andreygeo]

Возьми набор, проведи четкое сравнение, опубликуй в приличном месте. К чему эти риторические вопросы, разве отношение к ним подобным не было явным образом проиллюстрировано 7ми месячным присутствием секретных данных.

Ну ты же им вроде мозги промыл...исправляться начали, лицом к народу повернулись. Кстати, а кроме мыла тех поддержки есть ещё контакты сервиса? Кто за этим стоит? ДепартаментIT?
Детальный анализ впереди, пока только поверхностные "приколы".
http://andreygeo.livejournal.com/3349.html

[Shurik]

В связи с тем, что отдельные личности подозревают заправщиков картриджей в причастности к формированию открытых данных, расскажу, как это примерно происходит.

Существует внутренняя система Департамента образования, называемая "Статистика и Аналитика", или ЕКИС. В этой системе присутствуют данные по всем учреждениям образования Москвы. Там же проводятся некоторые сборы данных с учреждений. Оператором ЕКИС является ТЕМОЦентр, бывший ИАЦ ДОгМ.

Выглядит примерно так: http://osm.sbin.ru/tmp/ekis1.png

В частности, существует специальная форма Сбор информации для портала "Открытые данные" и типовых сайтов: http://osm.sbin.ru/tmp/ekis2.png

В частности, в этой форме есть пункт "наличие дошкольного отделения". Этот пункт может влиять на поведение ЕКИС и других систем. В частности, при его наличии со школы собирают специфичные для детских садов сборы (например, мониторинг 407-ПП).

Данные ЕКИС время от времени выгружаются в специальную систему "Реестр учреждений", которую никто не видел, но по слухам она есть С этой же системой работают системы АИС "Запись в школу", АРМ ДОУ и другие, которые используются при предоставлении государственных услуг. Насколько часто туда попадают данные доподлинно неизвестно, но видимо не так уж и часто, судя по тому, что данные по классам из системы "Запись в школу" в ЕКИС официально попадают раз в две недели (передача происходит через этот реестр). Скорее всего из реестра учреждений и формируют выгрузки ОД по разным критериям. Помимо вероятных глюков самого реестра и методов выгрузки, существует ещё куча уязвимых мест, где могут возникать проблемы.

В частности, если к школе присоединили детский сад, а галочка про дошкольное отделение не стоит (формально следить за актуальностью формы есть обязанность школы), то мы увидим, как в очередной выгрузке детский сад исчезнет, а на его месте ничего не появится. Это может приводить к очень забавным ситуациям. Например, сейчас модно формировать образовательные комплексы на целый квартал. Случается реорганизация - и в квартале на карте не остаётся ни одного детского сада.

Из вышеупомянутого: детский сад 740 присоединён к школе 932. Детские сады 2471 и 486 имеет статус "В стадии закрытия" и будут присоединены к школе 2001. Правда, меня удивляет их статус, их не закрывают, а реорганизовывают, причём до окончания реорганизации учреждение продолжает действовать и обязано участвовать в разного рода отчётности как самостоятельное юридическое лицо.

Реорганизация происходит в момент получения свидетельства о прекращении деятельности. Одно время пытались по факту издания приказа о реорганизации, но это оказалось редкостным бредом, потому что приказ выпускается за много месяцев до реорганизации, более того, известны случаи, когда реорганизации впоследствии были отменены.

Не все косяки вызваны именно этим. Например, на карте есть гимназия 1786 синим цветом. А где её детский сад? Оказывается, он находится по адресу ул. Академика Семенова, дом 85 и раньше имел номер 2692. Но по указанному адресу мы видим красный маркер детского сада 2692. Почему? А вот непонятно, потому что по данным ЕКИС этот сад уже ушёл в архив.

Геопривязку делают тупым геокодингом адресов из БТИ. На самом деле заявляли при выверке адресов заявляли, что позже будет возможность двинуть маркер для уточнения положения, но это так и осталось лишь разговорами.

С учреждениями на Семёновской площади особая весёлая ситуация. Дело в том, что при передаче учреждений из МО в Москву из-за каких-то заморочек (возможно, связанных с отсутствием адресов зданий в базах БТИ) у всех учреждений юридическим адресом был назначен адрес Департамента (Семёновская пл., 4). До сих пор не все получили нормальный адрес, хотя процесс идёт. Если потыкать в этот рой, то можно заметить, что там сплошь и рядом бывшие областные детские сады.

[ericsson]

То есть, переводя это все на язык структур данных и современных требований к управлению ими:
- валидация не проводится
- набор свойств объектов в системе не отражает реального набора свойств
- данные редактируются в свободной форме (то есть разные свойства меняются независимо, даже если они связаны)
- то, что сейчас называется "бизнес-процессами" (то есть набор допустимых процедур по изменению набора данных определенным ограниченным числом способов) в данной системе не используется.

(Ну и опять же, стоило бы иметь какое-то уважение к пользователям системы и убрать к черту этот чудовищный дефолтный Times New Roman - теория разбитых окон с интерфейсами работает, так что если морда выглядит ужасно, пользователь не проведет и лишней секунды в системе, что означает потенциально недовнесенные данные.)

[Shurik]

1. Какая может быть валидация? Скорее должен быть нормальный регламент. Сейчас все проблемы прежде всего не от неправильности модели, а от отсутствия внятного указания на то, кто, что и когда должен менять.

2. О каком наборе свойств идёт речь? Этот пункт я просто не понимаю.

3. Нет, очень многие данные редактируются по чётким правилам. Например, адреса зданий берутся из БТИ, если здание не имеет УНОМ, то выбрать его нельзя.

4. В системе на самом деле есть свои регламенты. Их цель - обеспечить собственные цели, а не передачу каких-то данных куда-то там.

Вообще на самом деле существование таких сколько-то налаженных процессов по интеграции систем - это офигенное достижение для ДИТ с его ужасным разбродом и шатанием в мозгах.

[andreygeo]

Вообще на самом деле существование таких сколько-то налаженных процессов по интеграции систем - это офигенное достижение для ДИТ с его ужасным разбродом и шатанием в мозгах.

Ну, ЕЦХД им в помощь. Надеюсь, 340 миллионов бюджетных средств не просрут на ровном месте.

[Shurik]

Надеюсь, 340 миллионов бюджетных средств не просрут на ровном месте.

Да легко! Умудрились же накупить Cisco по 100 тыс. каждая, при том, что их розничная их цена в два раза ниже, а оптовикам-интеграторам при таких количествах могут предлагать огромные скидки...

[ericsson]

Начну с конца.
Обзовите меня максималистом, но я не считаю слова о "хорошо хоть что-то..." аргументом вообще. Результат или годный, или негодный. Может быть еще "весьма условно годный", но это все лирика.

Валидация может быть всегда. У любых данных, которые условно больше, чем таблица с двумя колонками, есть признаки целостности. Если их нет в явном виде, можно найти косвенные. Если и с этим сложно - можно всегда сравнивать с независимыми источниками.

Несоответствующий набор свойств - это, например, когда в системе можно указать только "действует" и "закрыт", а в реальности есть еще свойства "на реорганизации", "реорганизован" (со ссылкой на объект, к которому теперь принадлежит, например) и еще парочка состояний.

Четкие правила и регламенты для людей не являются гарантией их выполнения. И, как я понимаю, выбор данных из готовых вариантов там явно не везде.

Если обеспечение собственных целей не относится к известной цели "свалить все в кучу", то требования должны быть одни, что для собственных целей, что для публикации.