Открытые данные с портала data.mos.ru

Обсуждение материалов сайта: вопросы, замечания, предложения
Ответить
andreygeo
Гуру
Сообщения: 1085
Зарегистрирован: 27 окт 2010, 10:53
Репутация: 358
Откуда: Ракурс & GISGeo

Re: Открытые данные с портала data.mos.ru

Сообщение andreygeo » 03 ноя 2013, 14:54

Немного проверил данных, которые потенциально интересны с т.з. всяких полезных приложений для Москвы и для своих образовательных задач.
Кому не хочется вникать: побеждает деп. образования! Реально молодцы, порадовали. Все их данные привязаны.
Немного тупит деп здравоохранения, в основном данные имеют привязку, но ситуация с аптеками и неотложкой всё портит.
Негодяи - деп транс.
Первая колонка - что. Вторая - есть ли адрес. Третья - есть ли геопривязка. + комментарии.
1. Границы районов. Странные данные, привязка только к административным округам. Зато есть данные по населению хорошие.
2. Многофункциональные центры Да Да
3. Wi-Fi в парках Да Нет
4. Велопарковки Да Нет
5. Кинотеатры Да Да
6. Музеи Да Да
7. Объекты культурного наследия Да Нет
8. Библиотеки Да Да
9. Избирательные участки Да Нет
10. Больницы взрослые Да Да
11. Больницы детские Да Да
12. Аптеки Нет Нет (как они интересно собирались выигрывать с проектом по аптекам на APIResearch)
13.Скорая помощь Да Нет
15. Диспансеры Да Да
16. Ветеринарные учреждения Да Да Очень мало данных. 21 шт.
17. Детские дома Да Да
18. Детские сады Да Да
19. Дома детского творчества (разные кружки) Да Да
20. Дома культуры Да Да
21. Площадки детские Да Нет
22. Школы (лицеи т т.п.) Да Да
23. Музыкальные школы Да Да
24. Техникумы Да Да
25. Женские консультации, Молочные кухни, роддома Да Да
26. ЗАГСы Да Да
27. Остановки НГПТ Нет/Да Нет
28. Народные гаражи Да Нет
29. Парковки такси Да Нет
30. Перехватывающие парковки Да Нет
31. Магазины, которые торгуют алкоголем :D Да Да
32. Социальные магазины Да Нет
33. Туалеты Да Нет На всю Москву их всего 215 бесплатных! Из них только 14 приспособлено для инвалидов.
Проект GISGeo: геомаркетинг

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 03 ноя 2013, 16:04

такую проверку нужно делать более системно, см. таблицу и поля "геоданные официально", "геоданные реально"
http://gis-lab.info/qa/data-mos.html#.D ... 1.8B.D0.B5
пристегивайтесь, турбулентность прямо по курсу

andreygeo
Гуру
Сообщения: 1085
Зарегистрирован: 27 окт 2010, 10:53
Репутация: 358
Откуда: Ракурс & GISGeo

Re: Открытые данные с портала data.mos.ru

Сообщение andreygeo » 03 ноя 2013, 16:20

Максим Дубинин писал(а):такую проверку нужно делать более системно, см. таблицу и поля "геоданные официально", "геоданные реально"
http://gis-lab.info/qa/data-mos.html#.D ... 1.8B.D0.B5
Не дошли пока руки до сравнения с вышеупомянутой таблицей.
Зато я знаю где можно выпить или где продают
:mrgreen:
geo.mgubs.ru:8080/api/index.html?permalink=ZTLYO&A96WP
Проект GISGeo: геомаркетинг

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 03 ноя 2013, 16:32

с таблицей не надо ничего сравнивать, таблицу надо заполнять, это называется "участвовать"

а про твою ссылку я тебе уже говорил - отдели, пожалуйста, в отдельную тему и рекламируй там вволю сколько угодно
пристегивайтесь, турбулентность прямо по курсу

andreygeo
Гуру
Сообщения: 1085
Зарегистрирован: 27 окт 2010, 10:53
Репутация: 358
Откуда: Ракурс & GISGeo

Re: Открытые данные с портала data.mos.ru

Сообщение andreygeo » 03 ноя 2013, 16:58

Максим Дубинин писал(а):с таблицей не надо ничего сравнивать, таблицу надо заполнять, это называется "участвовать"
Вопрос по участию..есть вот Сервис контроля и архивации материалов портала открытых данных г. Москвы. Это оно имеется ввиду? Как я понимаю, он работает автоматом. А таблица заполняется в ручную? Планировалось их объединять, на какой стадии это находится?
Сейчас таблица имеет актуальность на данные от 6 августа или же на 29 сентября (последний архив)? Т.е. мне брать самые последние данные из сервиса и сверять именно с ними таблицу?
Может быть с точки зрения массового объяснения как и что устроено + массово нормализовать устроить "хахатон"? Я был бы рад присоединиться к это таблице с т.з. участия. Но есть ряд как технических вопросов, так и общих. Как идея? Вообще было бы здорово...только как-то можно было бы всё это обыграть...ну, типа: Открытые данные Москвы: для бизнеса, людей и профессионалов. Вход бесплатный, пиво с вас.
Можео было бы не только похахатонить данные, но и устроить парочку мозговых штурмов в области использования данных, а в качестве пряника возможность кинуть идеи на этот APIResearch по инновационным фигням на основе ОД.
Последний раз редактировалось andreygeo 03 ноя 2013, 17:00, всего редактировалось 1 раз.
Проект GISGeo: геомаркетинг

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 03 ноя 2013, 17:06

все идеи прекрасные, с некоторыми небольшими замечаниями

1. Расписал более конкретно как можно поучаствовать: http://gis-lab.info/qa/data-mos.html#TODO
2. Поле Геоданные, реально - заполнять не надо, я почти доделал сам обновление
3. Хахатон - отличная идея, особенно если кто-то возьмется за организацию (я бы помог), единственное моё пожелание, не привязывать это ни к каким конкурсам, особенно официальным. Просто сделать это и всё.

PS: конкретная помощь прямо сейчас пригодилась бы с п. 5 и 7, приглашаю поучаствовать. Прежде чем бросаться что-то делать, обязательно появитесь в IRC или напишите по почте, я напишу более четко что именно нужно.
пристегивайтесь, турбулентность прямо по курсу

andreygeo
Гуру
Сообщения: 1085
Зарегистрирован: 27 окт 2010, 10:53
Репутация: 358
Откуда: Ракурс & GISGeo

Re: Открытые данные с портала data.mos.ru

Сообщение andreygeo » 07 ноя 2013, 21:21

Максим Дубинин писал(а):все идеи прекрасные, с некоторыми небольшими замечаниями
1. Расписал более конкретно как можно поучаствовать: http://gis-lab.info/qa/data-mos.html#TODO
2. Поле Геоданные, реально - заполнять не надо, я почти доделал сам обновление
3. Хахатон - отличная идея, особенно если кто-то возьмется за организацию (я бы помог), единственное моё пожелание, не привязывать это ни к каким конкурсам, особенно официальным. Просто сделать это и всё.
PS: конкретная помощь прямо сейчас пригодилась бы с п. 5 и 7, приглашаю поучаствовать. Прежде чем бросаться что-то делать, обязательно появитесь в IRC или напишите по почте, я напишу более четко что именно нужно.
В общем, ситуация с данными куда гораздо загадочнее, чем казалась. Я всё больше убеждаюсь, что им плевать на то, что они предлагают. Что сейчас происходит с наборами данных мне вообще не понятно. Кто, как и через какое место всё это собирал.
Проблема первоначальная, многократно поднимавшаяся Максимом, о координатах, кодировке и т.п. технических вещах может быть и стала решаться, но вот что происходит с адекватностью данных? Реальной проверкой данных они занимаются? Как с этим можно работать? Какая нафиг цель проекта — дать разработчикам возможность создавать новые социально полезные приложения. Какие нафиг полезные, если у них целые районы проваливаются, данные смешиваются и не отвечают действительности? Да, не все косячные наборы, но вот по образованию открывается ахтунг какой-то :evil:
Проект GISGeo: геомаркетинг

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 08 ноя 2013, 14:18

Возьми набор, проведи четкое сравнение, опубликуй в приличном месте. К чему эти риторические вопросы, разве отношение к ним подобным не было явным образом проиллюстрировано 7ми месячным присутствием секретных данных.
пристегивайтесь, турбулентность прямо по курсу

andreygeo
Гуру
Сообщения: 1085
Зарегистрирован: 27 окт 2010, 10:53
Репутация: 358
Откуда: Ракурс & GISGeo

Re: Открытые данные с портала data.mos.ru

Сообщение andreygeo » 08 ноя 2013, 15:27

Максим Дубинин писал(а):Возьми набор, проведи четкое сравнение, опубликуй в приличном месте. К чему эти риторические вопросы, разве отношение к ним подобным не было явным образом проиллюстрировано 7ми месячным присутствием секретных данных.
Ну ты же им вроде мозги промыл...исправляться начали, лицом к народу повернулись. Кстати, а кроме мыла тех поддержки есть ещё контакты сервиса? Кто за этим стоит? ДепартаментIT?
Детальный анализ впереди, пока только поверхностные "приколы".
http://andreygeo.livejournal.com/3349.html
Проект GISGeo: геомаркетинг

Аватара пользователя
Shurik
Интересующийся
Сообщения: 25
Зарегистрирован: 04 июн 2011, 20:03
Репутация: 2
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Shurik » 15 ноя 2013, 18:31

В связи с тем, что отдельные личности подозревают заправщиков картриджей в причастности к формированию открытых данных, расскажу, как это примерно происходит.

Существует внутренняя система Департамента образования, называемая "Статистика и Аналитика", или ЕКИС. В этой системе присутствуют данные по всем учреждениям образования Москвы. Там же проводятся некоторые сборы данных с учреждений. Оператором ЕКИС является ТЕМОЦентр, бывший ИАЦ ДОгМ.

Выглядит примерно так: http://osm.sbin.ru/tmp/ekis1.png

В частности, существует специальная форма Сбор информации для портала "Открытые данные" и типовых сайтов: http://osm.sbin.ru/tmp/ekis2.png

В частности, в этой форме есть пункт "наличие дошкольного отделения". Этот пункт может влиять на поведение ЕКИС и других систем. В частности, при его наличии со школы собирают специфичные для детских садов сборы (например, мониторинг 407-ПП).

Данные ЕКИС время от времени выгружаются в специальную систему "Реестр учреждений", которую никто не видел, но по слухам она есть :) С этой же системой работают системы АИС "Запись в школу", АРМ ДОУ и другие, которые используются при предоставлении государственных услуг. Насколько часто туда попадают данные доподлинно неизвестно, но видимо не так уж и часто, судя по тому, что данные по классам из системы "Запись в школу" в ЕКИС официально попадают раз в две недели (передача происходит через этот реестр). Скорее всего из реестра учреждений и формируют выгрузки ОД по разным критериям. Помимо вероятных глюков самого реестра и методов выгрузки, существует ещё куча уязвимых мест, где могут возникать проблемы.

В частности, если к школе присоединили детский сад, а галочка про дошкольное отделение не стоит (формально следить за актуальностью формы есть обязанность школы), то мы увидим, как в очередной выгрузке детский сад исчезнет, а на его месте ничего не появится. Это может приводить к очень забавным ситуациям. Например, сейчас модно формировать образовательные комплексы на целый квартал. Случается реорганизация - и в квартале на карте не остаётся ни одного детского сада.

Из вышеупомянутого: детский сад 740 присоединён к школе 932. Детские сады 2471 и 486 имеет статус "В стадии закрытия" и будут присоединены к школе 2001. Правда, меня удивляет их статус, их не закрывают, а реорганизовывают, причём до окончания реорганизации учреждение продолжает действовать и обязано участвовать в разного рода отчётности как самостоятельное юридическое лицо.

Реорганизация происходит в момент получения свидетельства о прекращении деятельности. Одно время пытались по факту издания приказа о реорганизации, но это оказалось редкостным бредом, потому что приказ выпускается за много месяцев до реорганизации, более того, известны случаи, когда реорганизации впоследствии были отменены.

Не все косяки вызваны именно этим. Например, на карте есть гимназия 1786 синим цветом. А где её детский сад? Оказывается, он находится по адресу ул. Академика Семенова, дом 85 и раньше имел номер 2692. Но по указанному адресу мы видим красный маркер детского сада 2692. Почему? А вот непонятно, потому что по данным ЕКИС этот сад уже ушёл в архив.

Геопривязку делают тупым геокодингом адресов из БТИ. На самом деле заявляли при выверке адресов заявляли, что позже будет возможность двинуть маркер для уточнения положения, но это так и осталось лишь разговорами.

С учреждениями на Семёновской площади особая весёлая ситуация. Дело в том, что при передаче учреждений из МО в Москву из-за каких-то заморочек (возможно, связанных с отсутствием адресов зданий в базах БТИ) у всех учреждений юридическим адресом был назначен адрес Департамента (Семёновская пл., 4). До сих пор не все получили нормальный адрес, хотя процесс идёт. Если потыкать в этот рой, то можно заметить, что там сплошь и рядом бывшие областные детские сады.

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: Открытые данные с портала data.mos.ru

Сообщение ericsson » 15 ноя 2013, 20:40

То есть, переводя это все на язык структур данных и современных требований к управлению ими:
- валидация не проводится
- набор свойств объектов в системе не отражает реального набора свойств
- данные редактируются в свободной форме (то есть разные свойства меняются независимо, даже если они связаны)
- то, что сейчас называется "бизнес-процессами" (то есть набор допустимых процедур по изменению набора данных определенным ограниченным числом способов) в данной системе не используется.

(Ну и опять же, стоило бы иметь какое-то уважение к пользователям системы и убрать к черту этот чудовищный дефолтный Times New Roman - теория разбитых окон с интерфейсами работает, так что если морда выглядит ужасно, пользователь не проведет и лишней секунды в системе, что означает потенциально недовнесенные данные.)

Аватара пользователя
Shurik
Интересующийся
Сообщения: 25
Зарегистрирован: 04 июн 2011, 20:03
Репутация: 2
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Shurik » 17 ноя 2013, 13:22

1. Какая может быть валидация? Скорее должен быть нормальный регламент. Сейчас все проблемы прежде всего не от неправильности модели, а от отсутствия внятного указания на то, кто, что и когда должен менять.

2. О каком наборе свойств идёт речь? Этот пункт я просто не понимаю.

3. Нет, очень многие данные редактируются по чётким правилам. Например, адреса зданий берутся из БТИ, если здание не имеет УНОМ, то выбрать его нельзя.

4. В системе на самом деле есть свои регламенты. Их цель - обеспечить собственные цели, а не передачу каких-то данных куда-то там.

Вообще на самом деле существование таких сколько-то налаженных процессов по интеграции систем - это офигенное достижение для ДИТ с его ужасным разбродом и шатанием в мозгах.

andreygeo
Гуру
Сообщения: 1085
Зарегистрирован: 27 окт 2010, 10:53
Репутация: 358
Откуда: Ракурс & GISGeo

Re: Открытые данные с портала data.mos.ru

Сообщение andreygeo » 17 ноя 2013, 20:20

Shurik писал(а):Вообще на самом деле существование таких сколько-то налаженных процессов по интеграции систем - это офигенное достижение для ДИТ с его ужасным разбродом и шатанием в мозгах.
Ну, ЕЦХД им в помощь. Надеюсь, 340 миллионов бюджетных средств не просрут на ровном месте.
Проект GISGeo: геомаркетинг

Аватара пользователя
Shurik
Интересующийся
Сообщения: 25
Зарегистрирован: 04 июн 2011, 20:03
Репутация: 2
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Shurik » 17 ноя 2013, 21:00

andreygeo писал(а):Надеюсь, 340 миллионов бюджетных средств не просрут на ровном месте.
Да легко! Умудрились же накупить Cisco по 100 тыс. каждая, при том, что их розничная их цена в два раза ниже, а оптовикам-интеграторам при таких количествах могут предлагать огромные скидки...

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: Открытые данные с портала data.mos.ru

Сообщение ericsson » 17 ноя 2013, 21:46

Начну с конца.
Обзовите меня максималистом, но я не считаю слова о "хорошо хоть что-то..." аргументом вообще. Результат или годный, или негодный. Может быть еще "весьма условно годный", но это все лирика.

Валидация может быть всегда. У любых данных, которые условно больше, чем таблица с двумя колонками, есть признаки целостности. Если их нет в явном виде, можно найти косвенные. Если и с этим сложно - можно всегда сравнивать с независимыми источниками.

Несоответствующий набор свойств - это, например, когда в системе можно указать только "действует" и "закрыт", а в реальности есть еще свойства "на реорганизации", "реорганизован" (со ссылкой на объект, к которому теперь принадлежит, например) и еще парочка состояний.

Четкие правила и регламенты для людей не являются гарантией их выполнения. И, как я понимаю, выбор данных из готовых вариантов там явно не везде.

Если обеспечение собственных целей не относится к известной цели "свалить все в кучу", то требования должны быть одни, что для собственных целей, что для публикации.

Ответить

Вернуться в «Материалы сайта»

Кто сейчас на конференции

Сейчас этот форум просматривают: Ahrefs [Bot] и 4 гостя