Открытые данные с портала data.mos.ru

Обсуждение материалов сайта: вопросы, замечания, предложения
Ответить
Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9030
Зарегистрирован: 06 окт 2003, 20:20
Статьи: 231
Проекты: 12/6
Репутация: 712
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 17 ноя 2013, 22:22

ericsson писал(а):Обзовите меня максималистом, но я не считаю слова о "хорошо хоть что-то..." аргументом вообще. Результат или годный, или негодный. Может быть еще "весьма условно годный", но это все лирика.
Не лирика, а эволюция. 10% зрения лучше чем 0. Карта с 3 дорогами лучше чем белое пятно.
пристегивайтесь, турбулентность прямо по курсу

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 740
Ваше звание: Вредитель полей

Re: Открытые данные с портала data.mos.ru

Сообщение ericsson » 17 ноя 2013, 23:11

Максим Дубинин писал(а):
ericsson писал(а):Обзовите меня максималистом, но я не считаю слова о "хорошо хоть что-то..." аргументом вообще. Результат или годный, или негодный. Может быть еще "весьма условно годный", но это все лирика.
Не лирика, а эволюция. 10% зрения лучше чем 0. Карта с 3 дорогами лучше чем белое пятно.
Этот аргумент мне знаком, и я всегда отвечаю на него в одинаковом ключе: это полная абстракция.

Человек с "десятипроцентным" зрением (различающий свет и тень) нуждается в помощи также, как слепой (имел дело, знаю). Потому что вместо двери он все равно может выйти в окно. Хотя субъективно он и может думать, что ему легче, чем полностью слепому.

Карта с тремя дорогами из ста имеющихся может быть хуже белого пятна, потому что если мы не знаем, на сколько именно она отличается от правды и по какому принципу выбраны эти три дороги, мы не можем доверять ей вообще, а если доверимся, можем попасть куда угодно. А отсутствие информации - это совершенно определенное руководство к действию, которое не ведет к принятию решений на основании потенциально ложной информации.

Если что, я это все не сам придумал, меня таким вещам учили года три, в институте, с математическими обоснованиями и прочим. И там никто не называл недостоверную информацию "результатом эволюции" или "довольно-таки приличными данными".

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 740
Ваше звание: Вредитель полей

Re: Открытые данные с портала data.mos.ru

Сообщение ericsson » 18 ноя 2013, 00:07

Добавлю, что "эволюция" - это вполне определенное явление, на не любые изменения.
Чтобы что-то называть эволюционным процессом, это должны быть изменения под действием неких внешних или внутренних сил, направленных на совершенствование и/или приспособление к чему-либо.
Весьма сложно назвать эволюционным процесс, который сам по себе происходит из-под палки (для участвующих в процессе информатизации структур это лишний геморрой и неприятная обязанность, они бы на бумажке с радостью все продолжали делать), в котором положительные изменения носят не системный, а случайный характер (ровно как мутации, да, что можно видеть по той же статистике здесь на гис-лабе), и у которого отсутствует обратная связь (то есть возможность влияния на направление и качество процесса людей со стороны).
Это не эволюция, а непрерывная мутация с неким локальным трендом, который как возник, так и протухнет, т.к. ни чем не обусловлен.

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9030
Зарегистрирован: 06 окт 2003, 20:20
Статьи: 231
Проекты: 12/6
Репутация: 712
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 18 ноя 2013, 00:52

ха-ха и меня еще называют слишком прямым и бескомпромиссным)

повторюсь, 10% зрения лучше чем 0%, глаз появился не сразу, сначала были просто светочувствительные ямки и многие выходили в окно, это нормально, когда в окно выходят. А тут на гислабе многие продолжают ждать сказки, не научились радоваться 10%, все 100% требуют, которых нет, не существует и невозможны. Всё ноют, ждут идеального принца на белом коне, канючат, то про выборы, то про экологию, то про данные. Делать сами ни фига не хотят, сразу глаз хотят сформировавшийся.

10% и 0% это не "любые изменения", это 10 vs 0, plain and simple.
ericsson писал(а):Если что, я это все не сам придумал, меня таким вещам учили года три, в институте, с математическими обоснованиями и прочим. И там никто не называл недостоверную информацию "результатом эволюции" или "довольно-таки приличными данными".
Argument from authority не работает в приличном обществе, не стоит.
пристегивайтесь, турбулентность прямо по курсу

Boris
Гуру
Сообщения: 4115
Зарегистрирован: 10 апр 2006, 22:34
Статьи: 3
Проекты: 1
Репутация: 404
Откуда: Париж

Re: Открытые данные с портала data.mos.ru

Сообщение Boris » 18 ноя 2013, 01:00

Присоединяюсь к "3 дороги хуже белого пятна" на все 1001% !
Сам имел неоднократно разговоры подобного типа:
Начало работы, сбор исходных данных:
"вот вы возьмите, что наши у...цы наструячили наделали на нашу волость. Нет, почему сразу г..но!? Это - хорошее. Нет, нам другого за отдельные деньги не надо... Да, нам бы как бы, нам бы лишь бы. Да, мы понимаем, что не идеал, но ведь бесплатно!"
Сдача работы:
"что же вы ссуки не учли, что там уже дачи понастроили! и там ВОН какие люди уже живут! а зачем вы нам транспортную магистраль показали на месте узкоколейки? Ведь нет ее уже лет 15 как! Разобрали! даже песок и щебень унесли. И торфяник этот и лес вокруг давно сгорели. А вы там зону рекреации!? А где новая ЛЭП 500КВ!?"

Boris
Гуру
Сообщения: 4115
Зарегистрирован: 10 апр 2006, 22:34
Статьи: 3
Проекты: 1
Репутация: 404
Откуда: Париж

Re: Открытые данные с портала data.mos.ru

Сообщение Boris » 18 ноя 2013, 01:08

Не хочу ждать! Не хочу сразу "глаз"! Хочу сам все делать! Или хотя бы сам все проверять!
Так ведь "3 вместо 10" - это как раз тот самый случай. На кой мне будут заказывать 10, если есть уже 3?
"Зачем тратить бюджетные деньги на приобретение съемки каждый год, если ее можно один раз купить на всю страну, а потом раздавать, тем кто правильно попросит?" - это я цитирую недавнее прошлое.

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 740
Ваше звание: Вредитель полей

Re: Открытые данные с портала data.mos.ru

Сообщение ericsson » 18 ноя 2013, 01:15

Максим, кто посмел назвать вас прямолинейным и т.п., можно я кину в него грязью? :)
Про давление авторитетом - чуть мимо, это была отсылка к тому, что я всего лишь на практике применяю вполне внятные научные достижения, а не только что это придумал, потому как вещи вроде теории передачи информации нынче не в почете и с первого взгляда кажутся странными.

Опять же, я уже вам ответил заранее по поводу разницы между эволюцией и мутациями.

Если в процессе есть признаки эволюционного - ОК, ничто не возникает сразу, ждем. Вон OSM местами адский, но я же на него не качу бочку, потому как есть не просто наблюдаемая тенденция, а факторы, которые ее поддерживают. Вот он, ваш глаз, который был 0, стал 10, а стремится к 100%.

Если в процессе таких признаков нет, он носит стохастический характер, пусть даже с локальными положительными трендами - шансы превратиться в эволюционный у него исчезающе малы, если что-то не изменится внутри него (снаружи - хоть на голове танцуйте). Вот тут глаз то 10, то 12, то снова 8%. Шаг вперед, полтора назад. И так далее.

Аватара пользователя
Shurik
Интересующийся
Сообщения: 25
Зарегистрирован: 04 июн 2011, 20:03
Проекты: 1
Репутация: 2
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Shurik » 18 ноя 2013, 01:52

ericsson,
у нас не идеальный сферический мир, поэтому всё как хочется никогда не будет. И уж точно никто не станет вне очереди раскорячиваться ради каких-то ОД, когда своих нерешённых проблем вагон и маленькая тележка, а их в сфере информатизации внутренних процессов действительно немерянно. Те ОД, которые есть сейчас, это действительно очень большое и важное достижение.

Вот для развлечения немного данных из нашей собственно ИС.
Вложения
uzao-ou-17112013.xls
(668.5 КБ) 200 скачиваний

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9030
Зарегистрирован: 06 окт 2003, 20:20
Статьи: 231
Проекты: 12/6
Репутация: 712
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 18 ноя 2013, 01:55

ericsson писал(а):Вот тут глаз то 10, то 12, то снова 8%. Шаг вперед, полтора назад.
И это совершенно нормально для эволюционного процесса.

Я при всей своей ненависти к секретным СК, поломанным наборам, испохабленному формированию данных) склонен всё равно в целом считать это "движением к глазу". Вы же, похоже, любой проступок сразу категорично объявляете очередным доказательством неспособности системы произвести что-либо хорошее. Это, ей богу, скучно, потому что категорично и бесперспективно, так как объекту критики это пофигу. Лучше бы помогли процессу, сделали что-то полезное. Данные какие улучшили или мочили бы конструктивно и содержательно что ли...

А все эти категоричные заявления, имхо, мимо кассы.
пристегивайтесь, турбулентность прямо по курсу

Boris
Гуру
Сообщения: 4115
Зарегистрирован: 10 апр 2006, 22:34
Статьи: 3
Проекты: 1
Репутация: 404
Откуда: Париж

Re: Открытые данные с портала data.mos.ru

Сообщение Boris » 18 ноя 2013, 05:03

Shurik писал(а): Вот для развлечения немного данных из нашей собственно ИС.
Я посмотрел.
По сравнению с данными полученными из ПКК просто образцовые данные. Либо заполнял один человек, либо много, но очень дрессированных.
Очередные данные созданные для красоты отображения, но достаточно просто приводимые на 99% к машиночитаемому виду. Если только в них есть какой-то подвох, который вам очевиден, а нам нет?

Аватара пользователя
Shurik
Интересующийся
Сообщения: 25
Зарегистрирован: 04 июн 2011, 20:03
Проекты: 1
Репутация: 2
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Shurik » 18 ноя 2013, 07:45

Boris писал(а):Я посмотрел.
По сравнению с данными полученными из ПКК просто образцовые данные.
Быть лучше ПКК никогда не трудно :) Особенно если учесть, что в ПКК текстовая информация написана абы что и абы как.
Либо заполнял один человек, либо много, но очень дрессированных.
Базовую информацию (наименование, тип, вид и здания) действительно редактировать могут только технические специалисты, поэтому она ведётся аккуратно. Вот когда дело доходит до данных, собираемых с учреждений, то бывает всякое.
Очередные данные созданные для красоты отображения, но достаточно просто приводимые на 99% к машиночитаемому виду.
Не понял, причём тут красота отображения? Эти данные мною выгружены прямо из системы прямо стандартным механизмом.
Если только в них есть какой-то подвох, который вам очевиден, а нам нет?
:)

Я про эту систему рассказывал мимоходом на gisconf.ru: http://gisconf.ru/talks/osm18-light-zeinalov-ou.pdf

Вот так выглядит страница организации: http://osm.sbin.ru/tmp/snapshot129.png

А вот пример данных, собранных с учреждения: http://osm.sbin.ru/tmp/snapshot130.png
К сожалению, в мае 2012 года, а с тех пор прошло два сезона капитальных и не очень ремонтов, так что всё могло сильно измениться. Ещё обратите внимание на то, что первую галочку учреждение не заполнило, но это никого не парило, потому что реально у нас всего одно учреждение в округе не ведёт образовательный процесс. Но если эту анкету бездумно заюзать в каких-нибудь ОД, то аукнется :)

Так-то всё нормально, никакого подвоха, боевая система уровнем внедрения в десятки раз лучше любого ЕКИС.

Boris
Гуру
Сообщения: 4115
Зарегистрирован: 10 апр 2006, 22:34
Статьи: 3
Проекты: 1
Репутация: 404
Откуда: Париж

Re: Открытые данные с портала data.mos.ru

Сообщение Boris » 18 ноя 2013, 17:54

Shurik писал(а):
Boris писал(а):Очередные данные созданные для красоты отображения, но достаточно просто приводимые на 99% к машиночитаемому виду.
Не понял, причём тут красота отображения? Эти данные мною выгружены прямо из системы прямо стандартным механизмом.
Это я к тому, что в машиночитаемых данных редко "-//-" вместо повторяющихся строк или строк без данных, это как фантазия работает.

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 740
Ваше звание: Вредитель полей

Re: Открытые данные с портала data.mos.ru

Сообщение ericsson » 18 ноя 2013, 20:35

Хе-хе, "-//-" - это прямая калька из бумажной анкеты. Очевидно, "архитектор" системы рассудил, что негоже в таблицах NULL хранить или еще какую чуждую человеческому разуму сущность, а вот прямо как Мария Ивановна, заслуженный работник ЖЭКа в анкете черкала, так это за образец и надо взять, чтоб лишних движений при выводе на бумагу не делать.

Аватара пользователя
Shurik
Интересующийся
Сообщения: 25
Зарегистрирован: 04 июн 2011, 20:03
Проекты: 1
Репутация: 2
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Shurik » 18 ноя 2013, 21:46

В предыдущей версии интерфейс справочников был ужасен, а выгрузка делалась только в csv, но там использовались пустые клетки. В новой интерфейс красивый весь из себя extjs, удобный и наглядный, выгружает прямо в excel, но заодно и пустые клетки украшает. Выгрузки там на самом деле не на машинную обработку ориентированы, а на чтение человеком.

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9030
Зарегистрирован: 06 окт 2003, 20:20
Статьи: 231
Проекты: 12/6
Репутация: 712
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытые данные с портала data.mos.ru

Сообщение Максим Дубинин » 23 ноя 2013, 23:18

обновление "сервисов имени меня" временно прекращено, так как на портале похоже окончательно победил бардак и тут уже никакие сервисы не помогут. Суть проблемы в том, что ДИТ похоже занялся "версионированием", да так, что у него перестали совпадать версии на которые попадаешь по основной ссылке и по ссылке со страницы самого набора. Как решать какая из них новее, я пока не придумал, а архивировать и то и другое мне не хочется. Подробнее тут. Запрос отправлен.

Надо крепко думать и переделывать логику работы, но что-то пока не до этого, так что пока перерыв, если это хоть кого-то волнует вообще...
пристегивайтесь, турбулентность прямо по курсу

Ответить

Вернуться в «Материалы сайта»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость