Форумы GIS-Lab.info

Не хочу быть некропостером.
Поэтому в раздел "Список форумов ‹ GIS-Lab ‹ Другие проекты и мероприятия ‹ УИК ГЕО" писать не буду.

По сути сабж не относится к гис. Потому создам тему здесь.

В 2013 и 2014 годах усилиями сообщества делали проект УИК-ГЕО.
Он вроде как и сейчас есть.

Но время идёт и данные устаревают.
В частности изменяются количество уиков и их адреса.

С помощью скриптов периодически парсится сайт цика и по диффам видно что идёт ежедневная работа по изменению уиков.

В результате изменений те данные что есть в проекте УИК-ГЕО уже не актуальны. А до осени ещё будет много изменений.

В связи с этим есть желание максимально автоматизировать работу по подготовке адресов для геокодирования с помощью скриптов.

Так как адреса уиков это строки, то их возможно обрабатывать с помощью неинтерактивного редактора sed.

Если здесь есть гуру регекспов или у кого-то есть мысли по оптимизации этой работы то прошу отпишитесь.

В качестве примера прилагаю архив с проделанной работой.

Я ваш пост прочитал, исходные(?) данные посмотрел. Программу на sed - не осилил, поскольку у меня в тексте нет переносов и точек с запятыми. В моем понимании это не программа, а издевательство. Программы с регулярными выражениями сами по себе испытания для читающего, но в таком виде - вещь не подъемная.
Я не понял главного - что именно не позволяет выполнять геокодирование? Исходные(?) данные очень неплохо структурированы и уже имеют разделитель в виде запятой. Зачем их еще раз структурировать под пробелы(?) и заниматься python-самодеятельностью, если в GNU входит достаточный набор для работы с тестами : cut, awk, sed, grep, join и т.д. т.п. И sed из них не самый оптимальный. На первый взгляд дан типичный пример избыточной плоской таблицы, которая может быть нормализована в несколько иерархических таблиц, но опять же не понятно зачем, если каждая запись (?) не имеет номера УИК, и кодируется в единственную точку на карте.

Мне кажется, вы зря тут разместили тему. Это же о работе ГИС-Лаб. А этом разделе все-таки вольные темы, можно немного более свободно общаться. А как же быть теперь модераторам, обычно они мои посты такого рода как раз во "всё остальное" перемещают, а теперь и ссылать некуда..



У Максима, конечно, талант вовлекать людей в общественные проекты.
Когда все другие берутся (и я в том числе) вовлекать в свой проект - активность других (кроме автора) составляет где-то от нуля до 4 человек.
Причем, например, все мои идеи - общественно очень значимые, выходят на глобальные проблемы, касающиеся природы и социума, то есть - касающиеся всех. А активность людей также почти нулевая. Ну не нужно им, как кажется, ничего, пусть себе горят, пусть дымом дышат и т.д. Как решить задачу вовлечения людей в работу - пока не знаю. Пока нет в проекте «энергии в виде денег» (а это обычная стадия для начинающегося общественного проекта, когда у его автора нет финансов для его запуска) он имеет крайне низкий потенциал для роста.
И у других, смотрю, также, а основная часть просто не озабочивается никакой общественной работой и развитием сообщества, живут себе тихо в своей норке.

А у Максима - талант вовлекать людей. Харизма у него такая, что-ли, ну ведь точно не статус и уважение (поскольку это играет небольшое значение, когда предлагают поработать бесплатно).

Прям как лавина… я помню, стоило ему объявить тогда о запуске УИК проекта - за первые дни набежало до 30 участников, потом их стало еще больше. Это невероятно!


Чего только не хватает у Максима? Вот именно что - продуманности работы, планов его проектов. Кстати, проект «GIS-Lab» (возвращаясь к старой больной теме) - также из их числа. Также все еще нет плана развития и не используется в полной мере потенциал, который создан . Нет развития, а оно могло бы быть.

При этом сам проект GIS-Lab - также из числа удивительного в этом мире. Также создан благодаря таланту Максима вовлекать людей в общественную работу.


"План".. развития.
Вот, интересно, русские люди из общественности вообще не любят работать по плану? Замечаю это печальное свойство не первый раз, причем у самых лучших команд и людей.
Что Гринпис лесные пожары тушит абсолютно без плана и целей решить когда-нибудь проблему катастрофических пожаров в стране, и топчется от этого на одном месте без прогрессивных изменений уже лет десять. А все мои замечания этого рода (подкрепленные рабочими конструктивными идеями по такому плану и уже прямой работой в этом направлении) игнорирует.


Что вот здесь..
Задавали еще тогда вопросы о встроенности работы по УИК проекту в Жизнь - только ругались и обзывали бездельниками. "Работать надо, думать некогда!" Анекдот такой есть про обезьяну и студента.


Идея то проекта крайне хорошая. Связана с увеличением честности на выборах, в каком то смысле ключевая сейчас для общества. Но - именно из-за такой нацеленности Проекта-УИК, его никак нельзя было бросать на только геокодирование и технику. А дальше рассуждать так - «ну мы же сделали, давайте, используйте».


А что сейчас? Я вот, где-то мельком слышала, что УИКи вообще отменили. Но из слов топикстартера видно, что новости лучше - не отменили, оказывается, а только меняют адреса. Это уже хорошо!
Он предложил идею - автоматизировать обновление. Не знаю, насколько она выполнима технически, но если это сделать, а также к этому СРАЗУ и план разработать дальнейшего использования данных и их раскручивания - то и тот труд уже сделанный не пропадет. И, правда, можно будет добиться вот того самого потенциала УИК- Проекта, о котором его авторы , вероятно, думали с самого начала где-то про себя, берясь за его реализацию. То есть - внедрять его как способ контроля честности выборов. Делать эту работу.

http://newsru.com/arch/russia/18apr2016/golos.html
http://cikrf.ru/news/cec/2015/04/09/08.html
http://sudact.ru/regular/doc/yotURv5Y9mgO/

угу, да.. ....


Боитесь - ладно, дело понятное. Некоторые вон, и высоты боятся или замкнутого пространства. А тут суд российский, кого угодно испугает своими прецендентами.

Но ЗАЧЕМ тогда проект такой начинали? Ведь с самого начала все было понятно, зачем он и для чего? Взялся за гуж, не говорили, что не дюж.
А если сразу считаешь себя не тем, кто возьмется за все это дальше - так не подходи, не трать силы и время людей, займись чем-то другим, что не внушает угрозы в вашем понимании. Сейчас же получилось какое-то "полудело", что было понятно с самого начала, поскольку никакого проекта и даже минимальных идей по использованию данных, кроме абстрактного "построения карт", озвученно не было.. Но не на уроках же географии такие карты нужны.
Всякому понятно, для чего они могут быть нужны. И вот тут мысль как оборвалась тогда, так и до сих пор ее нет.

Боитесь - ладно, дело понятное. Некоторые вон, и высоты боятся или замкнутого пространства. А тут суд российский, кого угодно испугает своими прецендентами.
Но ЗАЧЕМ тогда проект такой начинали?

Это вы мне? Я участвовал в УИК ГЕО - создание слоя данных по местоположениям УИК РФ и проекте Карта округов на выборах в Госдуму 2016, который выдюжил Каленков. Мне интересно было участвовать в обоих и это никак не связно с М.Ю. Помню ваш "пунктик" про посвящение природоохранным проектам.
Еще я рисую слой для проекта Создание открытого слоя геоданных по ООПТ регионального значения. Доделаю - выложу.
adruik, а что мешает продолжить работу в УИК ГЕО? Найти, выделить изменения и устроить хакатон.

bim2010 писал(а): Это вы мне? .

Я не вам, я о "плане" УИК проекта. Как кажется, это понятие настолько не в обиходе в данной среде, что смысл изложенного мной выше остался непонятен.

bim2010 писал(а):.
Еще я рисую слой для проекта Создание открытого слоя геоданных по ООПТ регионального значения. Доделаю - выложу.
.

Да, помню такой проект. Его реализация застряла также по причине отсутствия плана. Правда, на этот раз, не дальнего плана использования результатов проекта (с этим как раз все в порядке, как и с важными целями проекта), а технического плана реализации и подключения к работе многих. viewtopic.php?f=58&t=20268#p137794

bim2010 писал(а):. Помню ваш "пунктик" про посвящение природоохранным проектам..

Вы меня с кем-то перепутали. Я обычно излагаю предложения проектов в ясной форме, с понятной и объективно важной целью их практического использования и логичным комплексным планом их выполнения. Немного при этом разбрасываюсь и беру большие масштабы, которые пока не могу осилить, это да. Но ведь пытаюсь. И это, возможно, выглядит забавным для тех, кто смотрит со стороны.

bim2010 писал(а):Мне интересно было участвовать в обоих и это никак не связно с М.Ю.

Вы активны в проектах ГИС-Лаб, все это знают и ценят.
Но, если бы не GIS-Lab, вы и другие не стали бы делать такие проекты. Возможно, вы нашли бы своей природной склонности вкладываться в общественные интересы выход в чем-то ином. А может быть, и не нашли.

Вот это уникальное и сделал М. Ю. Он сделал такой проект "GIS-Lab" внутри которого стали делаться такие общественные проекты приходящими туда людьми. Многое полезное было уже сделано. Мне жаль, что сейчас застой, и что (возможно, по причине отсутствия желания М. Ю. работать совместно над планом развития) не реализуется в полной мере потенциал ГИС-Лаб.

Насколько это уникальная работа я могу судить по тому, что я не видела ничего подобного, хотя смотрю на такие вещи и в России, и в мире.

Ну нет нигде «проектного» стиля Интернет (!) взаимодействия на бесплатной основе. (Здесь в проекты я включаю и и статьи GIS-Lab- как мини-проекты их авторов).

Может быть, можно отчасти сравнить с OSM (не знакома с их сообществом). Но значимость их целей - также сомнительна. Если только они не берутся делать карту, которой в природе еще нет.

В природоохранной и, одновременно, общественной сфере Рунета по известности и полезности форума и всего ресурса можно сравнить только с Лесным форумом Гринпис. Но там вся популярность создана и держится на ежедневной работе одного человека, который делает это за зарплату (Алексей Ярошенко, хоть работа по ЛФ, возможно, его идея, но работает он по нему в рамках своей работы в Гринпис). Он, надо отдать должное, сделал ЛФ площадкой очень известной и полезной. Полагаю, что там действительно формируется мнение в профессиональном лесном сообществе, и даже до чиновников и власти всех уровней доходит. Там имеет смысл высказываться, может быть и решению каких-то проблем это помогает. Об этом можно судить, если за первые минуты (!) у новости до 200 просмотров, всего - до нескольких тысяч. Но там при этом нет своего сообщества (там есть только читатели и собеседники), там не делается сообществом работа (моя кампания против палов травы был первым примером попытки раскачать народ на такую работу, но пока все остановилось с их стороны).


В природоохранной среде, ухватившись за пример ГИС-Лаб, я стала пробовать вводить аналогичное на форумной основе. Так как там, что ни проект - то очень значим, со всеми понятными целями, и людей уже много, кто работает и общается друг с другом по разным задачам. Но.... не получается пока. Вот поэтому я так, правда, искренно восхищаюсь сделанным Максимом GIS-Lab, и так хочу, чтобы он развивался дальше, а не стоял. Ну и задач для ГИС-сообщества - много, и многие из них никак иначе на первых порах, как общественными силами, не могут быть выполнены.

Ключевое в развитии - План. Без умения планировать - действия становятся хаотичными, и в итоге.. могут привести к такому «разбазариванию» сил и времени людей, чему иллюстрация проект, поднятый топикстартером. Где изначально не было ни плана, ни ясного (озвученного) намерения как-то использовать эти данные. То ли боялись говорить вслух, или, и правда, не думали об этом.

Жаль в этом потерянного труда и времени людей, труда, который не дает эффективной пользы. Ведь неправильно работать только потому, что интересно. Должен быть выход - важный практический результат, и такой, который бы решал какую-то объективно важную задачу.

Ведь ресурс «бесплатной работы высокого интеллектуального уровня», очень ценен. Его нельзя тратить на проекты без доведения их до всем понятного важного для общества практического результата. В том числе потому, что такое отношение рискует сжечь этот ресурс. (Люди разочаруются, перегорят, не будут больше так собираться и работать). Возможно, именно это причина застоя здесь, что, кстати, так расстраивает и Максима. Но что, тем не менее, не заставляет его пойти на перемены.

А потом все уже устают и машут рукой. Ну, не хочет, как хочет. Сил на то, чтобы вкладываться в любое чужое дело - всегда мало (особенно когда своих задач много), энтузиазм - вспыхивает и, не найдя поддержки и интереса, угасает...

вот.

Boris писал(а):В моем понимании это не программа, а издевательство. Программы с регулярными выражениями сами по себе испытания для читающего, но в таком виде - вещь не подъемная.

Спасибо что уделили время. Извините что подверг вас испытаниям.

Почти все участники проекта уик-гео обрабатывающие адреса участков и отделяющие именно адреса от мест голосования, и к тому же приведения адресов к единообразию для успешного геокодирования рано или поздно пришли к обработке текста с помощью регулярных выражений.

И без этих знаний на этом этапе работы помочь не получится.

Преставленные файл address.sed и содержит множество регулярок которые преобразуют строку адреса в вид подходящий для геокодирования.

Boris писал(а):Я не понял главного - что именно не позволяет выполнять геокодирование? Исходные(?) данные очень неплохо структурированы и уже имеют разделитель в виде запятой. Зачем их еще раз структурировать под пробелы(?)

Не позволяет выполнять геокодирование несколько проблем (главную сложно выделить)
к примеру:
- адресная строка может быть не полной (содержать улицу и дом), хотя из строк выше и ниже можно установить и область и район и нас.пункт. Нужно заменить такую строку на полную.
- адресная строка может содержать лишние символы которые отрицательно влиют на понимание этого адреса геокодером (запятые подряд, сокращения, ковычки и пр.)
- в адресной строке содержатся очень бюрократизированные названия которые неоходимо привести к простому виду как их употребляют в адресах
- и основное в адресной строке содержатся название места голосования. вот в базе цика взяли и сделали под это одно поле и все вводят как им придется. и уже хорошо что обычно один вид имею десятки, а то и сотни строк. поэтому регулярные шаблоны очень облегчают преобразования.

всё это накладывается на объём ~100000 строк.
и нужно делать такие преобразования после каждого прохода парсера, который запускается еженедельно (или по мере надобности).

можно конечно отложить эту работу до осени, но боюсь сразу такой объем будет сложно осилить.

Boris писал(а):и заниматься python-самодеятельностью

действительно питон самодеятельность в конце по отбрасыванию это было через чур.
просто последняя регулярка должна быть s/^\(.*\)\t\(.*\)$/\1/
и уже в этом вы мне помогли. спасибо.

Boris писал(а):На первый взгляд дан типичный пример избыточной плоской таблицы, которая может быть нормализована в несколько иерархических таблиц, но опять же не понятно зачем, если каждая запись (?) не имеет номера УИК, и кодируется в единственную точку на карте.

строки с адресами для обработки можно получить напрямую из базы данных
sqlite3 -header -csv cik.sqlite "select address from cik_uik order by id" > c.000
и так как преобразуются строки без изменения их количества то можно затем их вернуть в базу
или вставить в таблицу где есть остальные данные уика.

Boris, спасибо за ваш ответ. Мне стало видно скомканность своих мыслей и сумбурность их изложения. Постараюсь исправится.

bim2010, Вы правильные ссылки приводите. Печально.

bim2010 писал(а): что мешает продолжить работу в УИК ГЕО? Найти, выделить изменения и устроить хакатон.

чтобы продолжить работу в УИК-ГЕО, нужно:
- Переместить в архив почти все темы на форуме по прошедшей работе. Они уже не актуальны.
Оставить тему с описанием проекта и тему с прошлыми достижениями для истории.
- перезапустить проект под маркой УИК-ГЕО 2016.
- Описать новую задачу и способы их решения и только затем подключать участников.

Пока не видел движений по этой теме. Поэтому и создал отдельный топик.

Почитал УИК ГЕО - создание слоя данных по местоположениям УИК РФ получается то что предлагаю пункт
1 Подготавливается полный список УИКов региона (готовность см. координационную таблицу)
надо приготовить задание для участников в виде (например)
1 Из проекта Данные по избирательным комиссиям РФ из ГАС Выборы берётся список УИКов региона. Из списка необходимо выделить данные о местонахождении уика (тик, ик). Подготовить файл с регулярными шаблонами для преобразования строки в вид (адрес) понятный для геокодера.

Единственное что регулярки нужно разделить как минимум на три этапа:
1) для общих действий
2) для отдельных регионов свои шаблоны
3) какая либо пост обработка...

файл address.sed изначально состоял из нескольких частей и именно из-за большого объема работы с каждым регионом решил поделится наработками в надежде что найдутся заинтересованные в выполнение этой задачи.

Сейчас вижу что нужно помимо наработок подготовить внятное задание описать способы его решения. Буду готовить.

P.S.
Во вложении дифф между двумя датами 2016.04.14 и 2016.04.18 и видно сколько адресов изменилось.
Между данными в системе УИК-ГЕО от 2014 года и текущими в системе ЦИКРФ нет вообще ничего общего. А это значит и во всех проектах которые брали те данные устаревшие сведения.
Потому и хочу чтобы все понимали что нужно готовить новые геоданные по уикам.

Регулярные выражения как и SQL я использую не каждый день, но часто и по многу. Так что опыт обработки больших массивов имеется, и 100 тысяч - это еще и не очень большой объем, и данные все же неплохи. В начале выхода данных росреестра в массы, когда участков нашем субъекте было уже за 1.5 миллиона, а классификатора к ним было 0, пришлось создавать целую технологию разбора поля "Использование по документу" и "Адрес объекта", что бы определять тип использования территории. Вот это был полет фантазии заполнявших поля. В памяти остались только два:

Под строительство пирамиды с инфраструктурой.

Земли Министерства обороны СССР (в 2010 году )

Пришлось даже метрики подобия использовать, что отнести "улцы" к "улицам", а уж написание слова "Пролетарская" имело около 40 вариантов. Тем не менее 20-30 итераций оставляли для чисто ручной обработки не более тысячи записей. Вариант, когда за данные не отвечают следующий после пишущего, всегда один и тот же - мрачный ужас читающего и сизифов труд использующего.
Я совершенно не представляю, какие данные нужны для правильного геокодирования в этом случае, но поделить текст под идеальный или оптимальный шаблон - это вполне понятная работа, которую можно выполнить загодя, создав набор работающих в цикле шаблонов - каждый следующий применяется только к оставшемуся набору строк.
Мой опыт обработки сложных, но формальных записей, говорит о том, что начинать стоит с того, что квалифицированный человек указывает на ошибочные записи, и основываясь на этом знании надо выделить подобные некорректные записи неким шаблоном с 98% вероятностью, а потом другим шаблоном преобразовать к каноническому виду.
Все же к какому то моменту ВЦИКу придется успокоиться со слияние-разделением мест голосования. Не знаю как в целом по стране, но в моем районе места голосования не измены уже лет 20, поскольку новых школ - не появлялось давно. Границы на разных выборах меняются, но сами места - нет.

bim2010 писал(а):http://newsru.com/arch/russia/18apr2016/golos.html
http://cikrf.ru/news/cec/2015/04/09/08.html
http://sudact.ru/regular/doc/yotURv5Y9mgO/

Указанные вами ссылки, а также некоторое молчание со стороны гис-лабовцев, можно интерпретировать как то, что вы боитесь. Непонятно, правда, чего. Чего можно боятся, распространяя геоданные об УИКах?

Не осуждая (все-таки я сейчас не в России, и, хотя мы тут также не избавлены от некоторого внимания со стороны Родины..., но все-таки, понимаю, не так как внутри это ощущаем на себе) и не повторяя доводы о нелогичности тогда запуска самого уик-проекта, хочу, к слову можно сказать, показать пример человека, который НЕ боится. И просто поступает как Гражданин, по совести. В намного более сложной (и страшной для него) ситуации.
Вот такая история происходит буквально сейчас с одним моим товарищем:
http://www.forestforum.ru/viewtopic.php ... 62#p141848

Важно,что здесь он также руководствуется принципом, что если он этого не сделает, то никто этого не сделает (из контекста понятно почему, в данном случае это буквально)

И это еще раз к вопросу о том, что может сделать 1 человек. А вот когда подобных станет больше... вот тогда все пойдет вперед.

Наташа,ну хватит уже троллить то,уж совсем не по теме
Заведите себе отдельную ветку,в которой будете граждан учить жить и переодически спамьте туда. И вы выговоритесь и мусор будет аккуратно в одном месте,а не по всем темама

[ Сообщение с мобильного устройства ]

Не кормите троллей. Черный список для отключение отображения мыслепотока вполне работает.
Потом модераторов попросим прибрать все не относящееся к конкретным действиям.

SergeyRyzhkov писал(а):Наташа,ну хватит уже троллить то,уж совсем не по теме
Заведите себе отдельную ветку,в которой будете граждан учить жить и переодически спамьте туда. И вы выговоритесь и мусор будет аккуратно в одном месте,а не по всем темама

[ Сообщение с мобильного устройства ]

У вас и Топикстартера просто в мозгах не доходит, что одно связано с другим. Что именно эта тема с вопросом ТС никуда не продвинется, без того, чтобы внутри себя люди не перешли за "барьер страха", а что именно он причина того, что на тему не отвечают, я почти уверена.
Мои слова и служат этому... так что всё прямо по теме.

Не пошел УИК-проект. Почему? Потому что не хватило смелости внутри себя пойти дальше, от геокодирования к использованию данных для Общества. А без этого проект потерял смысл.

Вот поэтому на тему ТС не отвечают.

Впрочем, время покажет, так ли это.
Я больше вмешиваться не буду. И сразу сказала, что ТС виноват сам, разместив тему во "все остальное", это зона свободного общения. А мои посты модераторы всегда могут удалить или перенести куда угодно, это полностью на их усмотрение.