Челябинская область

[sadless74]

Начал подготавливать данные по Челябинской области:
- ссылка на источники
--Постановление Избирательной комиссии Челябинской области от 15 января 2013 года № 62/463-5 "Об установлении единой нумерации избирательных участков для проведения выборов и референдумов на территории Челябинской области в 2013-2017 годах"
--Образование избирательных участков (kol-vo_uik.csv)
--Границы избирательных участков - архив с данными по всем УИК Челябинской области

--Сведения о ТИК Челябинской области
-- Список ТИК (tik74.csv)

Подготовка данных по своему региону:
1. Подготовить таблицу УИКов
В работе...
2. Провести геокодирование
Прогресс 0%
3. Провести постобработку результатов геокодирования
Прогресс 0%
4. Загрузить результаты постобработки в систему
Прогресс 0%

Посмотрите пожалуйста. Напишите если что-то не так делаю...

P.S. как всё таки по разному можно составить список УИКов

[kalenkov]

Да, я не перестаю удивляться фантазии местных чиновников.

Обрати внимание, что вот тут
http://www.iksrf74.uu.ru/formirovanie_u ... e_uchastk/
выложены изменения границ участков. Их было-бы неплохо учесть и, что самое важное, проверить, что адрес помещения для голосования не изменился. А если изменился, то учесть и это при составлении списка УИКов.

[sadless74]

- Спасибо за замечание. Изменение в границах избирательных участков города Челябинска посмотрел, когда доберусь до УИКов Челябинска учту. Оставлю его на финишный рывок.

- Обнаружил ошибку. В архиве Granicy_izbiratelnyh_uchastkov.zip файл 07-Верхнеуфалейский городской округ.doc идентичен по содержанию с 06-Верхнеуральский муниципальный район.doc. Хотя размеры отличаются. Похоже в избирком надо обращаться.

-Сильно страшно что для УИКов теряю поле с телефоном? в структуре под него не было отведено столбца...

[lzhl]

Делай файл с телефонами (phone_v и phone_o), пред загрузкой удалишь. Я телефоны сохраняю, если есть.

[sadless74]

Ну почему "хорошая мысля приходит опосля"?
Добавьте ремарку в http://gis-lab.info/qa/uikgeo.html , а то многие так промахнуться.
Там структура описана:
Код поля Название поля Пример заполнения
auto_code Код региона 77
tik_id Код ТИК (обменный) 2606
uik Номер УИК 24
addr_v Адрес по которому проходит голосование Аптекарский пер., дом № 8/2
place_v Место помещения голосования Библиотека № 61
addr_o Адрес расположения офиса Аптекарский пер., дом № 8/2 Библиотека № 61
place_o Место помещения офиса
comment Комментарий не разделен адрес и место офиса
g_status Точность геокодирования building,street,settlement,region

а получается надо:
Код поля Название поля Пример заполнения
auto_code Код региона 77
tik_id Код ТИК (обменный) 2606
uik Номер УИК 24
addr_v Адрес по которому проходит голосование Аптекарский пер., дом № 8/2
place_v Место помещения голосования Библиотека № 61
phone_v Телефон помещения голосования
addr_o Адрес расположения офиса Аптекарский пер., дом № 8/2 Библиотека № 61
place_o Место помещения офиса
phone_o Телефон офиса
comment Комментарий не разделен адрес и место офиса
g_status Точность геокодирования building,street,settlement,region

[kalenkov]

Я стараюсь сохранять всю информацию, которая была в исходном постановлении. Зачем? Сам не знаю. Вдруг пригодится где-то ещё. Есть проект wikiuiki. Там телефон смотрелся бы очень органично.

[lzhl]

а получается надо…

Я ещё делаю territory для границ участка, если их не слишком сложно нормализировать. Но в постановлениях конечно ад со структурой.

[sadless74]

А вот границы участка сохраняю. В столбик comment записываю, потом можно перекинуть...

Телефонов совсем немного, почему-то их не пишут. Но в большинстве домов культуры и школах обычно телефоны должны быть...Хорошо буду добавлять их.

[Максим Дубинин]

ребята, не переусердствуйте, наша задача - геоданные, собирать всё остальное - задача викиуиков, добавлять или нет телефоны и границы участков - на ваше усмотрение, структура выше - для нашего проекта и телефонов там пока не нужно

понятно что лучше собирать все сразу, но мы не хотим отпугнуть потенциальных участников 100500 полями, поэтому это чисто на ваше усмотрение, добавлять телефоны или нет.

если что-то указано не будет, то человек пойдет и вытащит из документов заново то, что ему нужно дополнительно

[sadless74]

- Сделано. "Утка в яйце" 11-Карабашский городской округ.doc - оказался RAR архивом. Внутри 74Т011 избир.участки повторный.doc
- Пропускаю. Каслинский район дал номера участков и границы. Адресов и наименование места проведения отсутсвуют...

1. Подготовить таблицу УИКов
Прогресс 24% = 13 из 51 файла = 530 из 2239 уика (uik74.csv)

[sadless74]

В текстовом файле есть данные по УИКам.
Они идут в строчках.
Отдельные УИКи разделены пустой строкой
пример:

Код: Выделить всё

.....

Избирательный участок №1848
В состав избирательного участка включить пос.Бектыш.
Установить место нахождения участковой избирательной комиссии и место голосования в помещении администрации Бектышского сельского поселения по адресу: пос.Бектыш, ул.Комсомольская, 12

Избирательный участок №1849
В состав избирательного участка включить с.Александровка.
Установить место нахождения участковой избирательной комиссии и место голосования в помещении сельского клуба по адресу: с.Александровка, ул.Набережная, 11а.

.......

Как распарсить эти данные чтобы строчки стали столбцами в csv? А ещё бы обработать строки, убрать лишнее...

пример:

Код: Выделить всё

1848; пос.Бектыш.; в помещении администрации Бектышского сельского поселения; пос.Бектыш, ул.Комсомольская, 12
1849; с.Александровка.; в помещении сельского клуба; с.Александровка, ул.Набережная, 11а.

есть готовые скрипты? Perl, Python, Regexp, макросы LibreOffice....
а то совсем медленно и печально

P.S. нашёл ParseUIK.dot но в лоб не взлетело...

[kalenkov]

Я делаю всё в полуручном режиме. Сейчас все будут смеяться, но я делаю вот так

1) Заменяю всюду "\t" на " "
2) Заменяю "Избирательный участок №" на "XXX"
3) Заменяю "В состав избирательного участка включить" на "\t"
4) Заменяю "Установить место нахождения участковой избирательной комиссии и место голосования" на "\t"
5) Заменяю "\n" на" "
6) Заменяю "XXX" на "\n"

Получившийся CSV файл с табуляцией в качестве разделителя дорабатывается вручную. Вышеперечисленные шаги немного меняются в зависимости от содержимого файла.

[sadless74]

Гениально!
в SciTE делаю тоже самое на 90⅝. Но до финального \n на \t не додумался ! доделывая таблицу в Calc
СПАСИБО!

[ Сообщение с мобильного устройства ]

[freeExec]

Т.к. основная часть данных была в таблицах, то парсинг текста я оставил на потом. И вот руки дошли - https://github.com/freeExec/UIK_writer-calc . Компилировать не нужно, надо работать прямо в студии, т.к. захардкодено. Придётся естественно допиливать для себя, но за пример взять ф. ExtractFromText_odt
Для примера превращает из

Код: Выделить всё

Избирательный участок № 3403
Количество избирателей – 1 875 чел.
Место нахождения УИК – Областное государственное бюджетное образовательное учреждение дополнительного профессионального образования Ульяновский институт повышения квалификации и переподготовки работников образования   (ул. 12 Сентября, д. 81), кабинет № 2, тел. 32-47-87.
Помещение для голосования – актовый зал, тел. 32-47-87.

в

Код: Выделить всё

uik;addr_v;place_v;phone_v;addr_o;place_o;phone_o;comment;g_status
3403;;актовый зал;тел. 32-47-87.;город Ульяновск, ул. 12 Сентября, д. 81;Областное государственное бюджетное образовательное учреждение дополнительного профессионального образования Ульяновский институт повышения квалификации и переподготовки работников образования, кабинет № 2;тел. 32-47-87.;False / True;;

Набор реальных данных, который обрабатывался - http://cboboda.pisem.su/files/uik/test.7z (ссылку скопировать и вставить в новую вкладку, с referens не открывает)

[sadless74]

1. Подготовить таблицу УИКов
Прогресс 37% = 23 из 51 файла = 839 из 2239 уика (2013-08-20-uik74.ods)

Делаю с помощью SciTE, LibreOffice, regexp и руками.

Полезные RegExp:
синтаксис regexp scite
если нажата кнопка \r\t то можно использовать
\n - означает непечатный символ LF
\r - означает непечатный символ CR
обычно стоят \r\n а выглядят CRLF

если нажата кнопка ^.* то можно использовать regexp
^.\. либо аналог ^[0-9]\.[ ][ ] - найти цифры с точкой типа 1. и до 9. и потом пробел
^..\. либо аналог ^[0-9][0-9]\.[ ][ ] - найти две цифры с точкой типа 10. и до 99. и потом пробелов пара
\,[ ]$ - это значит С КОНЦА убрать запятую и пробел после неё
^[ ]* - то значит убрать все пробелы в начале строки до первой буквы

==============
если надо найти НОМЕР ДОМА И ЛИТЕРУ а они через пробел а НАДО БЕЗ ПРОБЕЛА то
([0-9]+)[ ]([^0-9]\,) - это значит ЦИФРА или ЦИФРЫ, ПРОБЕЛ, НЕ ЦИФРА....
Скобки обозначают куски и присваивает номер \1 пробел \2
в итоге:
Найти: ([0-9]+)[ ]([^0-9]\,)
Заменить \1\2
Сделает -> 33 а заменит на 33а

([0-9]+)\-([^0-9])
Заменить \1\2
Сделает -> 33-а заменит на 33а

НАДО СЛЕДИТЬ ГЛАЗАМИ!
Найти: (\,[ ])([0-9])
Заменить: \r\n\2
Сделает: , 1-11-11 заменит на: уберет запятую и телефон на строчку вниз