Челябинская область

Одна тема - один регион РФ
sadless74
Завсегдатай
Сообщения: 287
Зарегистрирован: 25 май 2009, 13:50
Проекты: 2
Репутация: 42

Челябинская область

Сообщение sadless74 » 11 авг 2013, 22:48

Начал подготавливать данные по Челябинской области:
- ссылка на источники
--Постановление Избирательной комиссии Челябинской области от 15 января 2013 года № 62/463-5 "Об установлении единой нумерации избирательных участков для проведения выборов и референдумов на территории Челябинской области в 2013-2017 годах"
--Образование избирательных участков (kol-vo_uik.csv)
--Границы избирательных участков - архив с данными по всем УИК Челябинской области

--Сведения о ТИК Челябинской области
-- Список ТИК (tik74.csv)

Подготовка данных по своему региону:
1. Подготовить таблицу УИКов
В работе...
2. Провести геокодирование
Прогресс 0%
3. Провести постобработку результатов геокодирования
Прогресс 0%
4. Загрузить результаты постобработки в систему
Прогресс 0%

Посмотрите пожалуйста. Напишите если что-то не так делаю...

P.S. как всё таки по разному можно составить список УИКов :(
Вложения
tik74.csv
(14.4 КБ) 323 скачивания
kol-vo_uik.csv
(3.11 КБ) 326 скачиваний
Последний раз редактировалось sadless74 13 авг 2013, 01:26, всего редактировалось 2 раза.

kalenkov
Гуру
Сообщения: 567
Зарегистрирован: 30 апр 2013, 09:33
Статьи: 1
Проекты: 1
Репутация: 35

Re: Челябинская область

Сообщение kalenkov » 11 авг 2013, 22:59

Да, я не перестаю удивляться фантазии местных чиновников.

Обрати внимание, что вот тут
http://www.iksrf74.uu.ru/formirovanie_u ... e_uchastk/
выложены изменения границ участков. Их было-бы неплохо учесть и, что самое важное, проверить, что адрес помещения для голосования не изменился. А если изменился, то учесть и это при составлении списка УИКов.

sadless74
Завсегдатай
Сообщения: 287
Зарегистрирован: 25 май 2009, 13:50
Проекты: 2
Репутация: 42

Re: Челябинская область

Сообщение sadless74 » 11 авг 2013, 23:07

- Спасибо за замечание. Изменение в границах избирательных участков города Челябинска посмотрел, когда доберусь до УИКов Челябинска учту. Оставлю его на финишный рывок.

- Обнаружил ошибку. В архиве Granicy_izbiratelnyh_uchastkov.zip файл 07-Верхнеуфалейский городской округ.doc идентичен по содержанию с 06-Верхнеуральский муниципальный район.doc. Хотя размеры отличаются. Похоже в избирком надо обращаться.

-Сильно страшно что для УИКов теряю поле с телефоном? в структуре под него не было отведено столбца...

lzhl
Активный участник
Сообщения: 120
Зарегистрирован: 09 мар 2010, 10:43
Проекты: 2
Репутация: 3
Откуда: Нижний Новгород
Контактная информация:

Re: Челябинская область

Сообщение lzhl » 11 авг 2013, 23:11

Делай файл с телефонами (phone_v и phone_o), пред загрузкой удалишь. Я телефоны сохраняю, если есть.

sadless74
Завсегдатай
Сообщения: 287
Зарегистрирован: 25 май 2009, 13:50
Проекты: 2
Репутация: 42

Re: Челябинская область

Сообщение sadless74 » 11 авг 2013, 23:15

Ну почему "хорошая мысля приходит опосля"?
Добавьте ремарку в http://gis-lab.info/qa/uikgeo.html , а то многие так промахнуться.
Там структура описана:
Код поля Название поля Пример заполнения
auto_code Код региона 77
tik_id Код ТИК (обменный) 2606
uik Номер УИК 24
addr_v Адрес по которому проходит голосование Аптекарский пер., дом № 8/2
place_v Место помещения голосования Библиотека № 61
addr_o Адрес расположения офиса Аптекарский пер., дом № 8/2 Библиотека № 61
place_o Место помещения офиса
comment Комментарий не разделен адрес и место офиса
g_status Точность геокодирования building,street,settlement,region

а получается надо:
Код поля Название поля Пример заполнения
auto_code Код региона 77
tik_id Код ТИК (обменный) 2606
uik Номер УИК 24
addr_v Адрес по которому проходит голосование Аптекарский пер., дом № 8/2
place_v Место помещения голосования Библиотека № 61
phone_v Телефон помещения голосования
addr_o Адрес расположения офиса Аптекарский пер., дом № 8/2 Библиотека № 61
place_o Место помещения офиса
phone_o Телефон офиса
comment Комментарий не разделен адрес и место офиса
g_status Точность геокодирования building,street,settlement,region
Последний раз редактировалось sadless74 11 авг 2013, 23:17, всего редактировалось 1 раз.

kalenkov
Гуру
Сообщения: 567
Зарегистрирован: 30 апр 2013, 09:33
Статьи: 1
Проекты: 1
Репутация: 35

Re: Челябинская область

Сообщение kalenkov » 11 авг 2013, 23:15

Я стараюсь сохранять всю информацию, которая была в исходном постановлении. Зачем? Сам не знаю. Вдруг пригодится где-то ещё. Есть проект wikiuiki. Там телефон смотрелся бы очень органично.

lzhl
Активный участник
Сообщения: 120
Зарегистрирован: 09 мар 2010, 10:43
Проекты: 2
Репутация: 3
Откуда: Нижний Новгород
Контактная информация:

Re: Челябинская область

Сообщение lzhl » 11 авг 2013, 23:20

sadless74 писал(а):а получается надо…
Я ещё делаю territory для границ участка, если их не слишком сложно нормализировать. Но в постановлениях конечно ад со структурой.

sadless74
Завсегдатай
Сообщения: 287
Зарегистрирован: 25 май 2009, 13:50
Проекты: 2
Репутация: 42

Re: Челябинская область

Сообщение sadless74 » 11 авг 2013, 23:28

А вот границы участка сохраняю. В столбик comment записываю, потом можно перекинуть...

Телефонов совсем немного, почему-то их не пишут. Но в большинстве домов культуры и школах обычно телефоны должны быть...Хорошо буду добавлять их.

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9033
Зарегистрирован: 06 окт 2003, 20:20
Статьи: 231
Проекты: 12/6
Репутация: 712
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Челябинская область

Сообщение Максим Дубинин » 12 авг 2013, 09:38

ребята, не переусердствуйте, наша задача - геоданные, собирать всё остальное - задача викиуиков, добавлять или нет телефоны и границы участков - на ваше усмотрение, структура выше - для нашего проекта и телефонов там пока не нужно

понятно что лучше собирать все сразу, но мы не хотим отпугнуть потенциальных участников 100500 полями, поэтому это чисто на ваше усмотрение, добавлять телефоны или нет.

если что-то указано не будет, то человек пойдет и вытащит из документов заново то, что ему нужно дополнительно
пристегивайтесь, турбулентность прямо по курсу

sadless74
Завсегдатай
Сообщения: 287
Зарегистрирован: 25 май 2009, 13:50
Проекты: 2
Репутация: 42

Re: Челябинская область

Сообщение sadless74 » 13 авг 2013, 01:29

- Сделано. "Утка в яйце" 11-Карабашский городской округ.doc - оказался RAR архивом. Внутри 74Т011 избир.участки повторный.doc
- Пропускаю. Каслинский район дал номера участков и границы. Адресов и наименование места проведения отсутсвуют...

1. Подготовить таблицу УИКов
Прогресс 24% = 13 из 51 файла = 530 из 2239 уика (uik74.csv)
Последний раз редактировалось sadless74 28 авг 2013, 07:08, всего редактировалось 1 раз.

sadless74
Завсегдатай
Сообщения: 287
Зарегистрирован: 25 май 2009, 13:50
Проекты: 2
Репутация: 42

Re: Челябинская область

Сообщение sadless74 » 13 авг 2013, 02:01

В текстовом файле есть данные по УИКам.
Они идут в строчках.
Отдельные УИКи разделены пустой строкой
пример:

Код: Выделить всё

.....

Избирательный участок №1848
В состав избирательного участка включить пос.Бектыш.
Установить место нахождения участковой избирательной комиссии и место голосования в помещении администрации Бектышского сельского поселения по адресу: пос.Бектыш, ул.Комсомольская, 12

Избирательный участок №1849
В состав избирательного участка включить с.Александровка.
Установить место нахождения участковой избирательной комиссии и место голосования в помещении сельского клуба по адресу: с.Александровка, ул.Набережная, 11а.

.......
Как распарсить эти данные чтобы строчки стали столбцами в csv? А ещё бы обработать строки, убрать лишнее...

пример:

Код: Выделить всё

1848; пос.Бектыш.; в помещении администрации Бектышского сельского поселения; пос.Бектыш, ул.Комсомольская, 12
1849; с.Александровка.; в помещении сельского клуба; с.Александровка, ул.Набережная, 11а.
есть готовые скрипты? Perl, Python, Regexp, макросы LibreOffice....
а то совсем медленно и печально :(

P.S. нашёл ParseUIK.dot но в лоб не взлетело...

kalenkov
Гуру
Сообщения: 567
Зарегистрирован: 30 апр 2013, 09:33
Статьи: 1
Проекты: 1
Репутация: 35

Re: Челябинская область

Сообщение kalenkov » 13 авг 2013, 08:06

Я делаю всё в полуручном режиме. Сейчас все будут смеяться, но я делаю вот так

1) Заменяю всюду "\t" на " "
2) Заменяю "Избирательный участок №" на "XXX"
3) Заменяю "В состав избирательного участка включить" на "\t"
4) Заменяю "Установить место нахождения участковой избирательной комиссии и место голосования" на "\t"
5) Заменяю "\n" на" "
6) Заменяю "XXX" на "\n"

Получившийся CSV файл с табуляцией в качестве разделителя дорабатывается вручную. Вышеперечисленные шаги немного меняются в зависимости от содержимого файла.
Последний раз редактировалось kalenkov 13 авг 2013, 19:44, всего редактировалось 1 раз.

sadless74
Завсегдатай
Сообщения: 287
Зарегистрирован: 25 май 2009, 13:50
Проекты: 2
Репутация: 42

Re: Челябинская область

Сообщение sadless74 » 13 авг 2013, 18:36

Гениально!
в SciTE делаю тоже самое на 90⅝. Но до финального \n на \t не додумался ! доделывая таблицу в Calc
СПАСИБО!

[ Сообщение с мобильного устройства ]

freeExec
Гуру
Сообщения: 903
Зарегистрирован: 23 апр 2011, 10:32
Проекты: 1
Репутация: 137
Откуда: Ульяновск

Re: Челябинская область

Сообщение freeExec » 14 авг 2013, 00:11

Т.к. основная часть данных была в таблицах, то парсинг текста я оставил на потом. И вот руки дошли - https://github.com/freeExec/UIK_writer-calc . Компилировать не нужно, надо работать прямо в студии, т.к. захардкодено. Придётся естественно допиливать для себя, но за пример взять ф. ExtractFromText_odt
Для примера превращает из

Код: Выделить всё

Избирательный участок № 3403
Количество избирателей – 1 875 чел.
Место нахождения УИК – Областное государственное бюджетное образовательное учреждение дополнительного профессионального образования Ульяновский институт повышения квалификации и переподготовки работников образования   (ул. 12 Сентября, д. 81), кабинет № 2, тел. 32-47-87.
Помещение для голосования – актовый зал, тел. 32-47-87.
в

Код: Выделить всё

uik;addr_v;place_v;phone_v;addr_o;place_o;phone_o;comment;g_status
3403;;актовый зал;тел. 32-47-87.;город Ульяновск, ул. 12 Сентября, д. 81;Областное государственное бюджетное образовательное учреждение дополнительного профессионального образования Ульяновский институт повышения квалификации и переподготовки работников образования, кабинет № 2;тел. 32-47-87.;False / True;;
Набор реальных данных, который обрабатывался - http://cboboda.pisem.su/files/uik/test.7z (ссылку скопировать и вставить в новую вкладку, с referens не открывает)

sadless74
Завсегдатай
Сообщения: 287
Зарегистрирован: 25 май 2009, 13:50
Проекты: 2
Репутация: 42

Re: Челябинская область

Сообщение sadless74 » 20 авг 2013, 08:34

1. Подготовить таблицу УИКов
Прогресс 37% = 23 из 51 файла = 839 из 2239 уика (2013-08-20-uik74.ods)

Делаю с помощью SciTE, LibreOffice, regexp и руками.

Полезные RegExp:
синтаксис regexp scite
если нажата кнопка \r\t то можно использовать
\n - означает непечатный символ LF
\r - означает непечатный символ CR
обычно стоят \r\n а выглядят CRLF

если нажата кнопка ^.* то можно использовать regexp
^.\. либо аналог ^[0-9]\.[ ][ ] - найти цифры с точкой типа 1. и до 9. и потом пробел
^..\. либо аналог ^[0-9][0-9]\.[ ][ ] - найти две цифры с точкой типа 10. и до 99. и потом пробелов пара
\,[ ]$ - это значит С КОНЦА убрать запятую и пробел после неё
^[ ]* - то значит убрать все пробелы в начале строки до первой буквы

==============
если надо найти НОМЕР ДОМА И ЛИТЕРУ а они через пробел а НАДО БЕЗ ПРОБЕЛА то
([0-9]+)[ ]([^0-9]\,) - это значит ЦИФРА или ЦИФРЫ, ПРОБЕЛ, НЕ ЦИФРА....
Скобки обозначают куски и присваивает номер \1 пробел \2
в итоге:
Найти: ([0-9]+)[ ]([^0-9]\,)
Заменить \1\2
Сделает -> 33 а заменит на 33а

([0-9]+)\-([^0-9])
Заменить \1\2
Сделает -> 33-а заменит на 33а

НАДО СЛЕДИТЬ ГЛАЗАМИ!
Найти: (\,[ ])([0-9])
Заменить: \r\n\2
Сделает: , 1-11-11 заменит на: уберет запятую и телефон на строчку вниз
Последний раз редактировалось sadless74 28 авг 2013, 07:08, всего редактировалось 1 раз.

Ответить

Вернуться в «Темы по регионам»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 0 гостей