Челябинская область

Одна тема - один регион РФ
sadless74
Завсегдатай
Сообщения: 310
Зарегистрирован: 25 май 2009, 13:50
Репутация: 43

Re: Челябинская область

Сообщение sadless74 » 21 авг 2013, 10:29

1. Подготовить таблицу УИКов
Прогресс 47% = 1055 из 2239 уика (2013-08-21-uik74.ods включая Октябрьский)
осталось файлов:
+ 12 районов
33-Пластовский муниципальный район.doc
34-Саткинский муниципальный район.doc
35-Сосновский муниципальный район.doc
36-Троицкий городской округ.doc
37-Увельский муниципальный район.doc
38-Уйский муниципальный район.doc
39-Усть-Катавский городской округ.doc
40-Чебаркульский городской округ.doc
48-Чесменский муниципальный район.doc
49-Южноуральский городской округ.doc
50-Троицкий муниципальный район.doc
51-Чебаркульский муниципальный район.doc

+ 3 Магнитогорск
26-Ленинского района города Магнитогорска.doc
27-Орджоникидзевский района города Магнитогорска.doc
28-Правобережный район города Магнитогорска.doc

+ 7 Челябинск
41-Калининский район города Челябинска.doc
42-Курчатовский район города Челябинска.doc
43-Ленинский район города Челябинска.doc
43-Тракторозаводский район города Челябинска.doc
44-Металлургический район города Челябинска.doc
45-Советский район города Челябинска.doc
47-Центральный район города Челябинска.doc

Обнаружил ошибку. В архиве Granicy_izbiratelnyh_uchastkov.zip файл 07-Верхнеуфалейский городской округ.doc идентичен по содержанию с 06-Верхнеуральский муниципальный район.doc. Хотя размеры отличаются. Похоже в избирком надо обращаться.

NB! Пропущено. Верхнеуфалейский городской округ - нет данных
NB! Пропускаю, надо добавить. Каслинский район дал номера участков и границы. Адресов и наименование места проведения отсутствуют...
NB! добавлено. Нагайбакский район дал номера участков и границы. Адресов и наименование места проведения отсутствуют...
Последний раз редактировалось sadless74 28 авг 2013, 07:09, всего редактировалось 1 раз.

sadless74
Завсегдатай
Сообщения: 310
Зарегистрирован: 25 май 2009, 13:50
Репутация: 43

Re: Челябинская область

Сообщение sadless74 » 21 авг 2013, 14:02

Схема работы по извлечению данных

1. открыть файл из архива через Writer
2. Выделить всё, скопировать в буфер.
3. использую SciTE, в него вставляю и выкидываю лишнее
4. Привожу к общему шаблону:
Избир. уч. № 1111
Адрес
Телефон
Помещение чего-то там
Входят улицы, дома, деревни.
5. потом авто замена:
- \r\n на \t
- Избир. уч. № на \r\n
6. Сохранить список.CSV
7. Открыть два Calc и скопировать данные из CSV в общий ODS

самое долгое привести данные к шаблону :(
Последний раз редактировалось sadless74 22 авг 2013, 11:07, всего редактировалось 1 раз.

sadless74
Завсегдатай
Сообщения: 310
Зарегистрирован: 25 май 2009, 13:50
Репутация: 43

Re: Челябинская область

Сообщение sadless74 » 22 авг 2013, 10:03

1. Подготовить таблицу УИКов
Прогресс 62% = 1396 из 2239 уика (2013-08-22-uik74.ods включительно Чебаркульский гор. округ)

осталось файлов:
+ 4 района
48-Чесменский муниципальный район.doc
49-Южноуральский городской округ.doc
50-Троицкий муниципальный район.doc
51-Чебаркульский муниципальный район.doc

+ 3 Магнитогорск
26-Ленинского района города Магнитогорска.doc
27-Орджоникидзевский района города Магнитогорска.doc
28-Правобережный район города Магнитогорска.doc

+ 7 Челябинск
41-Калининский район города Челябинска.doc
42-Курчатовский район города Челябинска.doc
43-Ленинский район города Челябинска.doc
43-Тракторозаводский район города Челябинска.doc
44-Металлургический район города Челябинска.doc
45-Советский район города Челябинска.doc
47-Центральный район города Челябинска.doc

Обнаружил ошибку. В архиве Granicy_izbiratelnyh_uchastkov.zip файл 07-Верхнеуфалейский городской округ.doc идентичен по содержанию с 06-Верхнеуральский муниципальный район.doc. Хотя размеры отличаются. Похоже в избирком надо обращаться.

NB! Пропущено. Верхнеуфалейский городской округ - нет данных
NB! Пропускаю, надо добавить. Каслинский район дал номера участков и границы. Адресов и наименование места проведения отсутствуют...
NB! добавлено. Нагайбакский район дал номера участков и границы. Адресов и наименование места проведения отсутствуют...
NB! добавлено. Сосновский район дал номера участков и границы. Адресов и наименование места проведения отсутствуют...
Последний раз редактировалось sadless74 28 авг 2013, 07:09, всего редактировалось 1 раз.

sadless74
Завсегдатай
Сообщения: 310
Зарегистрирован: 25 май 2009, 13:50
Репутация: 43

Re: Челябинская область

Сообщение sadless74 » 23 авг 2013, 09:25

[quote="sadless74"]1. Подготовить таблицу УИКов
Прогресс 80% = 1804 из 2239 уика (2013-08-23-uik74.ods включительно по Калининский район города Челябинска)

осталось файлов:
6шт. Челябинск:
42-Курчатовский район города Челябинска.doc
43-Ленинский район города Челябинска.doc
43-Тракторозаводский район города Челябинска.doc
44-Металлургический район города Челябинска.doc
45-Советский район города Челябинска.doc
47-Центральный район города Челябинска.doc

Обнаружил ошибку. В архиве Granicy_izbiratelnyh_uchastkov.zip файл 07-Верхнеуфалейский городской округ.doc идентичен по содержанию с 06-Верхнеуральский муниципальный район.doc. Хотя размеры отличаются. Похоже в избирком надо обращаться.

NB! Пропущено. Верхнеуфалейский городской округ - нет данных
NB! Пропускаю, надо добавить. Каслинский район дал номера участков и границы. Адресов и наименование места проведения отсутствуют...
NB! добавлено. Нагайбакский район дал номера участков и границы. Адресов и наименование места проведения отсутствуют...
NB! добавлено. Сосновский район дал номера участков и границы. Адресов и наименование места проведения отсутствуют...
Последний раз редактировалось sadless74 28 авг 2013, 07:09, всего редактировалось 1 раз.

sadless74
Завсегдатай
Сообщения: 310
Зарегистрирован: 25 май 2009, 13:50
Репутация: 43

Re: Челябинская область

Сообщение sadless74 » 27 авг 2013, 13:38

1. Подготовить таблицу УИКов
Прогресс 100,1% = 2241 из 2239 уика (2013-08-27-uik74.ods включительно по Постановление 3204 от 15.06.2013)

NB! Обнаружил ошибку. В архиве Granicy_izbiratelnyh_uchastkov.zip файл 07-Верхнеуфалейский городской округ.doc идентичен по содержанию с 06-Верхнеуральский муниципальный район.doc. В избирком надо обращаться.
NB! Добавлено. Верхнеуфалейский городской округ - нет данных
NB! Добавлено. Каслинский район дал номера участков и границы. Адресов и наименование места проведения отсутствуют...
NB! Добавлено. Нагайбакский район дал номера участков и границы. Адресов и наименование места проведения отсутствуют...
NB! Добавлено. Сосновский район дал номера участков и границы. Адресов и наименование места проведения отсутствуют...

2. Провести геокодирование
Прогресс 0%
- проверить на ошибки...
- нормализовать адреса...
- геокодировать...

sadless74
Завсегдатай
Сообщения: 310
Зарегистрирован: 25 май 2009, 13:50
Репутация: 43

Re: Челябинская область

Сообщение sadless74 » 28 авг 2013, 07:17

1. Подготовить таблицу УИКов
Прогресс 100% = 2239 из 2239 уика (2013-08-28-uik74-norm-address.ods) - всё+номера без адресов но с границами + изменения 3204 от 15.06.2013 + нормализованы адреса.

2. Провести геокодирование
Прогресс 0%
- проверить на ошибки...
В файле с данными по Сосновскому району 4 ошибочных УИКа. Удалено. Пропущены 2 УИКа. Добавлены.
- нормализовать адреса...
Проведено.
- геокодировать...
кто возьмётся?
Последний раз редактировалось sadless74 29 авг 2013, 05:46, всего редактировалось 1 раз.

sadless74
Завсегдатай
Сообщения: 310
Зарегистрирован: 25 май 2009, 13:50
Репутация: 43

Re: Челябинская область

Сообщение sadless74 » 28 авг 2013, 07:50

Проверка данных:

После составления списка УИК ссылка на подготовленный файл размещается в соответствующей теме на форуме.
- разместил

Другой участник проекта должен свежим взглядом просмотреть данные и убедится, что они готовы для загрузки.
Кто возьмется?

Самопроверка:
Ниже приведен список пунктов, которые следует проверить
наличие всех необходимых полей в таблице (список выше)
- в наличии
не должно быть пропусков данных в полях, которые не могут быть пустыми (список выше)
- отсутствуют
сверить список и нумерацию УИК с постановлением об установлении единой нумерации УИК в данном регионе
- на их основе и делалось
проверить соответствие tik_id тем, которые используются на координационной таблице региона и на wikiuiki.
- брал из таблицы wikiuiki
проверить правильность заполнения поля адреса
- привел к правильному виду
выборочно проверить, что не перепутаны поля addr_v и addr_o
- addr_o в Челябинской области мало
убедиться, что нет адресов с точностью до района (исключением являются воинские части)
- при отсутствии адреса в addr_v вносил данные из границ т.е точки будут в деревнях, а не в центре района
убедиться, что в содержании полей нет лишних пустых строк, особенно в номерах УИКов
- не нашёл
таблица может содержать дополнительные поля, не входящие в список выше, эти поля будут пропущены при импорте, поэтому удалять их не обязательно, возможно они пригодятся кому-то еще.
- есть поля territory - Описание границ участка, phone_v - Телефон комиссии, phone_o - Телефон офиса

kalenkov
Гуру
Сообщения: 567
Зарегистрирован: 30 апр 2013, 09:33
Репутация: 34

Re: Челябинская область

Сообщение kalenkov » 28 авг 2013, 20:44

вот что я заметил

1) название полей неверное
2) в адресе указаны районы города (Магнитогорск и Челябинск), причем таким образом, что это гарантированно приведёт к проблемам при геокодировании. Для городов не нужно указывать внутреннее районное деление
3) убрать все префиксы вида "тел.", "т." и аналогичные из поля с телефонами
4) УИК 1435: поселок входит в состав Магнитогорска? Если да, то это нужно указать.
5) УИК 643: часть адреса уехала в описание места голосования
6) учитывалось ли вот это постановление
http://www.iksrf74.uu.ru/pics/uploads/Komissy/3204.doc
которое размещено вот тут
http://www.iksrf74.uu.ru/formirovanie_u ... e_uchastk/
?


на проверку tik_id не хватило сил

sadless74
Завсегдатай
Сообщения: 310
Зарегистрирован: 25 май 2009, 13:50
Репутация: 43

Re: Челябинская область

Сообщение sadless74 » 29 авг 2013, 05:45

1) название полей неверное
привёл название полей в соответствие с http://gis-lab.info/qa/uikgeo-listreqs.html
только добавлены 3 поля territory - Описание границ участка, phone_v - Телефон комиссии, phone_o - Телефон офиса
auto_code, tik_id, uik, address_voting, place_voting, phone_voting, address_office, place_office, phone_office, territory, comment


2) в адресе указаны районы города (Магнитогорск и Челябинск), причем таким образом, что это гарантированно приведёт к проблемам при геокодировании. Для городов не нужно указывать внутреннее районное деление
убрал названия районов, городских округов. Надеюсь теперь строка адреса составлена правильно

3) убрать все префиксы вида "тел.", "т." и аналогичные из поля с телефонами
причесал. оставил слова опер.связь таксофон, сотовый, авт.

4) УИК 1435: поселок входит в состав Магнитогорска? Если да, то это нужно указать.
указал

5) УИК 643: часть адреса уехала в описание места голосования
исправил

6) учитывалось ли вот это постановление http://www.iksrf74.uu.ru/pics/uploads/Komissy/3204.doc, которое размещено вот тут http://www.iksrf74.uu.ru/formirovanie_u ... e_uchastk/ ?
в сообщении через одно выше специально прописал - учтены изменения 3204 от 15.06.2013

Спасибо, что уделили время!
Последний раз редактировалось sadless74 29 авг 2013, 08:52, всего редактировалось 1 раз.

kalenkov
Гуру
Сообщения: 567
Зарегистрирован: 30 апр 2013, 09:33
Репутация: 34

Re: Челябинская область

Сообщение kalenkov » 29 авг 2013, 08:14

вот тут
http://gis-lab.info/qa/uikgeo-listreqs.html
указано, что названия полей имеют вид
tik_id
uik
addr_v
place_v
addr_o
place_o
comment
phone_v

и нигде не указанный phone_o

а у тебя в файле
auto_code
tik_id
uik
address_voting
place_voting
phone_voting
address_office
place_office
phone_office
territory
comment

Я думаю, что суффиксы "voting" и "office" нужно сократить до "v" и "o"

sadless74
Завсегдатай
Сообщения: 310
Зарегистрирован: 25 май 2009, 13:50
Репутация: 43

Re: Челябинская область

Сообщение sadless74 » 29 авг 2013, 08:51

- Я думаю, что суффиксы "voting" и "office" нужно сократить до "v" и "o"
привёл к виду tik_id, uik, address_v, place_v, address_o, place_o, comment, phone_v, phone_o, territory
суффиксы "voting" и "office" сократил до "v" и "o"
Последний раз редактировалось sadless74 29 авг 2013, 13:27, всего редактировалось 1 раз.

kalenkov
Гуру
Сообщения: 567
Зарегистрирован: 30 апр 2013, 09:33
Репутация: 34

Re: Челябинская область

Сообщение kalenkov » 29 авг 2013, 09:41

совсем забыл. Там ведь есть районы, у которых не указаны адреса помещений для голосования. Нужно понять, что с этим делать.

Народ, что делать в таких случаях? Я вижу два варианта

1) Районы без адресов не загружать на карту.
2) Загрузить без адресов, а по мере появления информации вносить её прямо через редактор.

sadless74
Завсегдатай
Сообщения: 310
Зарегистрирован: 25 май 2009, 13:50
Репутация: 43

Re: Челябинская область

Сообщение sadless74 » 29 авг 2013, 10:14

Да есть районы, у которых не указаны адреса помещений для голосования.

Добавил их в общую таблицу. Адрес указал либо город в котором ТИК, либо где были описания границ, взял название населенного пункта из границы. Чтобы точность была до НП.

Считаю что добавлять их необходимо. Потом к этому вернутся будет не удобно.
Поддерживаю - 2) Загрузить без адресов, а по мере появления информации вносить её прямо через редактор.
Либо указать недостающую информацию в комментарии.

ИМХО. Точность до НП это уже хорошо. Если бы УИКа вообще не было, то нужна была бы ГОЛОВОЛОМНАЯ процедура их добавления. На которую в каждом отдельном случае обычный пользователь не пошёл.

Если появится полная информация, то не вижу проблемы пакетом обновить базу уже имеющихся УИКов.

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Челябинская область

Сообщение Максим Дубинин » 29 авг 2013, 11:01

sadless74 писал(а):не вижу проблемы пакетом обновить базу уже имеющихся УИКов
Этим ты очень сильно усложняешь нам жизнь. Текущий импорт работает так, что он пропускает уже измененные данные. Ты предлагаешь нам загрузить недоделанные данные, они возможно будут изменены пользователями, а потом мы каким-то образом должны отделять их от других измененных и одни перезагружать, а другие нет.

И вся эта пляска из-за точек которые геокодированы до района или города, какой глубокий смысл в этих данных?

Моё мнение, эти данные грузить в систему не нужно, они ломают простоту и понятность процедуры импорта и несут мало смысла сами по себе.

У нас есть прекрасная вещь - координационная таблица с подтаблицей со списком ТИКов. Нужно выкинуть (не удалить, а перекинуть в другую таблицу) из данных для загрузки целиком ТИКи где нет адресов и отметить в таблице только те, которые содержат нужные данные.
пристегивайтесь, турбулентность прямо по курсу

sadless74
Завсегдатай
Сообщения: 310
Зарегистрирован: 25 май 2009, 13:50
Репутация: 43

Re: Челябинская область

Сообщение sadless74 » 29 авг 2013, 12:25

Большая проблема только с Верхним Уфалеем. Границ нет только номера, но и там точки скриптом будут расставлены на какой-то площади. Появятся данные растащу по местам.

Каслинский район, Нагайбакский район, Сосновский район - есть названия деревень, но больше в деревнях на карте ОСМ и не прорисовано (ни улиц, ни домов). Многие деревни нарисованы в виде точки и точности до НП будет достаточно. Когда будут точные данные, то точку УИКа перетащу в соседнюю деревню, это не страшно. Зато данные для анализа выборов которые пройдут уже через неделю! будет где отобразить.

Если появятся свежие данные, то нужно скачать дамп области и проверить трогал ли кто-то данные, которые нужно обновить.

В крайнем случае подготовлю данные для импорта чтобы и редактированные данные сохранить и новые данные добавить.

Мы не можем гарантировать, что в следующем году пару УИКов не переедут в соседнее здание. И тогда все равно придется делать таблицу с изменениями и накатывать на уже кем-то сделанную работу.

Ответить

Вернуться в «Темы по регионам»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 5 гостей