Открытый слой хосписов

Мероприятия и проекты для которых создавались отдельные форумы. Могут быть закончены или продолжать активно работать.
Александр Мурый
Гуру
Сообщения: 5065
Зарегистрирован: 26 сен 2009, 16:26
Статьи: 3
Проекты: 5/1
Репутация: 721
Ваше звание: званий не имею
Откуда: Москва

Re: Открытый слой хосписов

Сообщение Александр Мурый » 02 сен 2015, 23:27

Максим Дубинин писал(а):Предлагаю загрузить все в NextGIS Crowd после автоматического геокодирования и начать тягать точки. Можем помочь с этим всем.
Хорошо, спасибо. Я уже начал готовить адреса для геокодирования. Думаю вот, чем это лучше делать. Питон+geopy? QGIS+RuGeocoder?
Petruxin писал(а):Чем могу помочь?
Может, понадобится помощь в геокодировании. А потом будем "точки тягать" :)
Редактор материалов, модератор форума

Аватара пользователя
Andrey Zhukov
Гуру
Сообщения: 823
Зарегистрирован: 10 дек 2009, 23:24
Репутация: 166
Ваше звание: старик-гисовик
Откуда: Москва
Контактная информация:

Re: Открытый слой хосписов

Сообщение Andrey Zhukov » 02 сен 2015, 23:53

У меня пока что мысль в лоб: распарсить данные страницы и через API Номинатима найти точки. Результат в csv или shp. Завтра займусь. Или если кто-то уже разберет завтра страницу, просто натраыить геокодер для получения первичной информации.

Александр Мурый
Гуру
Сообщения: 5065
Зарегистрирован: 26 сен 2009, 16:26
Статьи: 3
Проекты: 5/1
Репутация: 721
Ваше звание: званий не имею
Откуда: Москва

Re: Открытый слой хосписов

Сообщение Александр Мурый » 03 сен 2015, 00:03

bim2010 писал(а): Ко всем используемым источникам есть вопросы и замечания. Мое мнение - никакого автоматического парсинга.
Все ручками, со сверкой с другими официальными источниками.
Давайте будем вместе думать, как лучше сделать, кроме (полу)автоматического геокодирования. Для начала попробуем через Nominatim.
Редактор материалов, модератор форума

Александр Мурый
Гуру
Сообщения: 5065
Зарегистрирован: 26 сен 2009, 16:26
Статьи: 3
Проекты: 5/1
Репутация: 721
Ваше звание: званий не имею
Откуда: Москва

Re: Открытый слой хосписов

Сообщение Александр Мурый » 03 сен 2015, 00:47

В OSM, как было отмечено выше, частично есть хосписы. Выходит, стоит править прямо там?
Редактор материалов, модератор форума

Ariki
Гуру
Сообщения: 715
Зарегистрирован: 12 янв 2011, 22:40
Проекты: 1
Репутация: 289
Ваше звание:

Re: Открытый слой хосписов

Сообщение Ariki » 03 сен 2015, 01:10

У нас же данные со специфическими атрибутами, которые нужно сохранить. Наверно, проще будет выгрузить в OSM уже готовый результат.

Удалось распарсить HTML? Нужна ли помощь? Я сейчас в отпуске, время свободное есть - жаль, тему только сейчас заметил.

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 8934
Зарегистрирован: 06 окт 2003, 20:20
Статьи: 231
Проекты: 12/6
Репутация: 663
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытый слой хосписов

Сообщение Максим Дубинин » 03 сен 2015, 03:40

Александр Мурый писал(а):Я уже начал готовить адреса для геокодирования. Думаю вот, чем это лучше делать. Питон+geopy? QGIS+RuGeocoder?
Подготовь адреса, я потом тебе покажу одну инновацию в этой области. В принципе геокодировать нужно будет только один раз.

Сколько там вообще точек то?
пристегивайтесь, турбулентность прямо по курсу

Александр Мурый
Гуру
Сообщения: 5065
Зарегистрирован: 26 сен 2009, 16:26
Статьи: 3
Проекты: 5/1
Репутация: 721
Ваше звание: званий не имею
Откуда: Москва

Re: Открытый слой хосписов

Сообщение Александр Мурый » 03 сен 2015, 10:35

Ariki писал(а):У нас же данные со специфическими атрибутами, которые нужно сохранить. Наверно, проще будет выгрузить в OSM уже готовый результат.
Согласен.
Ariki писал(а): Удалось распарсить HTML? Нужна ли помощь?
Вроде бы, удалось. Помощь понадобится, пока не знаю где.
Максим Дубинин писал(а): Подготовь адреса, я потом тебе покажу одну инновацию в этой области. В принципе геокодировать нужно будет только один раз.
Сколько там вообще точек то?
Точек 128. Подготовить каким образом? Какие требования к записи адресов?

Пока получилось вот что:
списокShow
Белгородская обл., п. Томаровка, ул. Магистральная 86
г. Брянск, ул. Станке Димитрова 96
г. Владимир, ул. Институтский городок 18
г. Воронеж, ул. 45 Стрелковой дивизии 64
Воронежская обл., г. Стрелица, ул. Советская 22А
г. Иваново, ул. Любимова 5А
г. Калуга, ул. Гергиевская 3
г. Кострома, ул. Нижняя Дебря 19
г. Курская обл., Курский р-н, пос. Искра
г. Липецк, ул. 9 мая 4
г. Москва, ул. Доватора 10
г. Москва, ул. Талдомская 2а
г. Москва, ул. Поляны 4
г. Москва, ул. 1-ая ул. Леонова 1
г. Москва, ул. 3-я Радиальная 2А
г. Зеленоград, 17-й микрорайон, пр.657, д.1
г. Москва, Куркинское ш-е, д. 33
г. Москва, ул. 2-я Вольская ул., д. 21
г. Москва, ул. Большая Ордынка, 34, корп. 1
г. Москва, ул. Габричевского д. 5, кор. 10 (метро «Щукинская»)
г. Дубна, ул. Вокзальная, 11-а
Московская обл., г. Нахабино, Институтская ул., д.9А
Московская обл., г. Королев, Первомайская ул., 19а
г. Орел, Ипподромный пер., д. 2
Рязанская область, Рыбновский район, с. Пощупово
г. Смоленск, ул.Ново-Московская, 9
г. Смоленск, ул. Новомосковская, д. 9
г. Тамбов, ул. Бастионная, д. 1
г.Тверь, Набережная р. Тьмаки, дом 1
Тульская обл., пос. Ломинцевский, ул. Центральная ТЖРУ, д. 9.
г. Ижевск, ул. Ухтомского, 19
г. Казань, ул. Ак. Королёва, д. 67
г. Казань, ул. Сибирский тракт, д. 29
г. Киров, ул. 60-летия Комсомола, д. 25
г. Киров, просп. Строителей, д. 23
Н. Новгород, ул. Кировская, д.12А
Н. Новгород, пр. Союзный, д. 17
г. Оренбург, пр-т Победы, 140В
г. Пенза, пр-т Строителей, 37А
г. Пермь, ул. Баумана, 15
г. Пермь, Советской Армии, 12, корп. 4
г. Пермь, ул. Лебедева, 44
г. Пермь, ул. Гагарина, 85а
г. Самара, ул. Крайняя, 17
г. Самара, ул. Солнечная, 50
Самарская область, г. Сызрань, ул. Рудная, 2.
Самарская обл., г. Тольятти, б-р Здоровья, 25
Самарская область, г. Кинель-Черкассы, ул. Алферова, 8.
Самарская обл., г. Жигулевск, ул. Никитина, 3
г. Ульяновск, ул. Рылеева, 27
Ульяновская область, Димитровград, ул. Ленина, дом 1Б
Республика Башкортостан, г. Уфа, Проспект Октября, д. 73/1
Россия, г. Чебоксары, ул. Совхозная, 21/1
г. Чебоксары, ул. Энгельса, 24.
Чувашия, Мариинско-Посадский район, с. Октябрьское
Республика Чувашия, г. Чебоксары, просп. Тракторостроителей, 12
г. Астрахань, Кубанская, 1
г. Астрахань, ул. Б. Алексеева, 57
г. Волгоград, Кировский район, ул. Санаторная, 30
Волгоградская обл., г. Камышин, ул. Ташкентская, 1А
Краснодарский край, г. Краснодар, Московская ул., 65
Краснодарский край, Северский район, село Михайловское , ул.Ленина, 52.
г. Ростов-на-Дону, ул. Тракторная, д. 48
Ростовская обл., г. Таганрог, пер. Красный, д.14
Архангельская область, г. Архангельск, ул. 23 Гвардейской Дивизии, 10
г. Великий Новгород, ул. Ломоносова, 27
г. Калининград, ул. Володи Дубинина, д. 24
г. Калининград, ул. Дзержинского, 147
г. Псков, ул. Свердлова, д.20
Петрозаводск, ул. Перттунена, 6
Санкт-Петербург, ул. Бабушкина, д. 56, корп. 3, лит. А.
Лахта, Лахтинский просп., 98
пос. Понтонный, ул. Заводская, д. 36
Санкт-Петербург, Парголово, Ломоносова, 76
г. Санкт-Петербург, Светлановский просп., д.85
Санкт-Петербург, ул. Косинова, д.19
Санкт-Петербург, ул. Гастелло, 21
Санкт-Петербург, наб. реки Фонтанки, 148
г. Санкт-Петербург, ул. Бестужевская, 79
г. Ангарск, ул. Горького, д. 24
ул. Маршала Конева, д.90
г. Иркутск, Куйбышевский район, Рабочее предместье, Ушаковская ул., д. 2
Иркутская область, г. Саянск, мкр. Благовещенский, д. 4
г. Кемерово, ул. Халтурина, 7
г. Кемерово, ул. Чкалова, 1
г. Кемерово, ул. Новогодняя, 1.
Новокузнецк, ул. Дузенко, дом 7
Кемеровская обл., г. Новокузнецк, ул. День Шахтера, 2
г. Прокопьевск, ул. Карьерная 46
г. Красноярск, ул. 40 лет Победы, д. 2, стр. 5
Красноярский край, г. Железногорск, ул. Чапаева, 4-32.
Новосибирская область, Новосибирский район, Кольцово
Новосибирск, ул. Галущака, 9
г. Новосибирск, 2-ой Порядковый переулок, д.10А
г. Омск, просп. Космический, д.99
г. Омск, ул. 21 Амурская, д. 14 Д
Омская область, Кормиловский район, Кормиловка,улица Свердлова, 33.
г. Томск, ул. Мокрушина, 12
Бурятия, г.Улан-Удэ, ул. Пирогова, 32.
Хакасия, с. Белый Яр, ул. Пушкина, 1
г. Екатеринбург, ул. Розы Люксембург, д. 57
г Екатеринбург, ул Серафимы Дерябиной, 32
Свердловская область, г. Каменск-Уральский, пер. Больничный, 6
Курганская область, Кетовский район, с. Садовое, ул. Высоцкого,д. 1А
г. Тюмень, пос. Нефтяников, ул. Магистральная, д.10А
г. Тюмень, ул. Барнаульская, д. 32
г. Челябинск, ул. Горького, 28
г. Челябинск, ул. Горького, 18
г. Челябинск ул. Блюхера, 49
г. Челябинск, ул. 50 лет ВЛКСМ, 3 (юридический), ул. Трудовая,
г. Челябинск, ул. Блюхера, 42-а
г. Сургут, пр. Комсомольский 14/5
г. Хабаровск, Воронежское шоссе, 164
г. Магадан, ул. Нагаевская, д. 40/3
г. Ставрополь, ул. Октябрьская, 182а
г. Минеральные Воды, ул. Кисловодская, 59
Республика Крым, г. Симферополь, ул. Беспалова, 49-а
Республика Крым, г. Симферополь, пр-т Кирова, д. 72/2
Республика Крым, г. Керчь, ул. Орджоникидзе, 66
Республика Крым, Бахчисарайский район п. Куйбышево, Больничная ул., д. 1
Республика Крым, пгт. Джанкой, ул. Совхозная, 3
г. Севастополь, ул. 9-го Января, 40.
г. Донецк ул. Туманяна, 18
г. Киев, ул. Голосеевская, 59-б
г. Киев, ул. Верховинная, 69
Житомирская обл., г. Коростень, ул. Жмаченко, 46
Молдова, г. Тараклия, ул., Вокзальная, 91
Молдова г. Зубрешты
Кишинёв ул. Алексей Матеевич, 46
hospis_addr.txt
(8.77 КБ) 58 скачиваний
Редактор материалов, модератор форума

Ariki
Гуру
Сообщения: 715
Зарегистрирован: 12 янв 2011, 22:40
Проекты: 1
Репутация: 289
Ваше звание:

Re: Открытый слой хосписов

Сообщение Ariki » 03 сен 2015, 12:34

У меня геокодирование "в лоб" через Nominatim дало всего 13 адресов, и то большей частью без номеров домов (каких-то не было в исходных данных, каких-то нет в OSM):
Исходный адрес и результатShow

Код: Выделить всё

Рязанская область, Рыбновский район, с. Пощупово
39.7258309	54.8191637	Пощупово, Рыбновский район, Рязанская область, ЦФО, Россия

Чувашия, Мариинско-Посадский район, с. Октябрьское
47.8139178	55.9057505	Октябрьское, Мариинско-Посадский район, Чувашия, Приволжский федеральный округ, Россия

Краснодарский край, Северский район, село Михайловское , ул.Ленина, 52.
38.491038	45.0027496	улица Ленина, Михайловское, Северский район, Краснодарский край, ЮФО, Россия

Петрозаводск, ул. Перттунена, 6
34.3974036969677	61.78223245	6, улица Перттунена, микрорайон Зарека, Усадьбы, Петрозаводск, Петрозаводский городской округ, Республика Карелия, Северо-Западный федеральный округ, 185005, Россия

Санкт-Петербург, Парголово, Ломоносова, 76
30.2815075808016	60.07915495	Поликлиника №52, 76, улица Ломоносова, 3-е Парголово, Парголово, Выборгский район, Санкт-Петербург, Северо-Западный федеральный округ, 194362, Россия

Санкт-Петербург, ул. Косинова, д.19
30.5900609	59.7484747	улица Косинова, Балканы, Колпино, Колпинский район, Санкт-Петербург, Северо-Западный федеральный округ, 190000, Россия

Санкт-Петербург, ул. Гастелло, 21
30.3346014	59.8570249	21, улица Гастелло, Средняя Рогатка, округ Звёздное, Московский район, Санкт-Петербург, Северо-Западный федеральный округ, 190000, Россия

ул. Маршала Конева, д.90
104.2034748	52.2612166	улица Маршала Конева, Синюшина Гора, Иркутск, городской округ Иркутск, Иркутская область, СФО, 664043, Россия

Новокузнецк, ул. Дузенко, дом 7
87.3472648	53.7965505	улица Дузенко, Орджоникидзевский район, Новокузнецк, Новокузнецкий городской округ, Кемеровская область, СФО, Россия

Новосибирская область, Новосибирский район, Кольцово
83.153437	54.8921646	Кольцово — Академгородок, Барышевский сельсовет, Новосибирский район, Новосибирская область, СФО, Россия

Новосибирск, ул. Галущака, 9
82.9056466797472	55.0519715	9, улица Галущака, Заельцовский район, Новосибирск, городской округ Новосибирск, Новосибирская область, СФО, 630049, Россия

Омская область, Кормиловский район, Кормиловка,улица Свердлова, 33.
74.1018348	55.0055764	улица Свердлова, Кормиловка, Кормиловский район, Омская область, СФО, Россия

Кишинёв ул. Алексей Матеевич, 46
28.8673135	47.1289739	str. Alexei Mateevici, Cricova, Municipiul Chișinău, 2089, Moldova

Ariki
Гуру
Сообщения: 715
Зарегистрирован: 12 янв 2011, 22:40
Проекты: 1
Репутация: 289
Ваше звание:

Re: Открытый слой хосписов

Сообщение Ariki » 03 сен 2015, 14:43

Если из адресов удалить аббревиатуры адресных единиц, результат заметно лучше.

Кстати, немножко координат есть здесь:
data.gov.ru
Качество не проверял.
Вложения
geocode.py
Быдлоскрипт (Python + requests)
(1.1 КБ) 64 скачивания
hospice_geocoded.csv
Результат (разделитель - табуляция)
(28.93 КБ) 60 скачиваний

Александр Мурый
Гуру
Сообщения: 5065
Зарегистрирован: 26 сен 2009, 16:26
Статьи: 3
Проекты: 5/1
Репутация: 721
Ваше звание: званий не имею
Откуда: Москва

Re: Открытый слой хосписов

Сообщение Александр Мурый » 03 сен 2015, 18:57

Доделал csv, выложенный выше, и сделал шейп.
hospice_geocoded2.csv
(35.84 КБ) 56 скачиваний
hospice_geocoded__shp.zip
(12.39 КБ) 55 скачиваний
Что будем делать дальше? :)
Редактор материалов, модератор форума

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 8934
Зарегистрирован: 06 окт 2003, 20:20
Статьи: 231
Проекты: 12/6
Репутация: 663
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Открытый слой хосписов

Сообщение Максим Дубинин » 03 сен 2015, 19:11

ой, если точек 128 то тут наверное проекта то особенно не нужно, просто сесть и вручную их растащить

я думал там тысячи
пристегивайтесь, турбулентность прямо по курсу

Александр Мурый
Гуру
Сообщения: 5065
Зарегистрирован: 26 сен 2009, 16:26
Статьи: 3
Проекты: 5/1
Репутация: 721
Ваше звание: званий не имею
Откуда: Москва

Re: Открытый слой хосписов

Сообщение Александр Мурый » 03 сен 2015, 19:32

Максим Дубинин писал(а):ой, если точек 128 то тут наверное проекта то особенно не нужно, просто сесть и вручную их растащить
О том и я сразу сказал выше по теме. Давайте совместно проверим точки и добавим недостающие атрибуты.
Кстати, вот ещё файл с полными данными с той самой веб-странички (на всякий).
hospis_data.txt
(95.17 КБ) 57 скачиваний
Редактор материалов, модератор форума

Petruxin
Гуру
Сообщения: 1686
Зарегистрирован: 14 июн 2011, 16:47
Статьи: 2
Проекты: 2
Репутация: 132
Ваше звание: Завсегдатай
Откуда: Череповец

Re: Открытый слой хосписов

Сообщение Petruxin » 03 сен 2015, 21:23

Может поделить файл по Федеральным округам да разобрать желающим? Если будут возникать вопросы по качеству OSM стараться на карте дорисовывать.

[ Сообщение с мобильного устройства ]

Александр Мурый
Гуру
Сообщения: 5065
Зарегистрирован: 26 сен 2009, 16:26
Статьи: 3
Проекты: 5/1
Репутация: 721
Ваше звание: званий не имею
Откуда: Москва

Re: Открытый слой хосписов

Сообщение Александр Мурый » 03 сен 2015, 21:40

Petruxin писал(а):Может поделить файл по Федеральным округам да разобрать желающим? Если будут возникать вопросы по качеству OSM стараться на карте дорисовывать.
Может, лучше по частям разобрать? Чтобы нам не дублировать работу. Я вот почти доделал первую 30-ку.
Редактор материалов, модератор форума

Ariki
Гуру
Сообщения: 715
Зарегистрирован: 12 янв 2011, 22:40
Проекты: 1
Репутация: 289
Ваше звание:

Re: Открытый слой хосписов

Сообщение Ariki » 03 сен 2015, 21:48

Я попробую разбить на поля и причесать информацию из hospis_data.txt, потом присоединим к шейпу.

Ответить

Вернуться в «Другие проекты и мероприятия»