Какой геокодер сможет обработать 55К+ адресов?

Вопросы по нескольким пакетам сразу, или вопросы, которые непонятно к какой ГИС отнести
Ответить
Аватара пользователя
rhot
Гуру
Сообщения: 1727
Зарегистрирован: 25 янв 2011, 17:50
Репутация: 194
Ваше звание: доктор
Откуда: Архангельск

Какой геокодер сможет обработать 55К+ адресов?

Сообщение rhot » 07 май 2018, 18:34

Какой геокодер бесплатно сможет обработать 55К+ адресов в день?
У Google лимит в 2500 запросов/день. У Yandex немного лучше - 25000. Лимит у Nominatim не понятен.
___________(¯`·.¸(¯`·.¸ Scientia potentia est _/ {SILVA}:::{FOSS}:::{GIS} \_ Знание сила ¸.·´¯)¸.·´¯)___________

gamm
Гуру
Сообщения: 4046
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1050
Ваше звание: программист
Откуда: Казань

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение gamm » 07 май 2018, 18:43

плодим ботов с разными IP через VPN и прочие анонимайзеры ... трех ботов достаточно

trir
Гуру
Сообщения: 5278
Зарегистрирован: 09 апр 2010, 19:30
Репутация: 1013
Ваше звание: просто мимо прохожу
Откуда: Ё-бург

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение trir » 07 май 2018, 20:01


Аватара пользователя
rhot
Гуру
Сообщения: 1727
Зарегистрирован: 25 янв 2011, 17:50
Репутация: 194
Ваше звание: доктор
Откуда: Архангельск

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение rhot » 08 май 2018, 10:19

Про костыли типа собственного сервера и ботов я знаю. Контекст вопроса иммено в бесплатном геокодировании 55К адресов/день с наименьшими затратами.

Пока решил с помощью связки Yandex Geocoder API и Nominatim API. Задача решается за 17 часов. 8)
___________(¯`·.¸(¯`·.¸ Scientia potentia est _/ {SILVA}:::{FOSS}:::{GIS} \_ Знание сила ¸.·´¯)¸.·´¯)___________

Аватара пользователя
jerry-maori
Гуру
Сообщения: 585
Зарегистрирован: 22 авг 2012, 17:02
Репутация: 143
Откуда: Нижний Новгород

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение jerry-maori » 08 май 2018, 20:47

у яндекса (и у гугла) вроде ещё в правилах пользования есть лимиты на то, где полученные результаты можно использовать...

freeExec
Гуру
Сообщения: 1195
Зарегистрирован: 23 апр 2011, 10:32
Репутация: 205
Откуда: Ульяновск

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение freeExec » 08 май 2018, 21:23

Нигде, кроме их API, и хранить нельзя. Но кто использует VPN и ботов против технических ограничений, думаете заботят такие формальные ограничения?

Аватара пользователя
jerry-maori
Гуру
Сообщения: 585
Зарегистрирован: 22 авг 2012, 17:02
Репутация: 143
Откуда: Нижний Новгород

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение jerry-maori » 08 май 2018, 21:39

ну и я к тому, что единственное (имхо) технически и юридически верное решение -- своё сервер nominatim ( с учётом того, что единственная "чистая" картооснова -- тот же OSM, решение более чем осмысленное)
тот же postgres в плане тюнинга производительности -- блин поле широчайшее...
по поводу 55к запросов -- ну блин, истансы в облаках как бы не вот сотни нефтей строят.

Аватара пользователя
rhot
Гуру
Сообщения: 1727
Зарегистрирован: 25 янв 2011, 17:50
Репутация: 194
Ваше звание: доктор
Откуда: Архангельск

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение rhot » 08 май 2018, 22:31

jerry-maori писал(а):
08 май 2018, 21:39
единственное (имхо) технически и юридически верное решение -- своё сервер nominatim
Ну, или запросы каждые 2 секунды слать через Nominatim.
freeExec писал(а):
08 май 2018, 21:23
Нигде, кроме их API, и хранить нельзя.
Это да, Яндекс только кэшировать до 30 дней разрешает, и то только в особых случаях. Для хранения и обработки данных лучше варианта, чем Nominatim не найти.
___________(¯`·.¸(¯`·.¸ Scientia potentia est _/ {SILVA}:::{FOSS}:::{GIS} \_ Знание сила ¸.·´¯)¸.·´¯)___________

Аватара пользователя
novia
Гуру
Сообщения: 2261
Зарегистрирован: 29 апр 2011, 15:06
Репутация: 489
Откуда: Тель-Авив

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение novia » 10 май 2018, 15:34

rhot писал(а):
07 май 2018, 18:34
Какой геокодер бесплатно сможет обработать 55К+ адресов в день?
rhot писал(а):
08 май 2018, 22:31
Ну, или запросы каждые 2 секунды слать через Nominatim.
24*3600/2 = 43200 адресов в nominatim в день, если таймаут 2 секунды

опытным путем выяснено, что публичный номинатим банит на сутки после 1500-3000 запросов, если без секундных таймаутов. через сутки бан убирают.

если качество геокодирования по OSM устраивает, проще потратить время на поднятие своего nominatim
rhot писал(а):
07 май 2018, 18:34
У Yandex немного лучше - 25000
можно и больше, если осторожно. но, конечно, стоит соблюдать правила использования сервиса, а то прикроют как росреестр
понравилось? жми палец вверх :!:

freeExec
Гуру
Сообщения: 1195
Зарегистрирован: 23 апр 2011, 10:32
Репутация: 205
Откуда: Ульяновск

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение freeExec » 10 май 2018, 15:57

novia писал(а):
10 май 2018, 15:34
а то прикроют как росреестр
А у того тоже есть свой геокодер ;)

Аватара пользователя
rhot
Гуру
Сообщения: 1727
Зарегистрирован: 25 янв 2011, 17:50
Репутация: 194
Ваше звание: доктор
Откуда: Архангельск

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение rhot » 10 май 2018, 16:16

freeExec писал(а):
10 май 2018, 15:57
А у того тоже есть свой геокодер ;)
А какой у них?
___________(¯`·.¸(¯`·.¸ Scientia potentia est _/ {SILVA}:::{FOSS}:::{GIS} \_ Знание сила ¸.·´¯)¸.·´¯)___________

freeExec
Гуру
Сообщения: 1195
Зарегистрирован: 23 апр 2011, 10:32
Репутация: 205
Откуда: Ульяновск

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение freeExec » 10 май 2018, 17:15

rhot писал(а):
10 май 2018, 16:16
А какой у них?
· сервис геокодирования Адреса ГКН © Росреестр 2016;
· сервис геокодирования Адреса OSM © Росреестр 2016, © Участники OpenStreetMap;
· сервис геокодирования Адреса ESRI © esri;

Аватара пользователя
novia
Гуру
Сообщения: 2261
Зарегистрирован: 29 апр 2011, 15:06
Репутация: 489
Откуда: Тель-Авив

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение novia » 15 май 2018, 09:56

novia писал(а):
10 май 2018, 15:34
а то прикроют как росреестр
freeExec писал(а):
10 май 2018, 15:57
А у того тоже есть свой геокодер
в данном случае я имел в виду защиту от DDOS, водруженную на их сервисы после того, как народ начал массово забирать информацию по ЗУ и прочим объектам
.
понравилось? жми палец вверх :!:

voltusya
Участник
Сообщения: 78
Зарегистрирован: 04 ноя 2014, 18:40
Репутация: 48
Откуда: Санкт-Петербург

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение voltusya » 16 май 2018, 08:32

Попался полезный ресурс на тему выбора геокодера:
https://stevage.github.io/which-geocoder/

Аватара пользователя
rhot
Гуру
Сообщения: 1727
Зарегистрирован: 25 янв 2011, 17:50
Репутация: 194
Ваше звание: доктор
Откуда: Архангельск

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение rhot » 16 май 2018, 09:58

voltusya писал(а):
16 май 2018, 08:32
Попался полезный ресурс на тему выбора геокодера
Хороший ресурс, спасибо!
___________(¯`·.¸(¯`·.¸ Scientia potentia est _/ {SILVA}:::{FOSS}:::{GIS} \_ Знание сила ¸.·´¯)¸.·´¯)___________

Ответить

Вернуться в «Общий - ПО»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 5 гостей