Какой геокодер сможет обработать 55К+ адресов?

Вопросы по нескольким пакетам сразу, или вопросы, которые непонятно к какой ГИС отнести
Ответить
Аватара пользователя
rhot
Гуру
Сообщения: 1727
Зарегистрирован: 25 янв 2011, 17:50
Репутация: 194
Ваше звание: доктор
Откуда: Архангельск

Какой геокодер сможет обработать 55К+ адресов?

Сообщение rhot »

Какой геокодер бесплатно сможет обработать 55К+ адресов в день?
У Google лимит в 2500 запросов/день. У Yandex немного лучше - 25000. Лимит у Nominatim не понятен.
___________(¯`·.¸(¯`·.¸ Scientia potentia est _/ {SILVA}:::{FOSS}:::{GIS} \_ Знание сила ¸.·´¯)¸.·´¯)___________
gamm
Гуру
Сообщения: 4170
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1107
Ваше звание: программист
Откуда: Казань

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение gamm »

плодим ботов с разными IP через VPN и прочие анонимайзеры ... трех ботов достаточно
trir
Гуру
Сообщения: 5355
Зарегистрирован: 09 апр 2010, 19:30
Репутация: 1021
Ваше звание: просто мимо прохожу
Откуда: Ё-бург

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение trir »

Аватара пользователя
rhot
Гуру
Сообщения: 1727
Зарегистрирован: 25 янв 2011, 17:50
Репутация: 194
Ваше звание: доктор
Откуда: Архангельск

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение rhot »

Про костыли типа собственного сервера и ботов я знаю. Контекст вопроса иммено в бесплатном геокодировании 55К адресов/день с наименьшими затратами.

Пока решил с помощью связки Yandex Geocoder API и Nominatim API. Задача решается за 17 часов. 8)
___________(¯`·.¸(¯`·.¸ Scientia potentia est _/ {SILVA}:::{FOSS}:::{GIS} \_ Знание сила ¸.·´¯)¸.·´¯)___________
Аватара пользователя
jerry-maori
Гуру
Сообщения: 585
Зарегистрирован: 22 авг 2012, 17:02
Репутация: 143
Откуда: Нижний Новгород

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение jerry-maori »

у яндекса (и у гугла) вроде ещё в правилах пользования есть лимиты на то, где полученные результаты можно использовать...
freeExec
Гуру
Сообщения: 1195
Зарегистрирован: 23 апр 2011, 10:32
Репутация: 205
Откуда: Ульяновск

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение freeExec »

Нигде, кроме их API, и хранить нельзя. Но кто использует VPN и ботов против технических ограничений, думаете заботят такие формальные ограничения?
Аватара пользователя
jerry-maori
Гуру
Сообщения: 585
Зарегистрирован: 22 авг 2012, 17:02
Репутация: 143
Откуда: Нижний Новгород

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение jerry-maori »

ну и я к тому, что единственное (имхо) технически и юридически верное решение -- своё сервер nominatim ( с учётом того, что единственная "чистая" картооснова -- тот же OSM, решение более чем осмысленное)
тот же postgres в плане тюнинга производительности -- блин поле широчайшее...
по поводу 55к запросов -- ну блин, истансы в облаках как бы не вот сотни нефтей строят.
Аватара пользователя
rhot
Гуру
Сообщения: 1727
Зарегистрирован: 25 янв 2011, 17:50
Репутация: 194
Ваше звание: доктор
Откуда: Архангельск

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение rhot »

jerry-maori писал(а): 08 май 2018, 21:39единственное (имхо) технически и юридически верное решение -- своё сервер nominatim
Ну, или запросы каждые 2 секунды слать через Nominatim.
freeExec писал(а): 08 май 2018, 21:23 Нигде, кроме их API, и хранить нельзя.
Это да, Яндекс только кэшировать до 30 дней разрешает, и то только в особых случаях. Для хранения и обработки данных лучше варианта, чем Nominatim не найти.
___________(¯`·.¸(¯`·.¸ Scientia potentia est _/ {SILVA}:::{FOSS}:::{GIS} \_ Знание сила ¸.·´¯)¸.·´¯)___________
Аватара пользователя
novia
Гуру
Сообщения: 2261
Зарегистрирован: 29 апр 2011, 15:06
Репутация: 489
Откуда: Тель-Авив

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение novia »

rhot писал(а): 07 май 2018, 18:34Какой геокодер бесплатно сможет обработать 55К+ адресов в день?
rhot писал(а): 08 май 2018, 22:31Ну, или запросы каждые 2 секунды слать через Nominatim.
24*3600/2 = 43200 адресов в nominatim в день, если таймаут 2 секунды

опытным путем выяснено, что публичный номинатим банит на сутки после 1500-3000 запросов, если без секундных таймаутов. через сутки бан убирают.

если качество геокодирования по OSM устраивает, проще потратить время на поднятие своего nominatim
rhot писал(а): 07 май 2018, 18:34У Yandex немного лучше - 25000
можно и больше, если осторожно. но, конечно, стоит соблюдать правила использования сервиса, а то прикроют как росреестр
понравилось? жми палец вверх :!:
freeExec
Гуру
Сообщения: 1195
Зарегистрирован: 23 апр 2011, 10:32
Репутация: 205
Откуда: Ульяновск

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение freeExec »

novia писал(а): 10 май 2018, 15:34а то прикроют как росреестр
А у того тоже есть свой геокодер ;)
Аватара пользователя
rhot
Гуру
Сообщения: 1727
Зарегистрирован: 25 янв 2011, 17:50
Репутация: 194
Ваше звание: доктор
Откуда: Архангельск

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение rhot »

freeExec писал(а): 10 май 2018, 15:57А у того тоже есть свой геокодер ;)
А какой у них?
___________(¯`·.¸(¯`·.¸ Scientia potentia est _/ {SILVA}:::{FOSS}:::{GIS} \_ Знание сила ¸.·´¯)¸.·´¯)___________
freeExec
Гуру
Сообщения: 1195
Зарегистрирован: 23 апр 2011, 10:32
Репутация: 205
Откуда: Ульяновск

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение freeExec »

rhot писал(а): 10 май 2018, 16:16А какой у них?
· сервис геокодирования Адреса ГКН © Росреестр 2016;
· сервис геокодирования Адреса OSM © Росреестр 2016, © Участники OpenStreetMap;
· сервис геокодирования Адреса ESRI © esri;
Аватара пользователя
novia
Гуру
Сообщения: 2261
Зарегистрирован: 29 апр 2011, 15:06
Репутация: 489
Откуда: Тель-Авив

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение novia »

novia писал(а): 10 май 2018, 15:34а то прикроют как росреестр
freeExec писал(а): 10 май 2018, 15:57А у того тоже есть свой геокодер
в данном случае я имел в виду защиту от DDOS, водруженную на их сервисы после того, как народ начал массово забирать информацию по ЗУ и прочим объектам
.
понравилось? жми палец вверх :!:
voltusya
Участник
Сообщения: 78
Зарегистрирован: 04 ноя 2014, 18:40
Репутация: 48
Откуда: Санкт-Петербург

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение voltusya »

Попался полезный ресурс на тему выбора геокодера:
https://stevage.github.io/which-geocoder/
Аватара пользователя
rhot
Гуру
Сообщения: 1727
Зарегистрирован: 25 янв 2011, 17:50
Репутация: 194
Ваше звание: доктор
Откуда: Архангельск

Re: Какой геокодер сможет обработать 55К+ адресов?

Сообщение rhot »

voltusya писал(а): 16 май 2018, 08:32Попался полезный ресурс на тему выбора геокодера
Хороший ресурс, спасибо!
___________(¯`·.¸(¯`·.¸ Scientia potentia est _/ {SILVA}:::{FOSS}:::{GIS} \_ Знание сила ¸.·´¯)¸.·´¯)___________
Ответить

Вернуться в «Общий - ПО»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 2 гостя