Помогите найти подходящий источник данных

Вопросы общего характера по ГИС и дистанционному зондированию, не связанные с конкретным ПО.
valerydubrava
Новоприбывший
Сообщения: 7
Зарегистрирован: 13 ноя 2013, 14:41
Репутация: 0

Помогите найти подходящий источник данных

Сообщение valerydubrava » 17 ноя 2013, 19:13

Здравствуйте,

Нужна база со всеми городами мира (в плоть до малых населенных пунктов, типа village и т.п.) и полигонами, которые они занимают. Города с привязками к странам мира, с названиями на русском (по возможности), и обязательно на английском языке.
Цена услуги - второстепенный вопрос, важнее полнота информации.

Пробовал выбрать данные из OSM, но это оказалось слишком дорогой задачей. Вероятно уже есть все данные собранные в БД, или иной формат, более удобный для обработки.

Буду благодарен любому совету.

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9129
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 748
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Помогите найти подходящий источник данных

Сообщение Максим Дубинин » 17 ноя 2013, 21:21

valerydubrava писал(а):Цена услуги - второстепенный вопрос
valerydubrava писал(а):Пробовал выбрать данные из OSM, но это оказалось слишком дорогой задачей
вы определитесь.

И нет, такой базы не существует.
пристегивайтесь, турбулентность прямо по курсу

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: Помогите найти подходящий источник данных

Сообщение ericsson » 17 ноя 2013, 21:55

Яндекс тут недавно попытался себе такое соорудить, перевести топонимы по всему миру (из Навтековских карт) на русский (ничего странного - руководителем направления карт до недавнего времени числилась особа с лингвистическим образованием, РГГУ) используя автоматизированные методы и эвристику. Логично, что получился абсолютный бред, потому что научить машину правилам фонетики можно. А вот научить ее распознавать происхождение собственных имен - пока что нельзя, тем более - силами Яндекса. Скажем, когда в Великобритании перемешаны названия, имеющие английское, валлийское, шотландское и корнуэльское происхождение со своими правилами чтения, и знание административных границ никак не помогает в разборе этих названий, то получается вполне ожидаемая хрень.

Andrey Zhukov
Гуру
Сообщения: 838
Зарегистрирован: 10 дек 2009, 23:24
Репутация: 169
Ваше звание: старик-гисовик
Откуда: Москва
Контактная информация:

Re: Помогите найти подходящий источник данных

Сообщение Andrey Zhukov » 17 ноя 2013, 22:37

ericsson, а ведь еще есть "традиционные" произношения топонимов. Типа Нью-Йорк/Новый Орлеан.

С другой стороны, в данной задаче "русский" - всего лишь опция. Но даже Навтек не сможет представить полную базу населенных пунктов на весь мир. Скорее всего, Африка, Ближний восток и Азия еще нескоро будут покрыты картографической информацией такой подробности.

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: Помогите найти подходящий источник данных

Сообщение ericsson » 17 ноя 2013, 23:15

Ну, конкретно Яндекс устоявшиеся топонимы (какие нашли), видимо, в первую очередь заменяли по таблицам. Еще есть википедия. :)

Подозреваю, что у топикстартера тоже какой-нибудь проект "социального сервиса с геолокацией и танцовщицами", это нынче модно.

Boris
Гуру
Сообщения: 4231
Зарегистрирован: 10 апр 2006, 22:34
Репутация: -344969098
Откуда: Париж

Re: Помогите найти подходящий источник данных

Сообщение Boris » 18 ноя 2013, 00:45

Вопрос проще - сколько денег, сколько времени, каков размер минимального объекта, какие требования к точности, какие требования к полноте, существует ли вариативность по требованиям в зависимости от региона/континента? Как будет проверятся все выше перечисленное?
Если никак, то я через неделю - продам. :wink:
Скажете минимум 10 человек - Россию смело вычеркиваем из этого списка.
---
Рискну заметить, что и кроме Англии, имеющей названия на нескольких весьма различных языках, но имеющих латинские буквы, есть еще и просторы СНГ (а так же Азия, с ее Пекин/Begin(e)/и как оно там на местном - это вообще отдельная синагога), где кириллица может соседствовать с латиницей и местным с трудом кириллизированным алфавитом. Есть и в Европе пара-тройка государственных экзотических языков алфавитов, кроме кириллицы.
Есть Прибалтика с "своими" и устоявшимися русскими "НЕофициальными" названиями.
В той же Франции, в Эльзасе, есть два (как минимум) названия нп: французский / эльзасский (ой! как на немецкий похож...). Иногда бывает и третий, производный от кельтского. В той же Франции соседние города Германии часто называются и пишутся отлично от оригинальных немецких названий нп. Это "проблема" больше похожа на задачи ГРУ ГШ 8) , чем реальной жизни.

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: Помогите найти подходящий источник данных

Сообщение ericsson » 18 ноя 2013, 01:35

Ну раз пошла такая пьянка.. http://forum.openstreetmap.org/viewtopic.php?pid=305736
ГШ (ну не совсем, но почти) в свое время породил сборники иностранных географических названий. Там тоже ржач - на "Генштабовской" карте Великобритании Cambridge назван "Кембридж", а речка Cam, по мосту через которую его и назвали, подписана "Кам".
Про Францию вообще все можно писать диссертацию - там ведь только центральный район, по сути, французский. Идя по провинциям, натыкаемся то на кельтскую Бретань, то на басков, то на каталонцев, то на Савой, уже упомянутую Лотарингию и так далее. Бретонцы вон альтернативный геопортал с картами на национальном языке имеют, поперечно федеральному правительству.

valerydubrava
Новоприбывший
Сообщения: 7
Зарегистрирован: 13 ноя 2013, 14:41
Репутация: 0

Re: Помогите найти подходящий источник данных

Сообщение valerydubrava » 18 ноя 2013, 10:44

Спасибо всем за ответы!
Я не на том сделал фокус, названия - вопрос второстепенный! Для России и стран СНГ на английском конечно не нужно. Для других стран - желательно. Но не это главное. Главное - регионы (занимаемые полигоны, или как их называют?).
Кроме того, "слишком дорого" разбирать карты OSM, я имел ввиду, что тратит время программистов на это - дорого, если есть уже готовые базы.

Аватара пользователя
geodesist.ru
Активный участник
Сообщения: 117
Зарегистрирован: 27 янв 2012, 23:29
Репутация: 14
Откуда: Ижевск

Re: Помогите найти подходящий источник данных

Сообщение geodesist.ru » 18 ноя 2013, 11:59

Оцифруйте карты сами.

Andrey Zhukov
Гуру
Сообщения: 838
Зарегистрирован: 10 дек 2009, 23:24
Репутация: 169
Ваше звание: старик-гисовик
Откуда: Москва
Контактная информация:

Re: Помогите найти подходящий источник данных

Сообщение Andrey Zhukov » 18 ноя 2013, 12:28

geodesist.ru, вот тут тоже хороший вопрос. А какие?

valerydubrava
Новоприбывший
Сообщения: 7
Зарегистрирован: 13 ноя 2013, 14:41
Репутация: 0

Re: Помогите найти подходящий источник данных

Сообщение valerydubrava » 18 ноя 2013, 14:04

geodesist.ru писал(а):Оцифруйте карты сами.
Не такая простая задача: файл со всей картой OSM содержит 1.7 миллиарда строк. Один его обход на сервере занимает порядка 12 часов. И конечно я не располагаю такими ресурсами, чтобы создавать индекс для всех линий и точек. Поэтому для получения конечных точек в виде пар координат необходимо делать еще несколько обходов.. в общем это сравнимо с безумием..
Может есть более удачно скомпанованные форматы? или другие источники?

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9129
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 748
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Помогите найти подходящий источник данных

Сообщение Максим Дубинин » 18 ноя 2013, 14:36

пристегивайтесь, турбулентность прямо по курсу

АлексЮстасу
Гуру
Сообщения: 619
Зарегистрирован: 09 авг 2009, 13:09
Репутация: 67
Ваше звание: топограф, технолог
Откуда: Мааськва

Re: Помогите найти подходящий источник данных

Сообщение АлексЮстасу » 18 ноя 2013, 17:48

В Google Map есть же такие данные на всю Earth. В том числе и с их переводом. Но в виде точек, т.е. без полигонов.
Из него как-то вытащить можно?

Перевод на русский и обратно - "транскрибирование географических названий" - целая, если не специальность, то специализация. В СССР было всего два центра - отдел географических названий в ЦНИИГАиК и нечто такое же при Институте географии АН и Межведомственная комиссия. Но там велись каталоги, справочники, издавались словари, давали консультации и т.п.
Инструкция по транскрибированию - страниц 40, понятных в основном лингвистам и полиглотам.
На советских картах люди "правильностью" (букв. соответствием исторически сложившимся правилам, стандартизацией, хотя, и часто странной с обычной точки зрения) названий занимались серьезно. Про сегодняшние даже "генштабовские" и т.п. карты лучше не думать.

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: Помогите найти подходящий источник данных

Сообщение ericsson » 18 ноя 2013, 20:31

АлексЮстасу, не идеализируйте СССР. Пример про реку Кам и город Кембридж - это советская карта. В то время задача была одна - чтобы в случае чего командиры и штабы одинаковыми топонимами пользовались, а критерий точности транскрипции был, очевидно, довольно гибок.

АлексЮстасу
Гуру
Сообщения: 619
Зарегистрирован: 09 авг 2009, 13:09
Репутация: 67
Ваше звание: топограф, технолог
Откуда: Мааськва

Re: Помогите найти подходящий источник данных

Сообщение АлексЮстасу » 19 ноя 2013, 01:50

В порядке анекдота: "Ке́мбридж (англ. Cambridge, [ˈkeɪmˌbɹɪdʒ], дословно «мост через реку Кам»)...". Цитата из нынешней Википедии. :shock:
В Институте географии АН, оказывается, есть свой геопортал! Может быть и пригодится кому.
(Но как могут современные высокоученнейшие географы (!) делать словарь названий с географической привязкой типа: "город на ЮЗ. Ирана, на вост. берегу р. Шатт-эль-Араб в 50 км от Персидского зал., на границе с Ираком"?! Без всякого признака не то что показать на карте/космоснимке - даже без координат циферками... Но и это еще не все - словарь на букву "К" вообще пуст!).

Ответить

Вернуться в «Общие вопросы»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость