Открытые топографические данные

Получение, новые источники, открытость
Variant
Активный участник
Сообщения: 133
Зарегистрирован: 15 окт 2009, 09:14
Репутация: 42
Откуда: Москва

Открытые топографические данные

Сообщение Variant » 21 апр 2018, 17:20

Хочется разобраться уже наконец с открытыми топографическими данными. Хотя бы понять, существуют ли подобные проекты в принципе, в каком направлении всё движется, чего ждать, в каких проектах самому поучаствовать. А то с основной картографической нагрузкой, маршрутами транспорта, данными о погоде и сейсмичности и даже результатами аэро- и космосъёмок всё более-менее понятно, а здесь – какое-то сплошное белое пятно

Свободные данные по рельефу иногда бывают очень нужны, это факт. Например, планируется поход, хочется проложить маршрут так, чтобы не ходить зря в горку и под горку. Как это сделать? Нужны данные рельефа. Как автоматизировать? – нужна уже не просто картинка с линиями, а матрица высот. Или хотите съездить на Южный Урал, никогда, например, там не были, и хотите выделить все участки с заданным перепадом высот, чтобы был живописный вид, у воды, не меньше чем в километре от строений, но не больше, чем в пятнадцати километрах от дороги или железнодорожной станции. Все условия, кроме рельефа, можно взять из OSM. А что с рельефом? Глобальные модели рельефа тут слишком грубы, нужно что-то принципиально более детальное. Сам рельеф на посмотреть можно взять с дореволюционных/генштабовских карт, но чтобы запускать по нему морфометрический анализ, его надо оцифровать, а оцифровывать целый регион – та ещё работёнка. И возникают всякие мысли про открытые данные, где же они? - но что-то ничего не находится. И что-то уже не первый год. Похоже, пора разобраться, что есть:

1. Региональные и глобальные модели рельефа: SRTM, ASTER GDEM, ETOPO и подобные – очень грубы, непригодны для использования в некоторых областях (SRTM в условиях Севера)

2. Современные военные топографические карты – официально закрыты, т.к. несут всякую специализированную нагрузку – положение точек связи, военных баз и т.п. Для бытовых задач эта нагрузка в общем-то не нужна (хотя лучше бы на её месте стояла отметка «сюда не ходи»), но слоем рельефа военные с общественностью всё равно не делятся. Делятся с топографами, но у тех своя игра:

3. Современные гражданские топографические карты – являются объектами авторского права, произведениями искусства, наравне с художественными полотнами, поэтому охраняются этим самым авторским правом. Не будем же мы осквернять живописные полотна?

4. Архивные топографические карты, перешедшие в общественное достояние, как, например, финские топографические карты севера Ленинградской области. Вроде бы то, что надо, можно взять за основу, на сначала их надо оцифровать, а потом – в обязательном порядке – уточнять, ведь они могут не учитывать существенные изменения территории, произошедшие при строительстве дорог, каналов, водохранилищ и других объектов. То есть материалы вроде как и есть, и для каких-то задач их даже можно использовать, но доверять им полностью нельзя.

5. Открытые данные фотограмметрических работ, наподобие OpenAerialMap. Детальность хороша, но основной конечный продукт – ортофотоплан, чтобы кто-то предлагал модель рельефа, такого не попадалась. Кроме того, с ней будут проблемы: во первых, получаемая высотная модель – это ЦММ, а не ЦМР, все кусты, сараи, деревья надо как-то убирать, во-вторых, надо смотреть, насколько можно верить точкам, по которым её сажали, не может ли быть там существенной систематической погрешности?

6. Открытые данные по рельефу. Собственно замеры, с указанием, чем и как померено. Это было бы идеально. Вроде бы, оборудование в свободной продаже есть, бери и устраивай обмерочные экспедиции. Миллиметровая точность для многих задач и не нужна, обычным геодезическим GPS/ГЛОНАСС-приёмником можно решить почти все бытовые задачи. Хотя бы поставить открытую опорную сеть. Закрытость данных официальной опорной геодезической сети можно компенсировать возможностью фотографировать с нескольких ракурсов (общий вид, макро) точку замера. Если она более-менее стационарна, от неё можно вести измерения оптическим оборудованием, которое в разы дешевле и доступно на вторичном рынке индивидуальным энтузиастам. А может быть, кто-то этим уже занимается? Хотя бы не у нас, а за границей? Но что-то не попадалось такого


Или, может быть, я не с той стороны смотрю, и не нужны для простого человека открытые данные по рельефу кроме как в самой загрублённой форме?

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: Открытые топографические данные

Сообщение ericsson » 21 апр 2018, 21:59

Точные и детальные данные о рельефе сколько-нибудь приличного покрытия в России - секретны.
Спрос на них со стороны частных лиц - также микроскопический (только не надо про пресловутых туристов и велосипедистов).
Думаю, дальше разъяснять особенно не требуется.

Аватара пользователя
Игорь Белов
Гуру
Сообщения: 2227
Зарегистрирован: 04 янв 2011, 22:00
Репутация: 1500
Откуда: Казань

Re: Открытые топографические данные

Сообщение Игорь Белов » 21 апр 2018, 22:15

ericsson писал(а):
21 апр 2018, 21:59
Точные и детальные данные о рельефе сколько-нибудь приличного покрытия в России - секретны.
Ключевое слово TERCOM.
The purpose of computing is insight, not numbers

aspirant-1
Активный участник
Сообщения: 127
Зарегистрирован: 04 май 2012, 21:23
Репутация: 12
Откуда: Пенза

Re: Открытые топографические данные

Сообщение aspirant-1 » 21 апр 2018, 23:27

В прошлом году ходили по Алтаю (район Белухи), в позапрошлом по Тянь-Шаню (район Сары-Джаза). Могу сказать, что рельеф на картах советских читается хорошо, но не в этом дело. Главное - наличие троп, воды, дров. А то какой уклон - это уже дело второе. В любом случае будет нелегко)))) Кстати, в приложении к мобиле Mapsme (без рекламы) можно построить профиль рельефа по SRTM, его вполне хватает, плюс-минус 50 м в гору не так критично, при том, что набирать надо 1000 м. Плановые данные были из OSM (по Алтаю).

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: Открытые топографические данные

Сообщение ericsson » 22 апр 2018, 00:29

aspirant-1 писал(а):
21 апр 2018, 23:27
Кстати, в приложении к мобиле Mapsme (без рекламы) можно построить профиль рельефа по SRTM
Во-первых, это не подходит для создания карт.
Во-вторых, есть более качественные модели, например - загрубленная из коммерческой японская AW3D30.

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: Открытые топографические данные

Сообщение ericsson » 22 апр 2018, 01:12

Игорь Белов писал(а):
21 апр 2018, 22:15
Ключевое слово TERCOM.
Вероятнее всего, те, кто поддерживает эти запреты на основании этого аргумента, не до конца представляют себе как современные военные технологии, так и современные технологии дистанционного зондирования.

Variant
Активный участник
Сообщения: 133
Зарегистрирован: 15 окт 2009, 09:14
Репутация: 42
Откуда: Москва

Re: Открытые топографические данные

Сообщение Variant » 22 апр 2018, 01:38

Игорь Белов писал(а):
21 апр 2018, 22:15
Точные и детальные данные о рельефе сколько-нибудь приличного покрытия в России - секретны.

Ключевое слово TERCOM.
Что касается крылатых ракет и глобальных нападений, то, сдаётся мне, SRTM, ASTER, и прочие DEM уже испортили военным всю их секретность. Ракетам этого более, чем достаточно, а более высокая детальность важна только для всяких путешественников, фотографов и исследователей. Ну, может быть ещё охотников с грибниками. Хуже, чем общедоступные сервисы космоснимков + OSM + Викимапия + SRTM - военным, кажется, уже никто не сделает. Ну, в армиях, где военные могут брать с собой, что захотят - фитнес-браслеты, но это не у нас. А наличие более точных данных о рельефе уже не на что особо не повлияет, оно будет существенно только для ракет, маневрирующих между деревьями.

Отсутствие открытого проекта по сбору высотной информации скорее скрывает от властей факты, насколько точными и обширными массивами данных о рельефе обладают отдельные граждане и организации, и по каким методикам смогли их получить. А то народ сейчас от безысходности осваивает технологии Structure from motion, в том числе, по разнородным фотографиям из Интернета. Оцифровывает и сопоставляет архивные карты из различных источников. Осваивает фотограмметрию. А кто-то уже перемерил опорные пункты триангуляционной сети и может быть даже уравнял их, причём точнее, чем это было сделано в советское время

Секретные карты на то и секретны, что их никто не видел, кроме имеющих допуск. А дореволюционные, например, имеются в широком доступе, используй как хочешь, но их надо оцифровывать и проверять. Политические вопросы тут на самом деле не так сложно урегулировать, например, помогая оцифровывать рельеф соседних и не очень стран, в качестве взаимопомощи и пожелания дальнейших мирных взаимоотношений. Да чего там, народ уже активно этим занимается. Просто не хочется работать на пустом месте или дублировать уже кем-то сделанную работу, вот я и пытаюсь найти какие-то центры кристаллизации. Сообщества, к которым можно было бы присоединиться, на которые можно было бы равняться. Позитивные, адекватные
aspirant-1 писал(а):
21 апр 2018, 23:27
В прошлом году ходили по Алтаю (район Белухи), в позапрошлом по Тянь-Шаню (район Сары-Джаза). Могу сказать, что рельеф на картах советских читается хорошо, но не в этом дело. Главное - наличие троп, воды, дров. А то какой уклон - это уже дело второе. В любом случае будет нелегко)))) Кстати, в приложении к мобиле Mapsme (без рекламы) можно построить профиль рельефа по SRTM, его вполне хватает, плюс-минус 50 м в гору не так критично, при том, что набирать надо 1000 м. Плановые данные были из OSM (по Алтаю).
Для каких-то задач и рельефов SRTM хватает, а для каких-то - совсем не хватает. Кроме того, это ЦММ, а не ЦМР, что, может быть, удобно для всяких крылатых ракет, но не очень удобно для дистанционного изучения ландшафтов. Детальности SRTM вполне достаточно, чтобы смоделировать военное вторжение в любую страну (кроме крайнего Севера и Антарктики), полёт туда ракет, планирование диверсионных операций и прочего, но, к сожалению, совсем не достаточно, чтобы автоматически составить топ-100 озёр изучаемого региона с самыми крутыми берегами, или выявить наиболее вероятные точки выхода скальных пород. А чтобы по местности идти, можно и на бумажке распечатать, или даже от руки ключевые моменты перед выездом в блокнот нанести. Старые технологии никто не отменял

Честно, если бы всё было так просто, что поставь бесплатное приложение без рекламы к мобиле - и никаких проблем больше нет - я бы не спрашивал. А приложение отличное, согласен, много чего умеет. Был бы источник открытых топографических данных высокой детальности - было бы оно ещё полезней

Variant
Активный участник
Сообщения: 133
Зарегистрирован: 15 окт 2009, 09:14
Репутация: 42
Откуда: Москва

Re: Открытые топографические данные

Сообщение Variant » 22 апр 2018, 02:03

А для тех, кто волнуется о безопасности страны, рекомендую для начала посетить сервисы USGS, предлагающие всем желающим все самые лучшие и самые свежие из имеющихся данных по рельефу и ЦММ Америки, без регистрации и СМС, и в векторе, и в растре, и виде облака точек (для данных лазерного сканирования):
https://viewer.nationalmap.gov/basic/
https://nationalmap.gov/3DEP/index.html
Одна беда - это проект не общественный, а государственный (Американский), так что присоединиться к нему так просто нельзя, и он только на Америку. В остальном - одни плюсы. Вот для примера скачал случайный кусочек. Данные-то - отличные, как для себя делали. Изолинии через десять метров, шейпы где попало не разрываются, прописаны все метаданные:
VECTOR_Eaton_KS_7_5_Min_Shape.jpg
VECTOR_Eaton_KS_7_5_Min_Shape.jpg (398.28 КБ) 15978 просмотров
Неужели американские военные не боятся ракет из заморских стран? Или своих туристов?

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: Открытые топографические данные

Сообщение ericsson » 22 апр 2018, 04:28

Я не очень понимаю, кому вы это все доказываете. Да, массовая паранойя - это явление, которое распространено только в отдельных странах. А по поводу коммунизма высотных данных - его нигде нет, и это, в общем, неплохо, потому что тот же OSM (я уж не говорю о таких помойках, как Wikimapia) прекрасно иллюстрирует общее качество непрофессионально собранных данных. Массовый участник таких проектов кроме мусора (если сравнивать с имеющимися общедоступными моделями), собранного своим смартфоном, в общем, ничего предложить не может.

Variant
Активный участник
Сообщения: 133
Зарегистрирован: 15 окт 2009, 09:14
Репутация: 42
Откуда: Москва

Re: Открытые топографические данные

Сообщение Variant » 22 апр 2018, 11:45

ericsson писал(а):
22 апр 2018, 04:28
Я не очень понимаю, кому вы это все доказываете. Да, массовая паранойя - это явление, которое распространено только в отдельных странах. А по поводу коммунизма высотных данных - его нигде нет, и это, в общем, неплохо, потому что тот же OSM (я уж не говорю о таких помойках, как Wikimapia) прекрасно иллюстрирует общее качество непрофессионально собранных данных. Массовый участник таких проектов кроме мусора (если сравнивать с имеющимися общедоступными моделями), собранного своим смартфоном, в общем, ничего предложить не может.
Что тут вообще доказывать? - я только лишь пытаюсь разобраться. Просто у меня самого довольно отстранённый взгляд на все эти вопросы, и я не ожидал, что их обсуждение примет вдруг такой характер. Не хотелось бы уходить от сути вопроса во всякие пускай и интересные, но всё же побочные, как мне кажется, темы. А то так можно и не вернуться. Поэтому поспешил добавить некоторые доводы, которые первоначально казались мне слишком очевидными, но на самом деле, возможно, очевидны далеко не всем, чтобы закрыть эти темы и больше их не смаковать. Массовая паранойя - печальное явление, но обсудили её - и дальше.
А ругать OSM и Викимапию, можно, и наверное, даже нужно, но они позволяют решать такие задачи, которые без них я даже и не знаю, как можно было бы решать. Найдётся общественный проект с открытыми данными по рельефу - надо будет и его поругать: что у них за PR-отдел, если кроме трёх человек никто про их проект не знает, и пришлось его по всему Интернету самим искать, и то не сразу нашёлся! Ещё и сами данные неоднородного качества, и поля метаданных как-то не очень продуманы.

Но вот я не нашёл такого пока. И я даже не могу сказать, что его нет, просто не нашёл.

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: Открытые топографические данные

Сообщение ericsson » 23 апр 2018, 02:12

Variant, все тут все прекрасно понимают, так что "доводы" были, в общем, ни к чему совершенно.
По поводу "ругать" - и в мыслях не было, однако, раз идет обсуждение возможности использовать те или иные данные, объективное указание на их недостатки (даже если оно выражено в форме такого термина, как "помойка", которого они, в данном случае, совершенно заслуживают по причине нулевого качества).
И, повторюсь: нет в природе того, что вы хотите, и в большой степени это просто невозможно, потому что качественные данные о высотах и общественный проект - вещи, на данном этапе развития техники, практически взаимоисключающие.

Аватара пользователя
t[0]p
Участник
Сообщения: 93
Зарегистрирован: 15 ноя 2014, 14:35
Репутация: 7
Откуда: Томск

Re: Открытые топографические данные

Сообщение t[0]p » 23 апр 2018, 07:14

ericsson писал(а):
22 апр 2018, 04:28
OSM (я уж не говорю о таких помойках, как Wikimapia) прекрасно иллюстрирует общее качество непрофессионально собранных данных.
Немного офтопа - а можно мне в ЛС написать, для целей самообразования исключительно, что конкретно иллюстрирует подобное качество?

П.С. Ни какого отношения к осм не имею =)

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: Открытые топографические данные

Сообщение ericsson » 23 апр 2018, 08:12

t[0 писал(а):p post_id=163227 time=1524456879 user_id=17314]Немного офтопа - а можно мне в ЛС написать, для целей самообразования исключительно, что конкретно иллюстрирует подобное качество?
Не вижу ни малейшего оффтопа, потому что вопрос относится к способности crowdsource-сервиса собирать пространственные данные, включая данные о высотах.

Wikimapia - это вообще проект весьма анархический, где все держится на текстовых описаниях, а структурированная семантика есть только в форме рубрик. Данные никакую метаинформацию не несут, берутся из каких угодно источников (включая фантазию).
OSM - немного лучше, но посмотрите на то, на что похожа тамошняя база треков, снятых смартфонами, часами, автонавигаторами с функцией прилипания к карте (то есть, это трассировка коммерческой карты силами отдельно взятого навигатора или приложения). Эффективных механизмов фильтрации этого мусора не существует, а если бы они были, то остались бы единицы процентов треков (ну кто в 2018-м году реально пишет треки не смартфоном или часами?). Что касается высот - например, в Российском сообществе OSM точно меньше десяти (а может и пяти) человек понимают разницу между, например, Балтийской системой высот и высотами над эллипсоидом WGS84. При этом у множества индивидуумов свербит переколоть значение с "генштабовской" карты, потому что "факты копирайтом не охраняются". Теперь вы скажите мне, откуда возьмутся качественные высотные данные при таком фундаменте. Из воздуха или стараниями пары человек, которые владеют необходимыми знаниями, они взяться не могут.

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: Открытые топографические данные

Сообщение ericsson » 23 апр 2018, 08:14

t[0]p, загляните в соседнюю тему viewtopic.php?f=1&t=24172 - вот там топикстартер представляет средний уровень понимания вопроса участниками crowdsource-проектов.

geouser
Активный участник
Сообщения: 146
Зарегистрирован: 02 июн 2015, 10:32
Репутация: 53
Откуда: Москва

Re: Открытые топографические данные

Сообщение geouser » 23 апр 2018, 11:23

Топографической информацией и рельефом в том числе занимается государство, от слова настоящее государство. Это системная вещь, и я это объясняю на работе. Конкретная деревня в OSM может быть вылизана до дома, если там кто-то проехал на машине или ездит. OSM это там где есть люди и наверное где есть спрос? Болота в Сибири может и должно картировать только государство.

И советское государство это делало. Потом эти карты плохо обновляются, местность наверное неактуальна, их нельзя официально скачать - таков мой личный опыт. В общем мы отстали от мира, постоянно чего-то боимся и прячем голову в песок. Как мирно закончил свои дни Советский Союз, кажется все уже забыли. Он был просто смятён с лица земли историей, как неадекватное общественное образование.

Помнится, недавно легально скачал 25-тысячную топооснову по Норвегии с их сайта, архив в сотни мегабайт. Не в той стране живёте, топикстартер, не в той. :D

Высоты, в виде гридов-растров, есть в разных проектах, к северу от 60-й параллели (север) и наоборот южнее. Помню, что южнее Москвы разглядывал детальные овраги. Все проекты разумеется западные.

На ex-советских топоосновах есть изолинии в виде линий. Для анализа например ничего, но заливку цветом на них не сделаешь, нужно вначале превращать в полигоны, а линии не все замкнуты. Максимальная детальность подобных рельефов - миллионный масштаб и грубее. Топооснова ВСЕГЕИ - там 2,5-миллионные изолинии. Я говорю про то, что официально скачивается в Интернете с сайтов правообладателей, а не "геопорталы" топокарт на narod.ru.

Ответить

Вернуться в «Данные»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 6 гостей