Подскажите ПО, способное интерполировать в пределах линейной речной сети

Вопросы по нескольким пакетам сразу, или вопросы, которые непонятно к какой ГИС отнести
gis4ever
Участник
Сообщения: 66
Зарегистрирован: 26 янв 2014, 17:05
Репутация: 2

Подскажите ПО, способное интерполировать в пределах линейной речной сети

Сообщение gis4ever » 03 янв 2020, 20:07

Уважаемые форумчане!

Прошу подсказать программное обеспечение, способное интерполировать (желательно кригингом) гидрохимические и температурные показатели в пределах линейной речной сети.

В речном бассейне есть серия станций, будем снимать гидрохимические и температурные показатели. Так как на одном участке реки берется лишь 1 проба (разрезов не делаем), упростили речную сеть до линий. Нужно интерполировать станционные показатели на всю речную сеть. Стандартные методы интерполяции используют евклидово расстояние, что нас, разумеется, не устраивает. Матрица расстояний должна строиться по линейной речной сети.

К своему удивлению обнаружил, что подобного ПО почти нет (возможно, плохо искал). Единственный вариант:
https://www.fs.fed.us/rm/boise/AWAE/pro ... orks.shtml
Но это ПО далеко не user-friendly и трудоемко в использовании.
Вот пример его использования:
https://community.esri.com/videos/3271
Однако сами ЭСРИвцы отмечают на своем форуме, что это ПО далеко не user-friendly и сделать все в ArcGIS не получится, придется много что доделывать в R.

Спасибо!
Последний раз редактировалось gis4ever 05 янв 2020, 09:21, всего редактировалось 1 раз.

bim2010
Гуру
Сообщения: 977
Зарегистрирован: 27 янв 2009, 22:57
Репутация: 258

Re: Подскажите ПО, способное интерполировать в пределах линейной речной сети

Сообщение bim2010 » 04 янв 2020, 21:26

Что мешает построить буфер по линии. Да хоть 1 метр отступить и построить сетку, задающую границы анализа со значением 0. Использовать систему этой сетки для выходного грида.
Рассчитать нужным вам методом. http://www.saga-gis.org/saga_tool_doc/7 ... iging.html
https://www.youtube.com/watch?v=LidtutS5iCY
https://www.youtube.com/watch?v=A-ApJmTBk1I&t=
По полученному в результате интерполяции гриду вычислить значения в узлах линейного слоя гидрографии.

gis4ever
Участник
Сообщения: 66
Зарегистрирован: 26 янв 2014, 17:05
Репутация: 2

Re: Подскажите ПО, способное интерполировать в пределах линейной речной сети

Сообщение gis4ever » 05 янв 2020, 08:20

bim2010 писал(а):
04 янв 2020, 21:26
Что мешает построить буфер по линии. Да хоть 1 метр отступить и построить сетку, задающую границы анализа со значением 0. Использовать систему этой сетки для выходного грида.
Рассчитать нужным вам методом. http://www.saga-gis.org/saga_tool_doc/7 ... iging.html
https://www.youtube.com/watch?v=LidtutS5iCY
https://www.youtube.com/watch?v=A-ApJmTBk1I&t=
По полученному в результате интерполяции гриду вычислить значения в узлах линейного слоя гидрографии.
Спасибо за ответ.

Поясню, почему ваш вариант решения проблемы не сработает, к сожалению.

Вы предлагаете интерполяцию с использованием евклидовых расстояний, что, как показано в ряде работ, зачастую приводит к ошибкам интерполяции в речных и эстуарных системах, а также в озерах и морях с сильно изрезанной береговой линией.
Например, в статье «Local Polynomials for Data Detrending and Interpolation in the Presence of Barriers», Gribov and Krivoruchko (2010) показано, что интерполяция концентраций растворенных нитритов с помощью евклидова расстояния дает искажения, так как не учитывает реальные траектории миграции элементов в эстуарно-речных системах (см. рисунок 9 в статье):
Со статьей можно ознакомиться по ссылке:
https://yadi.sk/i/gJ-m8F7eWQspxg
Есть много других публикаций, иллюстрирующих ошибки интерполяции с использованием евклидовых расстояний в речных системах. Могу дать ссылки, если требуется.

Авторы этой публикации работают в Esri, еще в 2011 г. они разработали 2 алгоритма интерполяции с барьерами (https://pro.arcgis.com/ru/pro-app/help/ ... -works.htm и https://pro.arcgis.com/ru/pro-app/help/ ... -works.htm), основанных на интерполяции по методу локального полинома.

Я протестировал интерполяцию ядра с барьерами в ArcGIS Desktop, результаты меня не устроили по причине методических ограничений интерполяции по методу локального полинома, лежащей в основе интерполяции с барьерами.
Результаты интерполяции данных с помощью метода сплайна с барьерами (https://desktop.arcgis.com/ru/arcmap/10 ... rriers.htm) тоже не устроили.

К сожалению, ESRI почему-то не реализовала интерполяцию с барьерами на основе кригинга. Это бы решило проблему качественной интерполяции в речных системах с использованием к качестве матрицы расстояний не евклидовых значений, а реальных расстояний по речной сети.

ПО SSN (https://www.fs.fed.us/rm/boise/AWAE/pro ... orks.shtml) проводит интерполяцию кригингом с использованием реальных расстояний по речной сети, но его применение весьма трудоемко и требует экспертных знаний в геостатистике.
Есть еще пакет "ipdw" для R (https://cran.r-project.org/web/packages/ipdw/ipdw.pdf), но это тоже вариант для пользователей R.

Соответственно, ищу более user-friendly вариант ПО.
Да и не один я, вот:
https://gis.stackexchange.com/questions ... 1789#11789


gis4ever
Участник
Сообщения: 66
Зарегистрирован: 26 янв 2014, 17:05
Репутация: 2

Re: Подскажите ПО, способное интерполировать в пределах линейной речной сети

Сообщение gis4ever » 05 янв 2020, 14:11

Спасибо, посмотрю.
Вы случайно не подскажите Mike от DHI или SMS от Aquaveo не решают описанную мной в стартовом посте проблему?


bim2010
Гуру
Сообщения: 977
Зарегистрирован: 27 янв 2009, 22:57
Репутация: 258

Re: Подскажите ПО, способное интерполировать в пределах линейной речной сети

Сообщение bim2010 » 05 янв 2020, 16:24

gis4ever ранее писал:
Территория района - более миллиона кв. км
В речном бассейне есть серия станций, будем снимать гидрохимические и температурные показатели.
Судя по Вашим вопросам и "хотелкам" типа
"создание посредством БПЛА ортофотопланов основной сети рек ряда регионов Дальнего Востока с целью картирования нерестилищ лососей и других рыб."
это дипломный проект или аспирантская работа по экологии.
Не могли бы Вы озвучить предложенную Вам научным руководителем тему и вашу специальность. Это позволит помочь в какую сторону стоит двигаться. Каково количество гидронимов на исследуемой территории? Каково количество станций?
У меня например, на 146 тыс. гектар территории 250 именованных гидрографических объекта.
Гидропоста - 2. И какая тут может быть интерполяция...
В наиболее удачные сезоны я проводил полевые исследования на 20 озерах и 30 реках.
Чемодан для гидрохимического анализа не беру - закончились реактивы, цена на которые запредельна.
Беру измеритель потенциала Hanna и Hanna кондуктометр/солемер для определения проводимости, солесодержания, общей минерализации и температуры в воде.
Когда делаю батиметрию - вес оборудования и барахла под 50 кг для одного.
Я это к тому, что надо реально смотреть на вещи. Деньги закончатся раньше чем дело дойдет до интерполяции гидрохимических показателей. Тем более, что они(показатели) достаточно сильно меняются по сезонам.
Хочу порекомендовать учебное пособие:
В.А.Шкаликов Описание природных объектов и экологического состояния территорий.
Последний раз редактировалось bim2010 05 янв 2020, 16:47, всего редактировалось 2 раза.

bim2010
Гуру
Сообщения: 977
Зарегистрирован: 27 янв 2009, 22:57
Репутация: 258

Re: Подскажите ПО, способное интерполировать в пределах линейной речной сети

Сообщение bim2010 » 05 янв 2020, 16:25

del
Последний раз редактировалось bim2010 05 янв 2020, 16:30, всего редактировалось 1 раз.

bim2010
Гуру
Сообщения: 977
Зарегистрирован: 27 янв 2009, 22:57
Репутация: 258

Re: Подскажите ПО, способное интерполировать в пределах линейной речной сети

Сообщение bim2010 » 05 янв 2020, 16:26

del
Последний раз редактировалось bim2010 05 янв 2020, 16:29, всего редактировалось 1 раз.


gis4ever
Участник
Сообщения: 66
Зарегистрирован: 26 янв 2014, 17:05
Репутация: 2

Re: Подскажите ПО, способное интерполировать в пределах линейной речной сети

Сообщение gis4ever » 05 янв 2020, 19:22

bim2010 писал(а):
05 янв 2020, 16:24
У меня например, на 146 тыс. гектар территории 250 именованных гидрографических объекта.
Гидропоста - 2. И какая тут может быть интерполяция...
В наиболее удачные сезоны я проводил полевые исследования на 20 озерах и 30 реках.
Чемодан для гидрохимического анализа не беру - закончились реактивы, цена на которые запредельна.
Беру измеритель потенциала Hanna и Hanna кондуктометр/солемер для определения проводимости, солесодержания, общей минерализации и температуры в воде.
Когда делаю батиметрию - вес оборудования и барахла под 50 кг для одного.
Я это к тому, что надо реально смотреть на вещи. Деньги закончатся раньше чем дело дойдет до интерполяции гидрохимических показателей. Тем более, что они(показатели) достаточно сильно меняются по сезонам.
Хочу порекомендовать учебное пособие:
В.А.Шкаликов Описание природных объектов и экологического состояния территорий.
Уважаемый bim2010, случайно заминусовал Ваш ответ, не смог убрать.

Спасибо за подробные комментарии, рекомендации и здоровый скепсис.
Я уже давно к.б.н.)), работы плановые, рыбохозяйственные, я - один из исполнителей. Гидрохимией планируем заниматься на гораздо меньшем экстенте, нежели БПЛА-картированием. На наиболее значимых для нереста участках. В том числе по экономическим соображениям, озвученным Вами. Но подотчетная территория очень большая, областного масштаба.
Есть планы также работать с архивной информацией Росгидромета. Соберем ее в базу геоданных, обобщим с гидрологами, соотнесем с нашими рыбохозяйственными задачам, определим самые большие бреши, начнем их закрывать.

Отработка качественного метода интерполяции все равно потребуется, в том числе для планирования полевых сборов. В том числе чтобы определиться с оптимальной частотой станций на модельных водоемах.

gamm
Гуру
Сообщения: 4056
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1054
Ваше звание: программист
Откуда: Казань

Re: Подскажите ПО, способное интерполировать в пределах линейной речной сети

Сообщение gamm » 05 янв 2020, 20:37

gis4ever писал(а):
05 янв 2020, 19:22
работы плановые, рыбохозяйственные, я - один из исполнителей.
тем более странно выглядят Ваши затеи, которые по глубине проработки напоминают работы школьного кружка юных натуралистов.

Что касается интерполяции, то прикидка делается достаточно просто - вводится система координат, в которой одна ось направлена по оси реки (например, по фарватеру, или иной характерной точке сечения), а вторая - по перпендикуляру к ней. Поскольку у Вас реки линейные, получится одномерная система координат. Начало системы помещаем в исток, и получаем координаты всех точек на реке, в Арке такая возможность для линейных объектов есть. В этой системе интерполируем значения, и переносим их обратно на реку.

На самом деле это сильное упрощение даже для консервативных примесей или гидрохимии, тем более для рыбы. Чтобы хоть как-то приблизится к реальности для гидрохимии, нужно моделировать течение, поступление всякого разного из притоков и с поверхностным стоком (в первую очередь с полей нашей Родины), разбавление, сорбцию взвесями и донными отложениями, и т.д. А для биоты нужно моделировать биотоп со всеми вытекающими (и втекающими) ...

gis4ever
Участник
Сообщения: 66
Зарегистрирован: 26 янв 2014, 17:05
Репутация: 2

Re: Подскажите ПО, способное интерполировать в пределах линейной речной сети

Сообщение gis4ever » 05 янв 2020, 21:25

gamm писал(а):
05 янв 2020, 20:37
тем более странно выглядят Ваши затеи, которые по глубине проработки напоминают работы школьного кружка юных натуралистов.
Коллега, если Вы так жестко будете пинать биологов, которые на голом энтузиазме влазят в ГИС (причем им за это не доплачивают, а отраслевой головной боли у них более чем хватает), то рыбохозяйственная наука от этого уж точно не выиграет.) Поэтому не судите строго с высоты полета математических мыслей.

Я понимаю, что многим математикам потуги биологов в области ГИС кажутся полукомичными. Особенно математикам, которые защитили докторскую по ГИС в биологической проблематике и преподают этим недалеким биологам в ВУЗе.) И да, самые крутые ГИСовщики - это "ИСовщики", то бишь ИТшники и математики, а не географы и не биологи, которые себя ими возомнили.

Во многих отечественных естественнонаучных НИИ про ГИС порой и не слышали. Потому что нет политики и финансов как в NOAA и USGS, которые не только регулярно проводят курсы повышения квалификации сотрудников в рабочее время, но и нанимают в штат профессиональных айтишников с ГИС-уклоном, которые по-математически и профессионально решают задачи для отрасли. А реализация ГИС в российской естественнонаучной среде и поныне выглядит удручающе колхозно.

"Поскольку у Вас реки линейные, получится одномерная система координат. Начало системы помещаем в исток, и получаем координаты всех точек на реке, в Арке такая возможность для линейных объектов есть." - Да, такой принцип реализован в Mike от DHI, HEC-RAS и другом софте для гидрологического моделирования. Но пока ищем решение геостатистическими методами. Тот же кригинг отлично зарекомендовал себя как метод интерполяции в биологических исследованиях. К тому же верифицируемый, что для нас очень важно. Уходить в дебри гидрологического моделирования совсем не хочется, тут бы с базовой геостатистикой разобраться.

Поправлюсь - не все наши водные объекты стоит аппроксимировать линией. Эстуарии, озера, лагуны весьма "полигональны". Например, Криворучко в своей статье (https://yadi.sk/i/gJ-m8F7eWQspxg, рис. 9) показал, что интерполяция ядра с барьерами хорошо подходит для оценки концентрации нитритов в эстуарных участках, имеющих выраженный полигональный характер.
Последний раз редактировалось gis4ever 05 янв 2020, 21:36, всего редактировалось 3 раза.

gis4ever
Участник
Сообщения: 66
Зарегистрирован: 26 янв 2014, 17:05
Репутация: 2

Re: Подскажите ПО, способное интерполировать в пределах линейной речной сети

Сообщение gis4ever » 05 янв 2020, 21:30

gamm писал(а):
05 янв 2020, 20:37
На самом деле это сильное упрощение даже для консервативных примесей или гидрохимии, тем более для рыбы. Чтобы хоть как-то приблизится к реальности для гидрохимии, нужно моделировать течение, поступление всякого разного из притоков и с поверхностным стоком (в первую очередь с полей нашей Родины), разбавление, сорбцию взвесями и донными отложениями, и т.д. А для биоты нужно моделировать биотоп со всеми вытекающими (и втекающими) ...
Согласен, проблема только в том, что толковых математических модельеров в естественнонаучных НИИ раз-два и обчелся. Сильные математики сейчас или в программисты уходят или в банковский сектор, не говоря уже об уезжающих за в места столь отдаленные. Биологи в подавляющем большинстве с задачами такого рода не справятся. Да и нет приборной базы и финансирования для сбора такого спектра параметров. Это сказка не про нас, а про вышеупомянутые NOAA и USGS...

gamm
Гуру
Сообщения: 4056
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1054
Ваше звание: программист
Откуда: Казань

Re: Подскажите ПО, способное интерполировать в пределах линейной речной сети

Сообщение gamm » 05 янв 2020, 22:25

с геостатистикой картина сложилась такая: либо нужно делать нормальный анализ (чего у нас никто не делает , поскольку он требует экспертной работы, а не сводится к нажиманию кнопок в соответствии с пошаговой инструкцией), либо применять метод без всякой настройки. В последнем случае лучше всего использовать кригинг с линейной вариограммой (который эквивалентен сплайну), и регулировать сглаживание через nugget-эффект. И руками подбирать модель тренда и дополнительные переменные, что в целом можно сделать, крутя ручки и наблюдая картинки.

P.S. вводя барьеры по берегам, вы создаете примерно ту же систему координат, о которой я говорил - на мелком растре все работает хотя и дольше, но понятнее и лучше управляется. Если точек не сильно много (первые сотни), то можно просто на растре посчитать матрицу расстояний с сопротивлением, сделав дистанционное преобразование от каждой точки, а потом решить систему в любой программе (хоть для кригинга, хоть для RBF). И посчитать прогноз куда нужно. Главное, избегать экстраполяции- лучше самим ставить экспертно данные за границами, чем экстраполировать.

Ответить

Вернуться в «Общий - ПО»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 17 гостей