Подскажите ПО, способное интерполировать в пределах линейной речной сети
-
- Участник
- Сообщения: 66
- Зарегистрирован: 26 янв 2014, 17:05
- Репутация: 2
Подскажите ПО, способное интерполировать в пределах линейной речной сети
Уважаемые форумчане!
Прошу подсказать программное обеспечение, способное интерполировать (желательно кригингом) гидрохимические и температурные показатели в пределах линейной речной сети.
В речном бассейне есть серия станций, будем снимать гидрохимические и температурные показатели. Так как на одном участке реки берется лишь 1 проба (разрезов не делаем), упростили речную сеть до линий. Нужно интерполировать станционные показатели на всю речную сеть. Стандартные методы интерполяции используют евклидово расстояние, что нас, разумеется, не устраивает. Матрица расстояний должна строиться по линейной речной сети.
К своему удивлению обнаружил, что подобного ПО почти нет (возможно, плохо искал). Единственный вариант:
https://www.fs.fed.us/rm/boise/AWAE/pro ... orks.shtml
Но это ПО далеко не user-friendly и трудоемко в использовании.
Вот пример его использования:
https://community.esri.com/videos/3271
Однако сами ЭСРИвцы отмечают на своем форуме, что это ПО далеко не user-friendly и сделать все в ArcGIS не получится, придется много что доделывать в R.
Спасибо!
Прошу подсказать программное обеспечение, способное интерполировать (желательно кригингом) гидрохимические и температурные показатели в пределах линейной речной сети.
В речном бассейне есть серия станций, будем снимать гидрохимические и температурные показатели. Так как на одном участке реки берется лишь 1 проба (разрезов не делаем), упростили речную сеть до линий. Нужно интерполировать станционные показатели на всю речную сеть. Стандартные методы интерполяции используют евклидово расстояние, что нас, разумеется, не устраивает. Матрица расстояний должна строиться по линейной речной сети.
К своему удивлению обнаружил, что подобного ПО почти нет (возможно, плохо искал). Единственный вариант:
https://www.fs.fed.us/rm/boise/AWAE/pro ... orks.shtml
Но это ПО далеко не user-friendly и трудоемко в использовании.
Вот пример его использования:
https://community.esri.com/videos/3271
Однако сами ЭСРИвцы отмечают на своем форуме, что это ПО далеко не user-friendly и сделать все в ArcGIS не получится, придется много что доделывать в R.
Спасибо!
Последний раз редактировалось gis4ever 05 янв 2020, 09:21, всего редактировалось 1 раз.
-
- Гуру
- Сообщения: 977
- Зарегистрирован: 27 янв 2009, 22:57
- Репутация: 258
Re: Подскажите ПО, способное интерполировать в пределах линейной речной сети
Что мешает построить буфер по линии. Да хоть 1 метр отступить и построить сетку, задающую границы анализа со значением 0. Использовать систему этой сетки для выходного грида.
Рассчитать нужным вам методом. http://www.saga-gis.org/saga_tool_doc/7 ... iging.html
https://www.youtube.com/watch?v=LidtutS5iCY
https://www.youtube.com/watch?v=A-ApJmTBk1I&t=
По полученному в результате интерполяции гриду вычислить значения в узлах линейного слоя гидрографии.
Рассчитать нужным вам методом. http://www.saga-gis.org/saga_tool_doc/7 ... iging.html
https://www.youtube.com/watch?v=LidtutS5iCY
https://www.youtube.com/watch?v=A-ApJmTBk1I&t=
По полученному в результате интерполяции гриду вычислить значения в узлах линейного слоя гидрографии.
-
- Участник
- Сообщения: 66
- Зарегистрирован: 26 янв 2014, 17:05
- Репутация: 2
Re: Подскажите ПО, способное интерполировать в пределах линейной речной сети
Спасибо за ответ.bim2010 писал(а): ↑04 янв 2020, 21:26Что мешает построить буфер по линии. Да хоть 1 метр отступить и построить сетку, задающую границы анализа со значением 0. Использовать систему этой сетки для выходного грида.
Рассчитать нужным вам методом. http://www.saga-gis.org/saga_tool_doc/7 ... iging.html
https://www.youtube.com/watch?v=LidtutS5iCY
https://www.youtube.com/watch?v=A-ApJmTBk1I&t=
По полученному в результате интерполяции гриду вычислить значения в узлах линейного слоя гидрографии.
Поясню, почему ваш вариант решения проблемы не сработает, к сожалению.
Вы предлагаете интерполяцию с использованием евклидовых расстояний, что, как показано в ряде работ, зачастую приводит к ошибкам интерполяции в речных и эстуарных системах, а также в озерах и морях с сильно изрезанной береговой линией.
Например, в статье «Local Polynomials for Data Detrending and Interpolation in the Presence of Barriers», Gribov and Krivoruchko (2010) показано, что интерполяция концентраций растворенных нитритов с помощью евклидова расстояния дает искажения, так как не учитывает реальные траектории миграции элементов в эстуарно-речных системах (см. рисунок 9 в статье):
Со статьей можно ознакомиться по ссылке:
https://yadi.sk/i/gJ-m8F7eWQspxg
Есть много других публикаций, иллюстрирующих ошибки интерполяции с использованием евклидовых расстояний в речных системах. Могу дать ссылки, если требуется.
Авторы этой публикации работают в Esri, еще в 2011 г. они разработали 2 алгоритма интерполяции с барьерами (https://pro.arcgis.com/ru/pro-app/help/ ... -works.htm и https://pro.arcgis.com/ru/pro-app/help/ ... -works.htm), основанных на интерполяции по методу локального полинома.
Я протестировал интерполяцию ядра с барьерами в ArcGIS Desktop, результаты меня не устроили по причине методических ограничений интерполяции по методу локального полинома, лежащей в основе интерполяции с барьерами.
Результаты интерполяции данных с помощью метода сплайна с барьерами (https://desktop.arcgis.com/ru/arcmap/10 ... rriers.htm) тоже не устроили.
К сожалению, ESRI почему-то не реализовала интерполяцию с барьерами на основе кригинга. Это бы решило проблему качественной интерполяции в речных системах с использованием к качестве матрицы расстояний не евклидовых значений, а реальных расстояний по речной сети.
ПО SSN (https://www.fs.fed.us/rm/boise/AWAE/pro ... orks.shtml) проводит интерполяцию кригингом с использованием реальных расстояний по речной сети, но его применение весьма трудоемко и требует экспертных знаний в геостатистике.
Есть еще пакет "ipdw" для R (https://cran.r-project.org/web/packages/ipdw/ipdw.pdf), но это тоже вариант для пользователей R.
Соответственно, ищу более user-friendly вариант ПО.
Да и не один я, вот:
https://gis.stackexchange.com/questions ... 1789#11789
-
- Гуру
- Сообщения: 1018
- Зарегистрирован: 01 авг 2012, 13:55
- Репутация: 241
-
- Участник
- Сообщения: 66
- Зарегистрирован: 26 янв 2014, 17:05
- Репутация: 2
Re: Подскажите ПО, способное интерполировать в пределах линейной речной сети
Спасибо, посмотрю.
Вы случайно не подскажите Mike от DHI или SMS от Aquaveo не решают описанную мной в стартовом посте проблему?
Вы случайно не подскажите Mike от DHI или SMS от Aquaveo не решают описанную мной в стартовом посте проблему?
-
- Гуру
- Сообщения: 977
- Зарегистрирован: 27 янв 2009, 22:57
- Репутация: 258
-
- Гуру
- Сообщения: 977
- Зарегистрирован: 27 янв 2009, 22:57
- Репутация: 258
Re: Подскажите ПО, способное интерполировать в пределах линейной речной сети
gis4ever ранее писал:
Не могли бы Вы озвучить предложенную Вам научным руководителем тему и вашу специальность. Это позволит помочь в какую сторону стоит двигаться. Каково количество гидронимов на исследуемой территории? Каково количество станций?
У меня например, на 146 тыс. гектар территории 250 именованных гидрографических объекта.
Гидропоста - 2. И какая тут может быть интерполяция...
В наиболее удачные сезоны я проводил полевые исследования на 20 озерах и 30 реках.
Чемодан для гидрохимического анализа не беру - закончились реактивы, цена на которые запредельна.
Беру измеритель потенциала Hanna и Hanna кондуктометр/солемер для определения проводимости, солесодержания, общей минерализации и температуры в воде.
Когда делаю батиметрию - вес оборудования и барахла под 50 кг для одного.
Я это к тому, что надо реально смотреть на вещи. Деньги закончатся раньше чем дело дойдет до интерполяции гидрохимических показателей. Тем более, что они(показатели) достаточно сильно меняются по сезонам.
Хочу порекомендовать учебное пособие:
В.А.Шкаликов Описание природных объектов и экологического состояния территорий.
Судя по Вашим вопросам и "хотелкам" типаТерритория района - более миллиона кв. км
В речном бассейне есть серия станций, будем снимать гидрохимические и температурные показатели.
это дипломный проект или аспирантская работа по экологии."создание посредством БПЛА ортофотопланов основной сети рек ряда регионов Дальнего Востока с целью картирования нерестилищ лососей и других рыб."
Не могли бы Вы озвучить предложенную Вам научным руководителем тему и вашу специальность. Это позволит помочь в какую сторону стоит двигаться. Каково количество гидронимов на исследуемой территории? Каково количество станций?
У меня например, на 146 тыс. гектар территории 250 именованных гидрографических объекта.
Гидропоста - 2. И какая тут может быть интерполяция...
В наиболее удачные сезоны я проводил полевые исследования на 20 озерах и 30 реках.
Чемодан для гидрохимического анализа не беру - закончились реактивы, цена на которые запредельна.
Беру измеритель потенциала Hanna и Hanna кондуктометр/солемер для определения проводимости, солесодержания, общей минерализации и температуры в воде.
Когда делаю батиметрию - вес оборудования и барахла под 50 кг для одного.
Я это к тому, что надо реально смотреть на вещи. Деньги закончатся раньше чем дело дойдет до интерполяции гидрохимических показателей. Тем более, что они(показатели) достаточно сильно меняются по сезонам.
Хочу порекомендовать учебное пособие:
В.А.Шкаликов Описание природных объектов и экологического состояния территорий.
Последний раз редактировалось bim2010 05 янв 2020, 16:47, всего редактировалось 2 раза.
-
- Гуру
- Сообщения: 977
- Зарегистрирован: 27 янв 2009, 22:57
- Репутация: 258
Re: Подскажите ПО, способное интерполировать в пределах линейной речной сети
del
Последний раз редактировалось bim2010 05 янв 2020, 16:30, всего редактировалось 1 раз.
-
- Гуру
- Сообщения: 977
- Зарегистрирован: 27 янв 2009, 22:57
- Репутация: 258
Re: Подскажите ПО, способное интерполировать в пределах линейной речной сети
del
Последний раз редактировалось bim2010 05 янв 2020, 16:29, всего редактировалось 1 раз.
-
- Гуру
- Сообщения: 977
- Зарегистрирован: 27 янв 2009, 22:57
- Репутация: 258
-
- Участник
- Сообщения: 66
- Зарегистрирован: 26 янв 2014, 17:05
- Репутация: 2
Re: Подскажите ПО, способное интерполировать в пределах линейной речной сети
Уважаемый bim2010, случайно заминусовал Ваш ответ, не смог убрать.bim2010 писал(а): ↑05 янв 2020, 16:24У меня например, на 146 тыс. гектар территории 250 именованных гидрографических объекта.
Гидропоста - 2. И какая тут может быть интерполяция...
В наиболее удачные сезоны я проводил полевые исследования на 20 озерах и 30 реках.
Чемодан для гидрохимического анализа не беру - закончились реактивы, цена на которые запредельна.
Беру измеритель потенциала Hanna и Hanna кондуктометр/солемер для определения проводимости, солесодержания, общей минерализации и температуры в воде.
Когда делаю батиметрию - вес оборудования и барахла под 50 кг для одного.
Я это к тому, что надо реально смотреть на вещи. Деньги закончатся раньше чем дело дойдет до интерполяции гидрохимических показателей. Тем более, что они(показатели) достаточно сильно меняются по сезонам.
Хочу порекомендовать учебное пособие:
В.А.Шкаликов Описание природных объектов и экологического состояния территорий.
Спасибо за подробные комментарии, рекомендации и здоровый скепсис.
Я уже давно к.б.н.)), работы плановые, рыбохозяйственные, я - один из исполнителей. Гидрохимией планируем заниматься на гораздо меньшем экстенте, нежели БПЛА-картированием. На наиболее значимых для нереста участках. В том числе по экономическим соображениям, озвученным Вами. Но подотчетная территория очень большая, областного масштаба.
Есть планы также работать с архивной информацией Росгидромета. Соберем ее в базу геоданных, обобщим с гидрологами, соотнесем с нашими рыбохозяйственными задачам, определим самые большие бреши, начнем их закрывать.
Отработка качественного метода интерполяции все равно потребуется, в том числе для планирования полевых сборов. В том числе чтобы определиться с оптимальной частотой станций на модельных водоемах.
-
- Гуру
- Сообщения: 4056
- Зарегистрирован: 15 окт 2010, 08:33
- Репутация: 1054
- Ваше звание: программист
- Откуда: Казань
Re: Подскажите ПО, способное интерполировать в пределах линейной речной сети
тем более странно выглядят Ваши затеи, которые по глубине проработки напоминают работы школьного кружка юных натуралистов.
Что касается интерполяции, то прикидка делается достаточно просто - вводится система координат, в которой одна ось направлена по оси реки (например, по фарватеру, или иной характерной точке сечения), а вторая - по перпендикуляру к ней. Поскольку у Вас реки линейные, получится одномерная система координат. Начало системы помещаем в исток, и получаем координаты всех точек на реке, в Арке такая возможность для линейных объектов есть. В этой системе интерполируем значения, и переносим их обратно на реку.
На самом деле это сильное упрощение даже для консервативных примесей или гидрохимии, тем более для рыбы. Чтобы хоть как-то приблизится к реальности для гидрохимии, нужно моделировать течение, поступление всякого разного из притоков и с поверхностным стоком (в первую очередь с полей нашей Родины), разбавление, сорбцию взвесями и донными отложениями, и т.д. А для биоты нужно моделировать биотоп со всеми вытекающими (и втекающими) ...
-
- Участник
- Сообщения: 66
- Зарегистрирован: 26 янв 2014, 17:05
- Репутация: 2
Re: Подскажите ПО, способное интерполировать в пределах линейной речной сети
Коллега, если Вы так жестко будете пинать биологов, которые на голом энтузиазме влазят в ГИС (причем им за это не доплачивают, а отраслевой головной боли у них более чем хватает), то рыбохозяйственная наука от этого уж точно не выиграет.) Поэтому не судите строго с высоты полета математических мыслей.
Я понимаю, что многим математикам потуги биологов в области ГИС кажутся полукомичными. Особенно математикам, которые защитили докторскую по ГИС в биологической проблематике и преподают этим недалеким биологам в ВУЗе.) И да, самые крутые ГИСовщики - это "ИСовщики", то бишь ИТшники и математики, а не географы и не биологи, которые себя ими возомнили.
Во многих отечественных естественнонаучных НИИ про ГИС порой и не слышали. Потому что нет политики и финансов как в NOAA и USGS, которые не только регулярно проводят курсы повышения квалификации сотрудников в рабочее время, но и нанимают в штат профессиональных айтишников с ГИС-уклоном, которые по-математически и профессионально решают задачи для отрасли. А реализация ГИС в российской естественнонаучной среде и поныне выглядит удручающе колхозно.
"Поскольку у Вас реки линейные, получится одномерная система координат. Начало системы помещаем в исток, и получаем координаты всех точек на реке, в Арке такая возможность для линейных объектов есть." - Да, такой принцип реализован в Mike от DHI, HEC-RAS и другом софте для гидрологического моделирования. Но пока ищем решение геостатистическими методами. Тот же кригинг отлично зарекомендовал себя как метод интерполяции в биологических исследованиях. К тому же верифицируемый, что для нас очень важно. Уходить в дебри гидрологического моделирования совсем не хочется, тут бы с базовой геостатистикой разобраться.
Поправлюсь - не все наши водные объекты стоит аппроксимировать линией. Эстуарии, озера, лагуны весьма "полигональны". Например, Криворучко в своей статье (https://yadi.sk/i/gJ-m8F7eWQspxg, рис. 9) показал, что интерполяция ядра с барьерами хорошо подходит для оценки концентрации нитритов в эстуарных участках, имеющих выраженный полигональный характер.
Последний раз редактировалось gis4ever 05 янв 2020, 21:36, всего редактировалось 3 раза.
-
- Участник
- Сообщения: 66
- Зарегистрирован: 26 янв 2014, 17:05
- Репутация: 2
Re: Подскажите ПО, способное интерполировать в пределах линейной речной сети
Согласен, проблема только в том, что толковых математических модельеров в естественнонаучных НИИ раз-два и обчелся. Сильные математики сейчас или в программисты уходят или в банковский сектор, не говоря уже об уезжающих за в места столь отдаленные. Биологи в подавляющем большинстве с задачами такого рода не справятся. Да и нет приборной базы и финансирования для сбора такого спектра параметров. Это сказка не про нас, а про вышеупомянутые NOAA и USGS...gamm писал(а): ↑05 янв 2020, 20:37На самом деле это сильное упрощение даже для консервативных примесей или гидрохимии, тем более для рыбы. Чтобы хоть как-то приблизится к реальности для гидрохимии, нужно моделировать течение, поступление всякого разного из притоков и с поверхностным стоком (в первую очередь с полей нашей Родины), разбавление, сорбцию взвесями и донными отложениями, и т.д. А для биоты нужно моделировать биотоп со всеми вытекающими (и втекающими) ...
-
- Гуру
- Сообщения: 4056
- Зарегистрирован: 15 окт 2010, 08:33
- Репутация: 1054
- Ваше звание: программист
- Откуда: Казань
Re: Подскажите ПО, способное интерполировать в пределах линейной речной сети
с геостатистикой картина сложилась такая: либо нужно делать нормальный анализ (чего у нас никто не делает , поскольку он требует экспертной работы, а не сводится к нажиманию кнопок в соответствии с пошаговой инструкцией), либо применять метод без всякой настройки. В последнем случае лучше всего использовать кригинг с линейной вариограммой (который эквивалентен сплайну), и регулировать сглаживание через nugget-эффект. И руками подбирать модель тренда и дополнительные переменные, что в целом можно сделать, крутя ручки и наблюдая картинки.
P.S. вводя барьеры по берегам, вы создаете примерно ту же систему координат, о которой я говорил - на мелком растре все работает хотя и дольше, но понятнее и лучше управляется. Если точек не сильно много (первые сотни), то можно просто на растре посчитать матрицу расстояний с сопротивлением, сделав дистанционное преобразование от каждой точки, а потом решить систему в любой программе (хоть для кригинга, хоть для RBF). И посчитать прогноз куда нужно. Главное, избегать экстраполяции- лучше самим ставить экспертно данные за границами, чем экстраполировать.
P.S. вводя барьеры по берегам, вы создаете примерно ту же систему координат, о которой я говорил - на мелком растре все работает хотя и дольше, но понятнее и лучше управляется. Если точек не сильно много (первые сотни), то можно просто на растре посчитать матрицу расстояний с сопротивлением, сделав дистанционное преобразование от каждой точки, а потом решить систему в любой программе (хоть для кригинга, хоть для RBF). И посчитать прогноз куда нужно. Главное, избегать экстраполяции- лучше самим ставить экспертно данные за границами, чем экстраполировать.
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 20 гостей