способы и инструменты удаления шумов в точках земли

Вопросы общего характера по ГИС и дистанционному зондированию, не связанные с конкретным ПО.
gamm
Гуру
Сообщения: 4168
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1107
Ваше звание: программист
Откуда: Казань

Re: способы и инструменты удаления шумов в точках земли

Сообщение gamm » 13 фев 2013, 06:36

АлексЮстасу писал(а):Гм... Соответствующий фрагмент ортофото даже выкладывать не буду - там, очевидно, тоже косяки на тех же местах, но уже на фотоизображениях.
цитирую:
Как топограф и дешифровщик как раз знаю, что канавы там есть. Благодаря лазерным точкам.
А теперь появляется стереопара. Опять путаница в показаниях, я же как раз спрашивал, видели вы их или нет
Несмотря на полную неразбериху моих текстов, в этих последних двух фразах Вы выразили мои представления вполне точно, хотя и другими словами. Т.е., очевидно, Вы меня вполне поняли.
нет, совершенно не понял. Я могу только гадать, что вы понимаете под шумами, фильтрацией, и т.д. Нормального определения в виде статистической модели из ваших речей построить невозможно, а без этого обсуждение теряет всякий смысл. Вы хотите иметь программу, которая моделирует ваши представления о том, что такое хорошо и что такое плохо. Т.е. нужна модель не рельефа и его связи с данными лидара, а модель ваших суждений по поводу ваших впечатлений полученных при рассматривании этих данных и результатов их обработки в разных программах. В этом я не силен :D

АлексЮстасу
Гуру
Сообщения: 619
Зарегистрирован: 09 авг 2009, 13:09
Репутация: 67
Ваше звание: топограф, технолог
Откуда: Мааськва

Re: способы и инструменты удаления шумов в точках земли

Сообщение АлексЮстасу » 13 фев 2013, 19:48

gamm писал(а):А теперь появляется стереопара. Опять путаница в показаниях, я же как раз спрашивал, видели вы их или нет
Заметьте, от Вас я не жду понимания различия между стереопарой и ортофото. :D
Да, для тестирования методов и инструментов удаления шумов я специально выбрал почти плоский участок местности, со значительными ровными участками с твердым покрытием и микрорельефом в виде канав. Чтобы степень зашумленности было видно невооруженным глазом, и можно было контролировать процесс их удаления.
Только до демонстрации методов и инструментов мы фактически никак не доберемся.
gamm писал(а):нет, совершенно не понял. Я могу только гадать, что вы понимаете под шумами, фильтрацией, и т.д.
Значит, точно угадали. :D
Под шумами я понимаю здесь остаточные случайные погрешности в точках земли после всех видов предварительной обработки, включая классификацию точек как "земля". Поскольку здесь речь о воздушных данных, то эти погрешности выражаются в первую очередь в разбросе точек "земли" по высоте относительно снимаемой поверхности. Невооруженным глазом этот разброс можно видеть на плоских твердых открытых поверхностях - на асфальтовых, бетонных и т.п. На картинке из первого сообщения влияние шумов видно по чрезвычайной извилистости горизонталей, по большому количеству мелких замкнутых горизонталей (см. желтые).
Под фильтрацией я понимаю здесь "восстановление истинного значения функции (рельефа) по зашумленным данным".
gamm писал(а):Нормального определения в виде статистической модели из ваших речей построить невозможно, а без этого обсуждение теряет всякий смысл.
Я же не требую от математиков отличать стереопары от ортофото, и не принимать канавы за косяк в данных.
Но и от меня диагнозов вроде "статистических моделей", "непрерывен вместе с первой производной" и пр. к сожалению не получить. (Иначе бы я не вопросы здесь задавал, а доклады писал).
Смысл имеет кооперация наших разных видений предмета. Я, образно говоря, могу рассказать, как обстоит дело с "канавами" и пр. топографическими задачами, а Вы мне - как эти "канавы" лучше обработать математически.

gamm
Гуру
Сообщения: 4168
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1107
Ваше звание: программист
Откуда: Казань

Re: способы и инструменты удаления шумов в точках земли

Сообщение gamm » 14 фев 2013, 06:58

АлексЮстасу писал(а):Я же не требую от математиков отличать стереопары от ортофото
а чего требовать, если математики их прекрасно отличают, более того, они их и обрабатывают. А вы просто пользуетесь их трудами в виде программ.

что же касается статистических моделей, то от вас никто не требуют невозможного (их построения). Нужно лишь нормальное словесное описание, из которого эту модель можно построить. Так, искажения для лидара бывают трех типов (по-крупному, не вдаваясь в источники): это истинное значение отражения от рельефа + случайная ошибка (ошибка имеет статистическое распределение, параметры которого могут меняться по территории); значения, полученные отражением не от рельефа; "косяки прибора и метода". Первые нужно отделить от вторых, а третьи просто выкинуть - это разные задачи, решаемые разными методами.

пусть мы точки разделили, теперь для фильтрации ошибки и получения "истинных" отметок рельефа нужны предположения (или знания) о распределении ошибок (виде распределения и его параметрах, например дисперсии и пространственной корреляции для модели гауссовского случайного поля, хотя для радаров она не годится - про лидары не в курсе), а также о "поведении" самого рельефа (насколько резко могут изменяться высоты - ограничение на уклон, он же градиент, возможны ли разрыва, например в виде вертикальных стенок, и т.д.). Все это и образует статистическую модель, из которой выводятся методы обработки. Например, при наличии резких границ типа кромок (с точки зрения математики это разрыв производной) их сначала нужно выделить, и включить в ЦМР как структурные элементы, разделяющие территорию на блоки, имеющие плавное изменение (пределы такого изменения тоже описываются математически) - это самостоятельная задача, со своими методами. Внутри блоков осуществляется фильтрация, параметры фильтров вычисляются из статистической модели (что и написано в упоминавшейся вами статье для одной из простых моделей - неоднородного некореллированного гауссовского поля) - это тоже своя задача, со своими методами, и т.д..

отдельный вопрос - что является результатом, т.е. ЦМР - основных вариантов два, ЦМВ (цифровая матрица высот) на регулярной сетке, в которой теряются структурные элементы (или их "прикладывают" отдельно, как сделано начиная с 7 версии SURFER), либо модель TIN, в которую структурные элементы встроены; у каждого из этих подходов свои недостатки, например TIN не позволяет моделировать кривизну. Есть и и более экзотические варианты, например те же MBA, которые дают непрерывную функцию, но в силу метода порождают артефакты для уклона (он становится излишне "извилистым", с высокочастотными составляющими), и т.д.

резюмируем: разные элементы технологии построения ЦМР реализуются разными методами (и соответственно, программами), решения об их сочетании и последовательности принимает человек; параметры методов определяются для каждого объекта индивидуально. Никакой одной волшебной программы с одной кнопкой, которая все делает сама во всех случаях, создать нельзя, может быть только вариант, который при "усредненных настройках" получит усредненную ЦМР среднего качества, которой геологи/топографы/географы все равно будут недовольны. Сравнивать результаты работы разных программ с непонятными настройками - дело бессмысленное; сравнивать результаты работы разных людей - это сравнивать разных людей, а не программы.

АлексЮстасу
Гуру
Сообщения: 619
Зарегистрирован: 09 авг 2009, 13:09
Репутация: 67
Ваше звание: топограф, технолог
Откуда: Мааськва

Re: способы и инструменты удаления шумов в точках земли

Сообщение АлексЮстасу » 15 фев 2013, 03:56

gamm писал(а):что же касается статистических моделей, то от вас никто не требуют невозможного (их построения). Нужно лишь нормальное словесное описание, из которого эту модель можно построить. Так, искажения для лидара бывают трех типов (по-крупному, не вдаваясь в источники): это истинное значение отражения от рельефа + случайная ошибка (ошибка имеет статистическое распределение, параметры которого могут меняться по территории); значения, полученные отражением не от рельефа; "косяки прибора и метода". Первые нужно отделить от вторых, а третьи просто выкинуть - это разные задачи, решаемые разными методами.
Добавьте сюда еще особенности отражений от разных поверхностей, различные результаты выделения точек земли на различных типах местности (допустим, бОльшая возмущенность под лесами и т.п.) и погрешности уравнивания точек из разных пролетов. Судя по всему, разделить эти типы искажений нет практической возможности. Можно лишь биться вручную, но в типичной ситуации на это нет ни времени, ни людей. Так мне уже давно сказали и специалисты по обработке лазерных точек, и аэросъемщики, и независимые эксперты.
Т.е. именно сумме всего этого и был поставлен диагноз "шум". (Не мной, а в топографии, ДЗЗ и математике очень грамотным человеком).
gamm писал(а):пусть мы точки разделили, теперь для фильтрации ошибки и получения "истинных" отметок рельефа нужны предположения (или знания) о распределении ошибок (виде распределения и его параметрах, например дисперсии и пространственной корреляции для модели гауссовского случайного поля, хотя для радаров она не годится - про лидары не в курсе),
Ээээээ... чё? :D
gamm писал(а):а также о "поведении" самого рельефа (насколько резко могут изменяться высоты - ограничение на уклон, он же градиент, возможны ли разрыва, например в виде вертикальных стенок, и т.д.).
Высоты могут изменяться как угодно. Даже отрицательные могут быть, но о них лучше и не упоминать. :D Представьте, допустим, 500 кв.км горной-предгорной местности с отвесными ущельями, но и плоскими долинами, с разнообразного типа освоенностью территориями, включающими насыпи, выемки и те же подпорные стенки. С плотностью точек земли 1.6 на кв. м. Для масштаба 1:5000. Число точек даже считать не хочется. Достаточно свежий для меня пример. Да пусть бы было и 20 кв. км для 1:2000 с 4-мя точками на кв.м. Естественно, что обрабатывается это все не одним куском :D
И, естественно, что на значительных площадях может встретиться практически любой уклон.
Т.е. выстраивать работу программы на задании пользователем уклонов невозможно.
gamm писал(а):Все это и образует статистическую модель, из которой выводятся методы обработки. Например, при наличии резких границ типа кромок (с точки зрения математики это разрыв производной) их сначала нужно выделить, и включить в ЦМР как структурные элементы, разделяющие территорию на блоки,
Есть шансы выделить эти резкие границы программно? Или неким первым этапом? Или по мере просмотра программой точек? Ручной просмотр и выделение подобных элементов на самых обычных проектах нереальны - воздушное сканирование делается на большие площади. Или ненадежны - что одно и то же, что нереально.
gamm писал(а):имеющие плавное изменение (пределы такого изменения тоже описываются математически) - это самостоятельная задача, со своими методами. Внутри блоков осуществляется фильтрация, параметры фильтров вычисляются из статистической модели (что и написано в упоминавшейся вами статье для одной из простых моделей - неоднородного некореллированного гауссовского поля) - это тоже своя задача, со своими методами, и т.д.
Но разве пафос этой статьи не в "адаптивности" - не в том, что программа сама, без ручного выделения блоков, вычисляет параметры фильтрации в зависимости от состояния точек? И уклонов, конечно.
(Ну нет в статье ничего про предварительное разделение территории на блоки - програма просматривает последовательно точки фрагментами, и вычисляет параметры... Я так прочитал и так понял...).
gamm писал(а):отдельный вопрос - что является результатом, т.е. ЦМР - основных вариантов два, ЦМВ (цифровая матрица высот) на регулярной сетке, в которой теряются структурные элементы (или их "прикладывают" отдельно, как сделано начиная с 7 версии SURFER), либо модель TIN, в которую структурные элементы встроены; у каждого из этих подходов свои недостатки, например TIN не позволяет моделировать кривизну. Есть и и более экзотические варианты, например те же MBA, которые дают непрерывную функцию, но в силу метода порождают артефакты для уклона (он становится излишне "извилистым", с высокочастотными составляющими), и т.д.
В результате нужно получить просто то же множество точек с координатами исходными + внесенные в них поправки в результате учета шумов. Чтобы не добавлять искажений за счет каких бы то ни было еще действий. Потому, что сами точки - до и вне моделирования поверхности - нужны для дешифрирования. Путем непосредственного рассматривания их под различными наклонами, в разрезах и т.п. Дешифрирование тем достовернее, чем ближе точки к оригиналу.
gamm писал(а):резюмируем: разные элементы технологии построения ЦМР реализуются разными методами (и соответственно, программами), решения об их сочетании и последовательности принимает человек; параметры методов определяются для каждого объекта индивидуально. Никакой одной волшебной программы с одной кнопкой, которая все делает сама во всех случаях, создать нельзя, может быть только вариант, который при "усредненных настройках" получит усредненную ЦМР среднего качества, которой геологи/топографы/географы все равно будут недовольны. Сравнивать результаты работы разных программ с непонятными настройками - дело бессмысленное; сравнивать результаты работы разных людей - это сравнивать разных людей, а не программы.
При таком резюме ничего не получится: не будет реальной возможности достоверно определять эти параметры, на эти действия (в реальных проектах) не будет ни времени, ни нужного числа людей.
Я чисто умозрительно не вижу причин, почему программно нельзя оценивать нужные параметры ситуативно - для представительного, но незначительного числа точек единовременно? И как это я понял из статьи про адаптивое сглаживание. И мои знакомые написали года четыре назад программу для фильтрации шумов в лазерных точках с единственным параметром, задаваемым пользователем - средней величиной шумов. А потом сами же начали переписывать ее под определение этой величины из самих точек. С учетом сохранения, подчеркивания резких перегибов рельефа. Но кризис 2008 все порушил...
Да, сравнивать результаты подобных действий - дело тяжелое. Особенно, если нет других достоверных данных - допустим, наземной качественной съемки на представительный фрагмент той же территории. Я ищу подобное совпадение данных уже давно, но увы.... И не раз собирался записать-формализовать критерии оценки, но причины напрягать моськ все не было, т.к. не было, что оценивать. :D

gamm
Гуру
Сообщения: 4168
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1107
Ваше звание: программист
Откуда: Казань

Re: способы и инструменты удаления шумов в точках земли

Сообщение gamm » 15 фев 2013, 05:30

АлексЮстасу писал(а):Судя по всему, разделить эти типы искажений нет практической возможности.
есть, но нужна статистическая модель. Для радаров, например, такие модели есть, там многие аналогичные задачи решаются.
И, естественно, что на значительных площадях может встретиться практически любой уклон. Т.е. выстраивать работу программы на задании пользователем уклонов невозможно.
возможно. Нужно распределение - какие уклоны встречаются с какой частотой, распределение скорости изменения уклонов (градусов на километр), и т.д. Все это вставляется в стат. модель
Есть шансы выделить эти резкие границы программно?
да. Возьмите упоминавшийся ITK, там фильтров хватает - Sobel, Haugh, и т.д. Там и инструкция есть, и GUI для экспериментов.
Но разве пафос этой статьи не в "адаптивности"
не, пафос статьи - в использовании модели неоднородного некоррелированного гауссова поля. Можно использовать GMRF, кригинг, гамма-распределение, ... - пафосу станет еще больше :D
программа сама, без ручного выделения блоков, вычисляет параметры фильтрации в зависимости от состояния точек? И уклонов, конечно.
уклонов там вроде нет, там только среднее считают. Блоков там тоже нет, резкие границы будут сглажены.
мои знакомые написали года четыре назад программу для фильтрации шумов в лазерных точках
если они что-то свое изобретать начали, то наверное зря - вся математика уже написана, а в пакетах типа ITK и OpenCV (открытое ПО, кстати) - уже и реализована.
Последний раз редактировалось gamm 15 фев 2013, 05:46, всего редактировалось 1 раз.

АлексЮстасу
Гуру
Сообщения: 619
Зарегистрирован: 09 авг 2009, 13:09
Репутация: 67
Ваше звание: топограф, технолог
Откуда: Мааськва

Re: способы и инструменты удаления шумов в точках земли

Сообщение АлексЮстасу » 16 фев 2013, 23:46

gamm писал(а):
АлексЮстасу писал(а):Судя по всему, разделить эти типы искажений нет практической возможности.
есть, но нужна статистическая модель. Для радаров, например, такие модели есть, там многие аналогичные задачи решаются.
У меня нет пока оснований не доверять этим многим и независимым друг от друга специалистам, говорившим, что вся возможная систематика в обработанных лазерных точках уже учтена.
gamm писал(а):
И, естественно, что на значительных площадях может встретиться практически любой уклон. Т.е. выстраивать работу программы на задании пользователем уклонов невозможно.
возможно. Нужно распределение - какие уклоны встречаются с какой частотой, распределение скорости изменения уклонов (градусов на километр), и т.д. Все это вставляется в стат. модель
Вы, вообще, это все не потехи ли себя и надо мной ради? Скорость создания такой модели не будет ли сравнима с чисткой точек вручную? А если ее возможно создавать программно, то, значит, в программу для фильтрации шумов можно встроить подобный модуль?
Я действительно не в курсе, что такое "статистическая модель" вообще, и куда ее прикладывать.
Кстати, в первых своих ответах Вы как-то обходились совсем без нее.
Если же такие статистические модели рельефа уже созданы, то какая разница - радарная это съемка или лидарная, или т.п? Рельеф как таковой для них разве разный?
Интуитивно же мне вообще не понятно, зачем нужна статистическая модель о рельефе в целом, если речь идет о шумах. Фильтрация шумов - это вопрос ликвидации разброса соседних, близлежащих точек. Учет уклонов, "распределения скорости изменения уклонов"и т.п. здесь нужен опять-таки локальньй - для исправляемого незначительного числа точек.
В целом же не попробовать ли для начала простое усреднение высот близлежащих точек? Попробовать получить поверхность, проходящую в середине "пирога" из точек? "Пирога", образовавшегося вследствие их разброса вверх-вниз относительно реальной поверхности.
(В общем случае для удаления шумов в лазерных точках, т.е. и для наземного сканирования, поправки нужны не в Z, а в направлении луча сканирования).
gamm писал(а):
Есть шансы выделить эти резкие границы программно?
да. Возьмите упоминавшийся ITK, там фильтров хватает - Sobel, Haugh, и т.д. Там и инструкция есть, и GUI для экспериментов.
gamm писал(а):
программа сама, без ручного выделения блоков, вычисляет параметры фильтрации в зависимости от состояния точек? И уклонов, конечно.
уклонов там вроде нет, там только среднее считают. Блоков там тоже нет, резкие границы будут сглажены.
Значит, в программу фильтрации шумов достаточно добавить еще модуль для выделения блоков ("резких границ"), использующем фильтры ITK?
Нужна ли при этом "статистическая модель"?

АлексЮстасу
Гуру
Сообщения: 619
Зарегистрирован: 09 авг 2009, 13:09
Репутация: 67
Ваше звание: топограф, технолог
Откуда: Мааськва

Re: способы и инструменты удаления шумов в точках земли

Сообщение АлексЮстасу » 11 янв 2015, 16:28

Вычитал здесь на форуме про вейвлет-преобразования, которые используются для удаления шумов.
Например, в http://www.basegroup.ru/library/cleanin ... lications/ на первых трех графиках вдохновляющая картина. Особенно, на первых двух.
Может быть можно было бы приспособить этот вейвлет к удалению шумов в точках рельефа?

Ответить

Вернуться в «Общие вопросы»

Кто сейчас на конференции

Сейчас этот форум просматривают: Semrush [Bot] и 4 гостя