способы и инструменты удаления шумов в точках земли

Вопросы общего характера по ГИС и дистанционному зондированию, не связанные с конкретным ПО.
АлексЮстасу
Гуру
Сообщения: 619
Зарегистрирован: 09 авг 2009, 13:09
Репутация: 67
Ваше звание: топограф, технолог
Откуда: Мааськва

способы и инструменты удаления шумов в точках земли

Сообщение АлексЮстасу » 07 фев 2013, 15:17

Предлагаю сравнить результаты удаления шумов в точках земли разными способами и инструментами на конкретном множестве высотных точек.
Т.е. предлагаю опубликовать здесь результаты обработки шумов соответствующими программами (теми, у кого они есть :D ) для одного конкретного множества точек земли. Чтобы можно было оценить и сравнить результаты работы разных программ, разных алгоритмов.

Специально выбрал фрагмент с почти плоской территорией, т.к. на малых уклонах шумы в точках земли проявляются сильнее, и с ними труднее бороться. Точки расположены нерегулярно, получены из данных воздушного лазерного сканирования. Не "вылизаны" вручную, т.е. совершенно реалистичны.
Точки в виде LAS-файла 1.2 или текстового файла XYZ через пробелы.
123835 точек. В реальности же нужно обрабатывать массивы хотя бы по 8-10 млн точек.
Лазерное сканирование производилось для масштаба 1:2000, для средней допустимой погрешности по высоте 0.17 м.
На выходе - это же множество точек (в смысле - положение в плане точек может изменяться, но только за счет поправок за шумы, если они вдруг вносятся во все три координаты, а не только в Z), но с удаленными шумами.
Форматы - те же или настолько же общедоступные.
Горизонтали_исходные_сглаженные_точки.png
Горизонтали_исходные_сглаженные_точки.png (100.84 КБ) 12290 просмотров
На изображении результат "удаления шумов" в точках инструментом Terrascan, не предназначенным для собственно удаления шумов.
У меня самого, к сожалению, еще никаких специальных инструментов для удаления шумов в точках земли нет, вот и хотелось бы выбрать. Или писать специальную программу самим?
Вложения
Удаление_шумов.7z
(1.78 МБ) 492 скачивания
Последний раз редактировалось АлексЮстасу 11 фев 2013, 15:37, всего редактировалось 3 раза.

Аватара пользователя
rhot
Гуру
Сообщения: 1727
Зарегистрирован: 25 янв 2011, 17:50
Репутация: 194
Ваше звание: доктор
Откуда: Архангельск

Re: способы и инструменты удаления шумов в ЦМР

Сообщение rhot » 07 фев 2013, 15:37

Не могли бы вы выложить данные в более свободном формате, чем детище Рошала?
___________(¯`·.¸(¯`·.¸ Scientia potentia est _/ {SILVA}:::{FOSS}:::{GIS} \_ Знание сила ¸.·´¯)¸.·´¯)___________

АлексЮстасу
Гуру
Сообщения: 619
Зарегистрирован: 09 авг 2009, 13:09
Репутация: 67
Ваше звание: топограф, технолог
Откуда: Мааськва

Re: способы и инструменты удаления шумов в ЦМР

Сообщение АлексЮстасу » 07 фев 2013, 15:41

rhot писал(а):Не могли бы вы выложить данные в более свободном формате, чем детище Рошала?
В каком бы?

Аватара пользователя
rhot
Гуру
Сообщения: 1727
Зарегистрирован: 25 янв 2011, 17:50
Репутация: 194
Ваше звание: доктор
Откуда: Архангельск

Re: способы и инструменты удаления шумов в ЦМР

Сообщение rhot » 07 фев 2013, 15:45

Вот например. Первые 3 из списка вполне подойдут.
___________(¯`·.¸(¯`·.¸ Scientia potentia est _/ {SILVA}:::{FOSS}:::{GIS} \_ Знание сила ¸.·´¯)¸.·´¯)___________

Александр Мурый
Гуру
Сообщения: 5173
Зарегистрирован: 26 сен 2009, 16:26
Репутация: 792
Ваше звание: званий не имею
Откуда: Москва

Re: способы и инструменты удаления шумов в ЦМР

Сообщение Александр Мурый » 07 фев 2013, 15:50

АлексЮстасу писал(а):Предлагаю сравнить результаты удаления шумов в ЦМР разными способами и инструментами на конкретном множестве высотных точек.
Задумка хорошая, как раз для статьи на ГИС-Лаб :)
АлексЮстасу писал(а): Чтобы можно было оценить и сравнить результаты работы разных программ, разных алгоритмов.

Вы хотите сравнивать алгоритмы или ПО (это разные задачи)?
АлексЮстасу писал(а): ЦМР нерегулярная, получена из данных воздушного лазерного сканирования.

Т.е. это "облако точек", а не ЦМР.
АлексЮстасу писал(а): На выходе - эта же ЦМР (в смысле - то же число точек, положение в плане точек может изменяться, но только за счет поправок за шумы, если они вдруг вносятся во все три координаты, а не только в Z), но с удаленными шумами.

Прежде чем очищать облако точек, не надо ли отделить собственно рельеф от объектов на нём? Или здесь это уже сделано? Для выделения из данных лидарной съёмки собственно ЦМР есть спец. алгоритмы, в т.ч., в открытых ГИС (GRASS, SAGA). Кроме этого, есть спец. утилиты (например, libLAS, оно же LAStools.
Редактор материалов, модератор форума

АлексЮстасу
Гуру
Сообщения: 619
Зарегистрирован: 09 авг 2009, 13:09
Репутация: 67
Ваше звание: топограф, технолог
Откуда: Мааськва

Re: способы и инструменты удаления шумов в ЦМР

Сообщение АлексЮстасу » 07 фев 2013, 16:05

rhot писал(а):Вот например. Первые 3 из списка вполне подойдут.
Добавил еще архив в первом сообщении.

Александр Мурый - конечно!

АлексЮстасу
Гуру
Сообщения: 619
Зарегистрирован: 09 авг 2009, 13:09
Репутация: 67
Ваше звание: топограф, технолог
Откуда: Мааськва

Re: способы и инструменты удаления шумов в ЦМР

Сообщение АлексЮстасу » 07 фев 2013, 16:17

Александр Мурый писал(а):Задумка хорошая, как раз для статьи на ГИС-Лаб :)
Спасибо! Тема у меня уже наболела, переболела, но не отболела. На этот форум набрел во многом именно из-за нее.
В первую очередь после здешней публикации "Адаптивное сглаживание для шумных ЦМР" http://gis-lab.info/qa/adaptive-smooth-dem.html
Александр Мурый писал(а):Вы хотите сравнивать алгоритмы или ПО (это разные задачи)?
Придется и то и другое. Иногда их не отделишь же?
Александр Мурый писал(а):
АлексЮстасу писал(а): ЦМР нерегулярная, получена из данных воздушного лазерного сканирования.

Т.е. это "облако точек", а не ЦМР.Прежде чем очищать облако точек, не надо ли отделить собственно рельеф от объектов на нём? Или здесь это уже сделано? Для выделения из данных лидарной съёмки собственно ЦМР есть спец. алгоритмы, в т.ч., в открытых ГИС (GRASS, SAGA). Кроме этого, есть спец. утилиты (например, libLAS, оно же LAStools.
Это уже выделенная "земля"из облака точек средствами автомата из Terrasolid.

gamm
Гуру
Сообщения: 4170
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1107
Ваше звание: программист
Откуда: Казань

Re: способы и инструменты удаления шумов в ЦМР

Сообщение gamm » 08 фев 2013, 18:57

АлексЮстасу писал(а):Предлагаю сравнить результаты удаления шумов в ЦМР разными способами и инструментами на конкретном множестве высотных точек.
начнем с того, что у вас нет ЦМР :-)

для вашего случая придумано два подхода: традиционный - цифровая фильтрация (например, на основе локального Фурье и прочих Кальманов), и новый - быстрая аппроксимаций В-сплайнами MBA - multilevel B-spline approximation, она есть в R, пакет MBA. Последняя хороша тем, что работает с линейной скоростью, так что не боится миллионов точек.

смастерил за пару минут ...

Код: Выделить всё

library(MBA)

p<-read.table("place_left_3.xyz",header=FALSE)
names(p)<-c("X","Y","Z")

plot(p[,1:2],pch=20,cex=0.3,asp=1)

tmp_011_08<-mba.surf(p,100,100,n=1,m=1,h=6,extend=TRUE)

x.pos<-tmp_011_08$xyz.est$x
y.pos<-tmp_011_08$xyz.est$y
z.mtr<-tmp_011_08$xyz.est$z
z.lim<-range(as.double(z.mtr))

image(x.pos,y.pos,z.mtr,col=gray((126:32)/128),asp=1)
contour(x.pos,y.pos,z.mtr,levels=seq(floor(z.lim[1]),ceiling(z.lim[2]),by=0.5),col=" black",add=TRUE,asp=1)
картинку приложить не удалось - и bmp, и emf запрещено.

Александр Мурый
Гуру
Сообщения: 5173
Зарегистрирован: 26 сен 2009, 16:26
Репутация: 792
Ваше звание: званий не имею
Откуда: Москва

Re: способы и инструменты удаления шумов в ЦМР

Сообщение Александр Мурый » 08 фев 2013, 21:09

gamm писал(а): картинку приложить не удалось - и bmp, и emf запрещено.
А почему только bmp и emf? PNG ещё никто не отменял :)
r_mba_lidar.png
r_mba_lidar.png (29.86 КБ) 12367 просмотров
Редактор материалов, модератор форума

Variant
Активный участник
Сообщения: 133
Зарегистрирован: 15 окт 2009, 09:14
Репутация: 42
Откуда: Москва

Re: способы и инструменты удаления шумов в ЦМР

Сообщение Variant » 08 фев 2013, 21:30

пользуясь случаем, хочу упомянуть здесь нестандартный подход, показавшийся мне довольно любопытным. В отличие от обычного сглаживания помеха здесь не даёт практически никакого вклада в итоговый результат:
http://www.miigaik.ru/nauka/dissertacio ... 9-7732.doc

не знаю, правда, удастся ли каким-то образом учесть его в сравнении, разве что попытаться выйти на контакт с автором

АлексЮстасу
Гуру
Сообщения: 619
Зарегистрирован: 09 авг 2009, 13:09
Репутация: 67
Ваше звание: топограф, технолог
Откуда: Мааськва

Re: способы и инструменты удаления шумов в ЦМР

Сообщение АлексЮстасу » 09 фев 2013, 00:39

gamm писал(а):начнем с того, что у вас нет ЦМР :-)
На нерегулярную ЦМР множество точек поверхности не тянет?
gamm писал(а):для вашего случая придумано два подхода: традиционный - цифровая фильтрация (например, на основе локального Фурье и прочих Кальманов), и новый - быстрая аппроксимаций В-сплайнами MBA - multilevel B-spline approximation, она есть в R, пакет MBA. Последняя хороша тем, что работает с линейной скоростью, так что не боится миллионов точек.
Что такое "R"?
gamm писал(а):смастерил за пару минут ...

Код: Выделить всё

library(MBA)

p<-read.table("place_left_3.xyz",header=FALSE)
names(p)<-c("X","Y","Z")

plot(p[,1:2],pch=20,cex=0.3,asp=1)

tmp_011_08<-mba.surf(p,100,100,n=1,m=1,h=6,extend=TRUE)

x.pos<-tmp_011_08$xyz.est$x
y.pos<-tmp_011_08$xyz.est$y
z.mtr<-tmp_011_08$xyz.est$z
z.lim<-range(as.double(z.mtr))

image(x.pos,y.pos,z.mtr,col=gray((126:32)/128),asp=1)
contour(x.pos,y.pos,z.mtr,levels=seq(floor(z.lim[1]),ceiling(z.lim[2]),by=0.5),col=" black",add=TRUE,asp=1)
Э... Это что? Куда? Как?..
gamm писал(а):картинку приложить не удалось - и bmp, и emf запрещено.
Картинку чего?..

Аватара пользователя
rhot
Гуру
Сообщения: 1727
Зарегистрирован: 25 янв 2011, 17:50
Репутация: 194
Ваше звание: доктор
Откуда: Архангельск

Re: способы и инструменты удаления шумов в ЦМР

Сообщение rhot » 09 фев 2013, 00:57

Что такое "R"?
R
___________(¯`·.¸(¯`·.¸ Scientia potentia est _/ {SILVA}:::{FOSS}:::{GIS} \_ Знание сила ¸.·´¯)¸.·´¯)___________

АлексЮстасу
Гуру
Сообщения: 619
Зарегистрирован: 09 авг 2009, 13:09
Репутация: 67
Ваше звание: топограф, технолог
Откуда: Мааськва

Re: способы и инструменты удаления шумов в ЦМР

Сообщение АлексЮстасу » 09 фев 2013, 01:10

Александр Мурый писал(а):А почему только bmp и emf? PNG ещё никто не отменял :)
Круто!
Только это изображение чего? Как получено? Почему именно оно здесь приложено? Какие из него следуют выводы?

Сэры! Александр Мурый, gamm, rhot. Если можно! Снисходите, плз, в своих ответах до людей простых, без хитростев, в опенсорсовскихгисах не живущих. :D
Ваши сообщения о лучшей математике фильтрации шумов, что тем или другим ПО эта задача хорошо решена - то, что нужно. Но поставить себе весь этот софт, освоить его, начать получать оптимальные результаты я вряд ли смогу.
Потому и обратился к Вам.
Если можно, то прикладывайте к этой информации и файлы точек, с удаленными этими инструментами шумами.
Последний раз редактировалось АлексЮстасу 09 фев 2013, 02:42, всего редактировалось 6 раз.

АлексЮстасу
Гуру
Сообщения: 619
Зарегистрирован: 09 авг 2009, 13:09
Репутация: 67
Ваше звание: топограф, технолог
Откуда: Мааськва

Re: способы и инструменты удаления шумов в ЦМР

Сообщение АлексЮстасу » 09 фев 2013, 01:13

Variant писал(а):пользуясь случаем, хочу упомянуть здесь нестандартный подход, показавшийся мне довольно любопытным. В отличие от обычного сглаживания помеха здесь не даёт практически никакого вклада в итоговый результат:
http://www.miigaik.ru/nauka/dissertacio ... 9-7732.doc
не знаю, правда, удастся ли каким-то образом учесть его в сравнении, разве что попытаться выйти на контакт с автором
Не обнаружил у указанного автора фильтрации шумов. Похоже, что он не видит в них проблемы. Но на его картинках, несмотря на их мелкомасштабность, шумы в рельефе видны невооруженным глазом - под лесами, например.

gamm
Гуру
Сообщения: 4170
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1107
Ваше звание: программист
Откуда: Казань

Re: способы и инструменты удаления шумов в ЦМР

Сообщение gamm » 09 фев 2013, 12:59

АлексЮстасу писал(а):На нерегулярную ЦМР множество точек поверхности не тянет?
нет, поскольку буква М (модель) отсутствует, точки никак не организованы.
Что такое "R"?
это типа наше все :-) матчасть

Ответить

Вернуться в «Общие вопросы»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 3 гостя