Общее описание ASTER GDEM

Программы и алгоритмы для обработки данных дистанционного зондирования: ERDAS, ENVI и другие.
pendduduk
Активный участник
Сообщения: 179
Зарегистрирован: 05 июл 2009, 22:18
Репутация: 47

Re: Общее описание ASTER GDEM

Сообщение pendduduk » 30 авг 2009, 01:17

Boris писал(а):речь шла о различии между SRTM-90 и ASTER_DEM. Все расчеты различий приведены именно для них, а не для карты М1:50 000. Именно для этих двух моделей рельефа различие от [-220;+150] метров.
На самом деле вы не корректно сравниваете. Вы смотрите на "выбросы" а нужно смотреть на среднее и дисперсию, причем, из расчета статистики необходимо предварительно исключить явные ошибки (для GDEM идет дополнительный файл в котором показаны различные ошибки и "баги" модели). Реально модель GDEM отличается от SRTM в среднем на 7-15 метров, это было проверено мной лично на нескольких листах и для территорий с различными формами рельефа.
Boris писал(а):А что такое спутниковые данные ASTER - в чем именно они выражаются, если для орторектификации данных ASTER опять же использована КАКАЯ-то модель рельефа?
Модель была построена методом стерео-корреляции по стереопаре ASTER (каналы 3N и 3B камеры VNIR), орторектификация тут несколько не причем :).
Boris писал(а):имеем SRTM-90 - это модель рельефа. Имеем Landsat-5/7 уровень обработки - 1T. Они дополняют друг друга. ЧТо бы найти высоту точки - ее надо найти на снимках Landsat. Это задает возможность использования этой ЦМР для других снимков.
Кто вам это сказал? Это 2 абсолютно разных продукта, с различными точностями (около 50 метров Ландсат, и около 6-10 метров SRTM) и параметрами...
Что бы узнать высоту точки, необходимо измерить ее координаты, Ландсат тут не причем. Просто в случае если нет опоры, люди используют Ландсат как источник опорных точек.
Boris писал(а):Теперь мы имеем данные спутника ASTER - как для них выглядит связь с ЦМР ASTER-DEM? Где можно увидеть пару ЦМР - снимок?
Сделайте ортотрансформирование с использованием GDEM и будет вам пара.
Где вы видели "пару ЦМР - снимок" (GTOPO-30, SRTM, GDEM)?
Такого продукта в открытом (бесплатном) доступе нет.

Аватара пользователя
SS_Rebelious
Гуру
Сообщения: 1304
Зарегистрирован: 24 фев 2009, 16:51
Репутация: 99
Ваше звание: GIS pro-fan
Откуда: Lahti / Газ-ПУТИНбург
Контактная информация:

Re: Общее описание ASTER GDEM

Сообщение SS_Rebelious » 30 авг 2009, 13:41

pendduduk, не могли бы Вы рассказать по-подробнее, что и как Вы делали. Особенно интересует:
нужно смотреть на среднее и дисперсию, причем, из расчета статистики необходимо предварительно исключить явные ошибки (для GDEM идет дополнительный файл в котором показаны различные ошибки и "баги" модели)
Look for something long enough, and you will find it. Look for something without understanding, and it will find you...
"All paid jobs absorb and degrade the mind." Aristotle
If you take 1 step towards freedom it'll take 2 steps towards you!

pendduduk
Активный участник
Сообщения: 179
Зарегистрирован: 05 июл 2009, 22:18
Репутация: 47

Re: Общее описание ASTER GDEM

Сообщение pendduduk » 30 авг 2009, 14:18

SS_Rebelious писал(а):pendduduk, не могли бы Вы рассказать по-подробнее, что и как Вы делали. Особенно интересует:
Собственно говоря требуется вычесть один DEM из другого, сделать это можно в любом пакете поддерживающем арифметические операции с растровыми слоями (лично я делал это в IMAGE Processor). Результат вычитания DEM-ов и должен являться предметом исследования. Яркости получившегося растрового слоя будут абсолютными значениями разности высот моделей, следует обратить внимание на гистограмму получившегося растра, по ней хорошо видно, что ошибки высот имеют нормальное распределение; среднее значение показывает среднюю ошибку, а стандартное отклонение - разброс ошибок (то есть фактически, в данном случае является аналогом RMSE по высоте).

Boris
Гуру
Сообщения: 4205
Зарегистрирован: 10 апр 2006, 22:34
Репутация: 433
Откуда: Париж

Re: Общее описание ASTER GDEM

Сообщение Boris » 06 сен 2009, 02:45

Закончите наше (или мое) просвещения. Ведь речь идет не об отдельной паре снимков, с которых была сделана ЦМР, которая имеет пространство этих двух снимков. Речь идет о покрытии. Значит оно должно иметь какой-то алгоритм привязки к земным координатам. А не координатам пространства снимка.
---
Говоря об ортофото я говорил о "простых" снимках ASTER, а конечно не о тех, которые были использованы для построения ЦМР.
---
Если сказано, что SRTM-90 одна из основ ASTER-DEM, то откуда вообще берутся такие различия?
---
Файл "багов" -это как я понимаю .zip-файлах второй файл - Файл контроля качества (QA). Так на рассмотренном мной участке он имеет значения от 5 до 14. Значит "багов" - нет.
Разброс высот -
ASTER
Clipboard22.gif
Clipboard22.gif (12.03 КБ) 18128 просмотров
SRTM-90
Clipboard23.gif
Clipboard23.gif (10.83 КБ) 18125 просмотров
На этом участке имеем разницу:
Clipboard22.gif
Clipboard22.gif (12.03 КБ) 18128 просмотров
---
И если я вас правильно понимаю, то использование любой из моделей - SRTM-90 или ASTER-DEM требует наличия точек на местности. Причем практически в ультимативной. Но ведь пакеты обработки ДЗЗ запрашивают эти точки как опции?
Вложения
Clipboard21.gif
Clipboard21.gif (10.75 КБ) 18127 просмотров
Последний раз редактировалось Boris 06 сен 2009, 20:57, всего редактировалось 1 раз.

Boris
Гуру
Сообщения: 4205
Зарегистрирован: 10 апр 2006, 22:34
Репутация: 433
Откуда: Париж

Re: Общее описание ASTER GDEM

Сообщение Boris » 06 сен 2009, 02:58

Да, забыл сказать, что сравнивать различие двух поверхностей, равно как и двух кривых, путем сравнения среднего или дисперсии, на мой взгляд, не слишком корректно. Как оценка - да.
Но если взять два отрезка, одни с наклоном +10 градусов, а другой -10%. То на ограниченном интервале разброс значений будет не так уж и велик. А смысл в части уклонов - будет предельно различным. Если уж говорить о более сложных функциях, то регулярные синус с косинусом - имеют не так много различий, если считать среднее отклонение и производные от него, а идут они - в противофазе.
Должен быть какой-то еще принцип сравнения. Особенно когда не известно на одно и то же место или нет сравниваем две поверхности.

pendduduk
Активный участник
Сообщения: 179
Зарегистрирован: 05 июл 2009, 22:18
Репутация: 47

Re: Общее описание ASTER GDEM

Сообщение pendduduk » 06 сен 2009, 16:28

Boris писал(а):Закончите наше (или мое) просвещения. Ведь речь идет не об отдельной паре снимков, с которых была сделана ЦМР, которая имеет пространство этих двух снимков. Речь идет о покрытии. Значит оно должно иметь какой-то алгоритм привязки к земным координатам. А не координатам пространства снимка.
Точного алгоритма построения покрытия GDEM я не знаю, но скорее всего был использован алгоритм блочного уравнивания. Связь между географической системой координат и пикселями растра описывается параметрами внешнего и внутреннего ориентирования (в данном случае, это вектора скорости и положения спутника, измеренные бортовой аппаратурой углы ориентации камеры, а так же параметры самой камеры). Имея данную информацию снимки ориентируются, затем устанавливаются связующие точки (точки соединяющее одни и те же объекты на разных снимках), такая конструкция называется блоком. Точность привязки такого блока на местности зависит от точности параметров внешнего и внутреннего ориентирования, и в случае необходимости может быть уточнена по нескольким опорным (точкам с известными координатами XYZ) на весь блок. Методы такого уточнения бывают разными... это может быть триангуляция, аффинные преобразования и тд. Что конкретно использовалось или не использовалось для коррекции блока мне не известно, возможно что ничего не использовалось.
Boris писал(а):Если сказано, что SRTM-90 одна из основ ASTER-DEM, то откуда вообще берутся такие различия?
Где это сказано? SRTM - это модель построенная вообще другим методом.
Boris писал(а):Файл "багов" -это как я понимаю .zip-файлах второй файл - Файл контроля качества (QA). Так на рассмотренном мной участке он имеет значения от 5 до 14. Значит "багов" - нет.
Только что перечитал описание продукта...
http://www.ersdac.or.jp/GDEM/E/image/AS ... _Ev1.0.pdf
так вот значения > 0 означают, что для формирования высоты было использовано n (равно числу из QA) снимков, только вот это не означает что в модели отсутствуют "баги". Баги в моем понимании - это значения полученные методом интерполяции в местах с низким коэфф. корреляции при построении DEM по стереопаре. Такие места, а их на GDEM полно, и будут источником выбросов по высотам.
Boris писал(а):И если я вас правильно понимаю, то использование любой из моделей - SRTM-90 или ASTER-DEM требует наличия точек на местности. Причем практически в ультимативной. Но ведь пакеты обработки ДЗЗ запрашивают эти точки как опции?
Это зависит от требуемой точности выходного продукта, в случае если вы не используете опорные точки точность будет обеспечиваться точностью параметров внешнего и внутреннего ориентирования, или RPC коэфф. по ним рассчитанных. В большинстве случаев точность (RMSE) таких продуктов составляет от 25-200 метров. Редким исключением будут являться данные PRISM (точность порядка 10-15 метров) и GeoEye-1, WorldView-1 (только для такого разрешения обе модели рельефа грубоваты, тут нужно что то более детальное, например dem построенный по Cartosat-1 или PRISM). Для увеличения точности собственно и нужны опорные точки.
Boris писал(а):Да, забыл сказать, что сравнивать различие двух поверхностей, равно как и двух кривых, путем сравнения среднего или дисперсии, на мой взгляд, не слишком корректно. Как оценка - да.
Вы видимо не понимаете о чем идет речь...
Я предлагаю оценить высотную точность модели GDEM относительно модели SRTM, делается это методом вычитания одного DEM из другого, в результате имеем абсолютные значения разности высот моделей. Среднее значение разности и ее стандартное отклонение являются абсолютно адекватными оценками точности одной модели относительно другой. Единственное что может дать погрешность - это разная детальность моделей, но это будет сильно заметно только в горах.

Собственно на вашем принскрине "A-B" прекрасно видно, что высоты отличаются в среднем на 7 метров при разбросе в 6 метров.
Если у вас будут опорные точки со значениям высот вы сможете оценить точность модели относительно ваших точек тем же способом, но в ручную.
Boris писал(а):Должен быть какой-то еще принцип сравнения. Особенно когда не известно на одно и то же место или нет сравниваем две поверхности.
То что я описал является адекватным, общепринятым методом оценки точности все равно чего. И честно говоря я вообще не понимаю как это вы собираетесь сравнивать DEM-ы на разную территорию?

Boris
Гуру
Сообщения: 4205
Зарегистрирован: 10 апр 2006, 22:34
Репутация: 433
Откуда: Париж

Re: Общее описание ASTER GDEM

Сообщение Boris » 06 сен 2009, 21:11

Сравнивать DEM на разную территорию я не собираюсь.
Но поскольку мы не знаем принципов привязки одной модели к местности, то как мы можем быть уверены в том, что мы измеряем высоту в одной и той же точке. Это я и называю разным и местностями. Даже, если они сдвинуты друг относительно друга всего на 5 пикселей - то они уже разные.
---
Способ оценки путем вычисления среднего отклонения и дисперсии - вполне надежен. А вот как способ сравнения - очень не показателен. Если следовать этой логике, то средняя разность между sin X и cos X < 1/2. Но никто не говорит, Sin X хорошо апроксимирует Cos X.
---
Для верного сравнения двух DEM я бы мог предложить сравнивать производные продукты - в частности распределение разности уклонов или еще есть какой-то параметр, который учитывает не только угол, но и направление. Если плоскости в пределах одного пикселя на двух DEM параллельны и различаются тлько сдвигом (высотой) - это одна ситуация. Если же они пересекаются или имеют существенно разные углы наклона - то совсем другая.
У меня ведь вопрос возник после того, как речка с карты стала руслом идти по холмам - вверх-вниз.

pendduduk
Активный участник
Сообщения: 179
Зарегистрирован: 05 июл 2009, 22:18
Репутация: 47

Re: Общее описание ASTER GDEM

Сообщение pendduduk » 06 сен 2009, 23:23

Boris писал(а):Но поскольку мы не знаем принципов привязки одной модели к местности, то как мы можем быть уверены в том, что мы измеряем высоту в одной и той же точке. Это я и называю разным и местностями. Даже, если они сдвинуты друг относительно друга всего на 5 пикселей - то они уже разные.
Согласно описанию GDEM ошибка в плане у них в пределах 30-40 метров, что укладывается в 1-2 пикселя и соответственно укладывается в 1 пиксель SRTM, так что в данном случае все адекватно. Кроме того, для описанного мной метода подразумевается что модели в плане совмещены.
Boris писал(а):Способ оценки путем вычисления среднего отклонения и дисперсии - вполне надежен. А вот как способ сравнения - очень не показателен. Если следовать этой логике, то средняя разность между sin X и cos X < 1/2. Но никто не говорит, Sin X хорошо апроксимирует Cos X.
Ну это смотря по какому параметру вы сравниваете. В случае разницы высот все адекватно, мы же не мух с котлетами сравниваем. И если следовать вашей логике то СКО тоже не подходит для оценки точности...
Boris писал(а):Для верного сравнения двух DEM я бы мог предложить сравнивать производные продукты - в частности распределение разности уклонов или еще есть какой-то параметр, который учитывает не только угол, но и направление. Если плоскости в пределах одного пикселя на двух DEM параллельны и различаются только сдвигом (высотой) - это одна ситуация. Если же они пересекаются или имеют существенно разные углы наклона - то совсем другая.
Пожалуйста... сосчитайте уклон и крутизну склонов (или производные более высокого порядка), только что вы будете там оценивать, опять же разницу, а результат у вас получится плохо интерпретируемый, т.к. сравнивать вы будете углы а не высоты. Такой метод тоже может использоваться но скорее как дополнение к абсолютной разнице высот. Статей про оценку точности различных DEM вагон и маленькая тележка, почитайте...
Boris писал(а):У меня ведь вопрос возник после того, как речка с карты стала руслом идти по холмам - вверх-вниз.
Ну так тут вопрос то совершенно из другой оперы...

Аватара пользователя
taimyr
IT-моторист
Сообщения: 460
Зарегистрирован: 14 окт 2003, 12:36
Репутация: 17
Откуда: Москва
Контактная информация:

Re: Общее описание ASTER GDEM

Сообщение taimyr » 15 окт 2009, 17:32

Еще 3 интересных, как мне кажется картинки к статье в блоге (по картинкам можно щелкать для просмотра полного изображения):
- 3d модель участка из примера 2, там где синий обвод
Изображение
- Выявленные на фрагменте "ямы" - синие, розовое - нормальные выпуклые поверхности
Изображение
- та же 3d модель на AsterDEM с убранными (заполненными) ямами
Изображение
Заливание ям проведено при помощи ArcGIS HydroTools, где для этого есть специальная функция. Для получения картинки 2 DEM с залитыми ямами вычтен из оригинального, нулевые значения соответственно - выпуклые поверхности.
И оставшиеся в живых позавидуют мёртвым....

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Общее описание ASTER GDEM

Сообщение Максим Дубинин » 16 окт 2009, 04:37

а что за "Пик Коммунизма"?
пристегивайтесь, турбулентность прямо по курсу

Аватара пользователя
taimyr
IT-моторист
Сообщения: 460
Зарегистрирован: 14 окт 2003, 12:36
Репутация: 17
Откуда: Москва
Контактная информация:

Re: Общее описание ASTER GDEM

Сообщение taimyr » 16 окт 2009, 08:55

Скорее "башня черных магов" :) А то самое, по что написано в статье - неконтролируемый на автомате артефакт, выявлять и лечить который надо вручную.
И оставшиеся в живых позавидуют мёртвым....

Аватара пользователя
taimyr
IT-моторист
Сообщения: 460
Зарегистрирован: 14 окт 2003, 12:36
Репутация: 17
Откуда: Москва
Контактная информация:

Re: Общее описание ASTER GDEM

Сообщение taimyr » 16 окт 2009, 10:17

Господа, есть вопрос... Какие есть способы вертикальной нелинейной коррекции DEM? Я по наивности думал, что это возможно в Erdas командой Recalculate Elevation Values, оказывается ошибался - оно способна только пересчитать их с датума на датум...

P.S. Задача решена - создаем в точечном слое высотных отметок корректирующее поле разницы между ними и DEM, уверен что присвоить значения DEM точечному слою на автомате и вычислить разности возможно, но т.к. у меня всего около 50 точек, то я просто вбил вручную. Затем строим по этому полю GRID разностей, затем суммируем с первично обработанной (без ям) ASTER DEM/
И оставшиеся в живых позавидуют мёртвым....

Аватара пользователя
SS_Rebelious
Гуру
Сообщения: 1304
Зарегистрирован: 24 фев 2009, 16:51
Репутация: 99
Ваше звание: GIS pro-fan
Откуда: Lahti / Газ-ПУТИНбург
Контактная информация:

Re: Общее описание ASTER GDEM

Сообщение SS_Rebelious » 17 окт 2009, 21:09

taimyr писал(а):заливание ям проведено при помощи ArcGIS HydroTools, где для этого есть специальная функция
Для ArcGIS есть ещё TauDEM. В MapWindow плагин TauDEM с функцией заливки ям также присутствует.
Look for something long enough, and you will find it. Look for something without understanding, and it will find you...
"All paid jobs absorb and degrade the mind." Aristotle
If you take 1 step towards freedom it'll take 2 steps towards you!

Аватара пользователя
taimyr
IT-моторист
Сообщения: 460
Зарегистрирован: 14 окт 2003, 12:36
Репутация: 17
Откуда: Москва
Контактная информация:

Re: Общее описание ASTER GDEM

Сообщение taimyr » 17 окт 2009, 23:53

Спасибо, посмотрим, что за зверь.. Вещь интересная похоже
И оставшиеся в живых позавидуют мёртвым....

Аватара пользователя
SS_Rebelious
Гуру
Сообщения: 1304
Зарегистрирован: 24 фев 2009, 16:51
Репутация: 99
Ваше звание: GIS pro-fan
Откуда: Lahti / Газ-ПУТИНбург
Контактная информация:

Re: Общее описание ASTER GDEM

Сообщение SS_Rebelious » 20 окт 2009, 11:49

Обсуждение этой и других оценок точности доступны в Отчете по валидации ASTER DEM (ASTER Global DEM Validation Summary Report).
Ссылка в статье нерабочая.

Вот эта из гуглопоиска.

P.S. Wiki работает в тестовом режиме или там может поковыряться уже любой желающий? Если бы появились инструкции, то я и сам заменил бы без лишних постов.
Look for something long enough, and you will find it. Look for something without understanding, and it will find you...
"All paid jobs absorb and degrade the mind." Aristotle
If you take 1 step towards freedom it'll take 2 steps towards you!

Ответить

Вернуться в «Обработка ДДЗ»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 38 гостей