Shuttle Radar Topography Mission 1 ARC Second Release

Что происходит в мире ГИС и ДЗЗ и очень хочется обсудить.
ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 740
Ваше звание: Вредитель полей

Re: Shuttle Radar Topography Mission 1 ARC Second Release

Сообщение ericsson » 07 янв 2015, 21:20

Сравнение данных с оцифрованными горизонталями, полученными с топокарты - заведомое лукавство, потому что оно исходит из предположения, что топокарта имеет точность и подробность, которые позволяют ей считаться эталоном. Что совершенно не обязательно. Сколько-нибудь достоверное сравнение можно получить только сравнивая с другими данными дистанционного зондирования заведомо более высокого разрешения - с лидарной съемкой, например. Никто не может быть уверен, что топокарта какого-то чертова острова Ольхон (пример из статьи) выполнена в достаточной мере добросовестно (по крайней мере, без приведенных сведений о проверке самой топокарты объективными методами).

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 740
Ваше звание: Вредитель полей

Re: Shuttle Radar Topography Mission 1 ARC Second Release

Сообщение ericsson » 07 янв 2015, 23:44

Что касается разной "шероховатости" X-band и C-band - вообще ничего удивительного: при одном и том же размере пикселя изображения могут совершенно законно содержать детали, которые в реальности - меньше одного пикселя (т.е. на изображении имеем, например, ровное поле и одиночный пиксель, который от него отличается) и много больше одного пикселя. При этом оценить, что является более правдивым: размазанное на четыре соседних пикселя пятно или одиночный пик - мы не можем, не имея достоверных данных с пространственным разрешением на порядок (или близкую к этому величину) лучше.
При этом известно, что C-band третьей версии уже через какие только фильтры не прошел, так что ожидать в нем "девственные" детали меньше пикселя - весьма сомнительное дело.
Чтобы понять, какого размера детали (не важно, истинные или ложные) есть в данных, нужно не на разрешение смотреть, а делать wavelet-разложение на частотные планы и оценивать амплитуду в каждом. Сильно подозреваю, что у C-band в самом высокочастотном практически ничего не будет.

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 740
Ваше звание: Вредитель полей

Re: Shuttle Radar Topography Mission 1 ARC Second Release

Сообщение ericsson » 08 янв 2015, 00:24

У меня вот был под рукой только "старый", C-band с разрешением 90 метров, но для проверки характера данных на предмет жуткой размытости от многократного фильтрования, годится.
Взял квадрат, куда попадает Эльбрус (N43E042)
Нормализовал, перевел в 8 бит
Сделал wavelet-разложение с периодом 1,2,4,8 пикселей.
Далее - статистика:
Частотный план с периодом 1 пиксель, гистограмма (первый столбец - количество пикселей с таким значением, на то, что статистика для RGB, а не для градаций серого - забейте):

Код: Выделить всё

   1325112: (  0,  0,  0)
    114470: (  1,  1,  1)
      2737: (  2,  2,  2) 
        75: (  3,  3,  3) 
         6: (  4,  4,  4) 
         1: (  5,  5,  5) 
Распределения:

Код: Выделить всё

      min: 0 (0)
      max: 5 (0.0196078)
      mean: 0.0833319 (0.000326792)
      standard deviation: 0.283828 (0.00111305)
Частотный план с периодом 2 пикселя, гистограмма:

Код: Выделить всё

        19: (124,124,124)
       591: (125,125,125)
     25718: (126,126,126)
    331700: (127,127,127)
    791003: (128,128,128)
    252185: (129,129,129)
     35997: (130,130,130)
      4652: (131,131,131)
       496: (132,132,132)
        35: (133,133,133)
         5: (134,134,134)
Распределения:

Код: Выделить всё

      min: 124 (0.486275)
      max: 134 (0.52549)
      mean: 127.969 (0.501839)
      standard deviation: 0.783674 (0.00307323)
Прекрасно видно, что детали размером в один пиксель есть только в местах перегибов (хребет, дно ущелья)
elbrus_srtm3_1pix_norm.png
Распределение однопиксельных деталей
elbrus_srtm3_1pix_norm.png (184.26 КБ) 9269 просмотров
Тут видно, что с двухпиксельными деталями. Сильно подозреваю, что с односекундным C-band - то же самое.
elbrus_srtm3_2pix_norm.png
Распределение двухпиксельных деталей
elbrus_srtm3_2pix_norm.png (252.48 КБ) 9269 просмотров

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 740
Ваше звание: Вредитель полей

Re: Shuttle Radar Topography Mission 1 ARC Second Release

Сообщение ericsson » 09 янв 2015, 00:48

Хм, а похоже, что однопиксельные "значащие" детали в SRTM 1-arcsecond все же имеются. Попозже выложу, что получилось выжать из него.

gamm
Гуру
Сообщения: 2963
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 687
Ваше звание: программист
Откуда: Казань

Re: Shuttle Radar Topography Mission 1 ARC Second Release

Сообщение gamm » 09 янв 2015, 04:48

ericsson писал(а):Хм, а похоже, что однопиксельные "значащие" детали в SRTM 1-arcsecond все же имеются. Попозже выложу, что получилось выжать из него.
а зачем переводить в 8 бит - вы же как раз убиваете детали. Кто мешает делать вейвлеты во float?

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 740
Ваше звание: Вредитель полей

Re: Shuttle Radar Topography Mission 1 ARC Second Release

Сообщение ericsson » 09 янв 2015, 05:09

Конкретно мне мешает то, что я это делал в софте, который с 16-битными данными вейвлеты делать не умеет. Если у вас под рукой есть то, что сделает то же самое с 16bit fp - я буду рад посмотреть на совершенно строгий с научной точки зрения анализ.

Но я не вижу проблемы с этим, потому что хотя я убиваю количество градаций, форма гистограммы и процент содержания значащих пикселов существенно от этого не меняются. И дело даже не в этом, а в том, как эти детали распределены - они почти все на местах перегибов (то есть если размыть трехсекундный SRTM с радиусом пикселя в три, а потом построить по этому диаграмму кривизны, они все в области максимумов попадут).
То есть это все на уровне артефактов алиасинга и т.п.

Я не претендую на абсолютно строгое и научное исследование - это простой анализ качественных свойств.
Повторюсь, что у односекундного все куда лучше, при совершенно том же методе.

gamm
Гуру
Сообщения: 2963
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 687
Ваше звание: программист
Откуда: Казань

Re: Shuttle Radar Topography Mission 1 ARC Second Release

Сообщение gamm » 09 янв 2015, 07:21

Насколько я помню, исходные радарные данные, в отличие от снимков, подобны голограммам и нужна очень долгая обработка. Чем дольше - тем больше деталей. Поэтому детальные рельефы выдают только сейчас, из тех же исходных данных.

[ Сообщение с мобильного устройства ]

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 740
Ваше звание: Вредитель полей

Re: Shuttle Radar Topography Mission 1 ARC Second Release

Сообщение ericsson » 09 янв 2015, 08:00

Да, все где-то так и есть. Я еще напомню, что с момента миссии SRTM прошло дофига времени, и вычислительные мощности выросли очень существенно. То, что тогда никому в голову не пришло бы запустить ради обработки этого, сейчас вполне доступно.

Pilot
Активный участник
Сообщения: 128
Зарегистрирован: 26 апр 2006, 12:28
Репутация: 35
Откуда: Петропавловск-Камчатский

Re: Shuttle Radar Topography Mission 1 ARC Second Release

Сообщение Pilot » 09 янв 2015, 09:22

ещё по данным.
GeoTIF, который с http://earthexplorer.usgs.gov/ не "void fill", т.е. в нём есть "дыры"
hgt, который с http://e4ftl01.cr.usgs.gov/SRTM/SRTMGL1.003/2000.02.11/ уже исправлен и без "дыр"
Вложения
hgt.jpg
hgt.jpg (201.18 КБ) 9136 просмотров
expl.jpg
expl.jpg (197.02 КБ) 9136 просмотров

bim2010
Гуру
Сообщения: 953
Зарегистрирован: 27 янв 2009, 22:57
Статьи: 1
Проекты: 2
Репутация: 241

Re: Shuttle Radar Topography Mission 1 ARC Second Release

Сообщение bim2010 » 09 янв 2015, 10:44

Еще замечание к работе Ю.И. Карионова "Оценка точности матрицы SRTM" - SRTM не ЦМР а ЦМВ.
Точность ЦМВ, полученных с помощью радиолокационной интерферометрии, зависит от характеристик радара, типа рельефа и физических характеристик сканируемой поверхности. В частности, больше 15% файлов SRTM DEM не содержат данных о высоте для 1% площади покрытия, а больше 5% файлов SRTM DEM не содержат данных о высоте для 5% площади покрытия. Особенно крупные ≪белые пятна≫ наблюдаются в горных областях, где геометрические искажения являются следствием, в частности, эффекта наложения и слепых зон. Кроме того, крупные ≪белые пятна≫ наблюдаются в песчаных пустынях, где недостаточное отражение сигнала вызывается низкой комплексной диэлектрической постоянной поверхности. Использование полностью автоматизированных методов цифровой стереофотограмметрии, лазерного сканирования и радиолокационной интерферометрии является составлением ЦМВ ≪вслепую≫. Очевидно, что первичная ЦМВ, полученная с помощью этих методов нуждается в скрупулезном редактировании и/или фильтрации, так как описывает не топографическую поверхность, а некую поверхность, состоящую из фрагментов рельефа собственно земной поверхности, строений, растительного покрова и пр.

Florinsky I.V. Digital Terrain Analysis in Soil Science and Geology. Amsterdam: Elsevier / Academic Press, 2012
страница 67
Accuracy of InSAR-derived DEMs depends on radar characteristics, type of topography, and physical properties of the surface (Jarvis et al., 2004; Falorni et al., 2005; Brenner et al., 2007). In particular, more than 15% of SRTM DEM tiles have voids for 1% of the covered area, and more than 5% of those have voids for 5% of the covered area. Large voids are typical for mountainous terrains: geometric artifacts are here caused by layover, foreshortening, and radar shadow. Large voids are also observed in sand deserts: a low dielectric constant of the surface is responsible for a low level of the signal reflectance (Elsner and Bonnici, 2007). SRTM DEMs also suffer from striping artifacts: “the stripes have a typical wavelength of about 800 m with an amplitude of about 0.2 4 m and are aligned diagonally in a pattern that suggests a close relationship to the orbital paths. . . . Striping at varying levels occurred everywhere except where it was obscured by high topographic relief” (Gallant and Read, 2009, pp. 149 and 151).
It is necessary to stress that use of fully automated approaches of digital photogrammetry, LiDAR, and InSAR techniques leads, in fact, to “blind sampling” of elevations (Lemmens, 1999). It is clear that such
DEMs need editing and filtering (Jarvis et al., 2004; Sithole and Vosselman, 2004; Falorni et al., 2005; Evans and Hudak, 2007; Karkee et al., 2008; Gallant and Read, 2009) because they describe not the topographic surface but a surface consisting of portions of the land surface, buildings, vegetation cover, and the like.

dime1
Гуру
Сообщения: 939
Зарегистрирован: 29 май 2011, 19:41
Репутация: 93
Откуда: Киев

Re: Shuttle Radar Topography Mission 1 ARC Second Release

Сообщение dime1 » 12 янв 2015, 12:13

Ну пока еще они не все данные выложили. По спискам двух источников имеются пропуски (но 2 января уже работали :) ):
[ ] N50E029.SRTMGL1.hgt.zip 20-Nov-2014 13:33 4.5M
[ ] N50E029.SRTMGL1.hgt.zip.xml 20-Nov-2014 13:33 2.7K
[ ] N50E082.SRTMGL1.hgt.zip 02-Jan-2015 10:10 8.9M

dime1
Гуру
Сообщения: 939
Зарегистрирован: 29 май 2011, 19:41
Репутация: 93
Откуда: Киев

Re: Shuttle Radar Topography Mission 1 ARC Second Release

Сообщение dime1 » 02 фев 2015, 15:10

А кто-нибудь знает когда они выложат данные на территорию Курской области (это тайлы N51E034...N51E036/ N50E034...N50E036)? А то они пока выложили всё выше 51 параллели на этой долготе, небось к другой части мира относят :?
Вот тут видно как обрезали viewtopic.php?f=60&t=17307#p122945
Может подскажете где можно неформально уточнить...
Хотя может Ближний Восток они и не собираются публиковать, будем надеяться, что это они обозвали Northeast Africa и таки скоро опубликуют:
Изображение
dime1 писал(а):Release dates:
November 2014: Mexico, South America
January 2015: Australia, Southeast Asia
April 2015: North America, Europe
July 2015: China, Japan
September 2015: Northeast Africa

dime1
Гуру
Сообщения: 939
Зарегистрирован: 29 май 2011, 19:41
Репутация: 93
Откуда: Киев

Re: Shuttle Radar Topography Mission 1 ARC Second Release

Сообщение dime1 » 25 июн 2015, 15:49

Господа, а никто не находил какая ~ абсолютная вертикальная ошибка этих данных (глобальных 1 арк.сек) и отличается ли она от srtm v4.21 (6.2м)?
Последний раз редактировалось dime1 30 июн 2015, 13:16, всего редактировалось 1 раз.

Pilot
Активный участник
Сообщения: 128
Зарегистрирован: 26 апр 2006, 12:28
Репутация: 35
Откуда: Петропавловск-Камчатский

Re: Shuttle Radar Topography Mission 1 ARC Second Release

Сообщение Pilot » 27 июн 2015, 12:50

а где посмотреть версию 4.2? на сайте cgiar есть только версия 4.1 http://www.cgiar-csi.org/data/srtm-90m- ... abase-v4-1

dime1
Гуру
Сообщения: 939
Зарегистрирован: 29 май 2011, 19:41
Репутация: 93
Откуда: Киев

Re: Shuttle Radar Topography Mission 1 ARC Second Release

Сообщение dime1 » 30 июн 2015, 13:16

Pilot, я внёс путаницу, да 4.1 имел ввиду. Не нашёл просто тех-доки по новым данным. С одной стороны кажется, что вертикальная абсолютная ошибка более детального разрешения должна быть лучше, с другой - понимаю, что аппарат один и тот же и всё должно быть +/- одинаковым.

Ответить

Вернуться в «Новости»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость