Паншарпенинг при помощи R

[SS_Rebelious]

Очередная статья.

[ericsson]

Добавьте для наглядности

гистограммы результата из Orfeo Toolbox

Orfeo.png (6.48 КБ) 19982 просмотра

гистограммы результата из R

R.png (6.48 КБ) 19982 просмотра

[ericsson]

оригинальное мультиспектральное изображение

original_multispectral.png (6.53 КБ) 19978 просмотров

А вот это гистограмма исходника. Довольно плохо выглядит - в ней уже адский клиппинг в светах (это такое поставщик отдает или это все же последствие издевательств над исходником вроде неправильного перевода из 16 бит?) и ясно видно, что кто-то растягивал зеленый канал.

[Denis Rykov]

А не пробовали реализовать алгоритм расчета из OTB на R? Интересно было бы сравнить результаты.

[alexandr cherepanov]

А для чего нужна реализация именно через R? Тем более такого примитивного алгоритма не нуждающегося в функционале R. Давайте еще напишем статьи про реализацию fusion c использованием pilow, imagemagick, opencv и т.д.

[nadiopt]

ну мало ли, может надо срочно что-то пошарпить, а под рукой только R
а мне вот что-то показалось, что картинка после орфео получше для визуального дешифрирования. они не перепутаны?

[SS_Rebelious]

А не пробовали реализовать алгоритм расчета из OTB на R? Интересно было бы сравнить результаты.

В документации к OTB я не нашёл конкретного описания используемого алгоритма.

Добавил оригинальные гистограммы. Те гистограммы которые вы пытаетесь строить по продемонстрированным картинкам - бесполезны, так как они - всего-лишь скриншоты оригинальных изображений (к тому же подвергнутых операциям по улучшению визуализации).

[SS_Rebelious]

а мне вот что-то показалось, что картинка после орфео получше для визуального дешифрирования. они не перепутаны?

Картинки не перепутаны. Что касается визуального восприятия, то тут всё индивидуально.

А для чего нужна реализация именно через R? Тем более такого примитивного алгоритма не нуждающегося в функционале R.

Чтобы показать, как это делается в R. Статья адресована в первую очередь новичкам в R.

[ericsson]

Добавил оригинальные гистограммы. Те гистограммы которые вы пытаетесь строить по продемонстрированным картинкам - бесполезны, так как они - всего-лишь скриншоты оригинальных изображений (к тому же подвергнутых операциям по улучшению визуализации).

Э... то есть вы для иллюстрации результата приводите то, что еще непонятно каким преобразованиям подвергалось? Хмм...

[SS_Rebelious]

Э... то есть вы для иллюстрации результата приводите то, что еще непонятно каким преобразованиям подвергалось? Хмм...

Разъясняю. Спутниковые снимки поставляются не в виде RGB-композитов (хотя, и такие опции иногда присутствуют), а в виде наборов каналов, где значения пикселей соответствуют отражательной способности объектов местности в данном диапазоне длин волн. Любой растр при визуализации подвергается тем или иным преобразованиям которые контролируются настройками ПО. В статье паншарпенингу подвергался восьмиканальный растр, то есть я мог использовать для иллюстрации резултата либо 1 из каналов (для оттенков серого), либо 3 (для цветного). Естественно, был выбран второй вариант - ибо а) это красивше, и б) видны артефакты паншарпенинга, связанные с искажением цветов (например, зелёный цвет может становится серым или коричневым). Для каждого восьмиканального растра, используемого в качестве иллюстрации использовались идентичные комбинации каналов и настройки отображения. Таким образом у нас есть возможность сравнивать результаты работы алгоритмов, а также растра до и после преобразований.

[ericsson]

Я прекрасно знаю, в форме чего поставляются спутниковые снимки и что с ними делают, так что приведенный ликбез - лишнее.

Наличие в приведенных вами гистограммах каналов, которые отсутствуют в композите, который служит для иллюстрации, не добавляет им наглядности. Я не против RGB-композита, он имеет смысл, как иллюстрация, безусловно.

Просто то, что и исходный композит по некой причине измучен настройками до того, что в нем начинает быть заметен клиппинг (не совсем верно сделанная компрессия диапазона), и результирующие композиты, подвергшиеся pansharpening-у, грешат ровно тем же, но (судя по анализу) в еще большей степени - все это снижает иллюстративную ценность картинок и вызывает ложное впечатление, что pansharpening улучшает разрешение, но портит все остальное.

[SS_Rebelious]

исходный композит по некой причине измучен настройками до того, что в нем начинает быть заметен клиппинг (не совсем верно сделанная компрессия диапазона)

Не понимаю, на каком основании вы сделали подобные выводы, разъясните поподробнее, пожалуйста. Сцена мной относительно значения пикселей никак не модифицировалась и не "настраивалась".

[ericsson]

Так, у вас в статье есть картинка, подписанная "Мультиспектральный растр с пространственным разрешением 2,0 м" - это исходный RGB-композит низкого разрешения.
У него не все хорошо с уровнем черного (первое значение появляется на уровне 57 для красного, 63 для зеленого и 103 для синего).
А в светах картина обратная: в изображении для красного канала 1227 пикселей имеют значение 255, и только 83 - значение 254, 53 - значение 253 (далее в сторону теней идет "плато" на среднем уровне 25) - если это не клиппинг, то я уже не знаю, что можно назвать клиппингом. Картина с зеленым каналом всего в два раза лучше (там 466 пикселей с макс. насыщенностью), с синим - в четыре (там их 317).