Тайлы из Landsat 8

Обсуждение материалов сайта: вопросы, замечания, предложения
Zverik
Активный участник
Сообщения: 158
Зарегистрирован: 11 сен 2011, 14:11
Репутация: 96
Откуда: Москва
Контактная информация:

Тайлы из Landsat 8

Сообщение Zverik » 01 фев 2015, 20:26

Простая статья про обработку снимков Landsat 8 для иллюстрирования или трассировки в редакторе.

Подозреваю, снимки ещё нужно корректировать по рельефу, но кажется, этого никто не делает. Поэтому раздела про это нет.

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: Тайлы из Landsat 8

Сообщение ericsson » 01 фев 2015, 21:12

Я правильно понимаю, что сначала собирается композит в 16-битном формате, а потом он путем contrast stretch превращается в восьмибитный?
Если да, то последний этап лучше выбросить и воспользоваться, например, ImageJ (либо другим визуальным средством) для подбора параметров contrast stretch, либо для нормализации/эквализации гистограммы. Иначе, результат будет заведомо хреновым.

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: Тайлы из Landsat 8

Сообщение ericsson » 01 фев 2015, 21:16

Что касается орторектификации - ее наличие и качество определяются уровнями обработки. Уровни описаны здесь: http://landsat.usgs.gov/Landsat_Processing_Details.php

Zverik
Активный участник
Сообщения: 158
Зарегистрирован: 11 сен 2011, 14:11
Репутация: 96
Откуда: Москва
Контактная информация:

Re: Тайлы из Landsat 8

Сообщение Zverik » 01 фев 2015, 21:26

ericsson писал(а):...последний этап лучше выбросить и воспользоваться, например, ImageJ (либо другим визуальным средством) для подбора параметров contrast stretch, либо для нормализации/эквализации гистограммы. Иначе, результат будет заведомо хреновым.
Это простая инструкция, которая из интерактивных средств допускает только QGIS, да и то в одном разделе. ImageJ сейчас попробовал — для двухгиговой картинки больно много памяти хочет. Есть ли простая программа для нормализации гистограммы? Пока что лучше всего выглядит обработка Mean+deviation×2 из QGIS, указанные в статье параметры contrast stretch близки к её результату.
ericsson писал(а):Что касается орторектификации - ее наличие и качество определяются уровнями обработки. Уровни описаны здесь: http://landsat.usgs.gov/Landsat_Processing_Details.php
Спасибо, получается, большинство снимков уже обработаны, включая тот, на котором я проверял команды из статьи. Значит, раздел не нужен.

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: Тайлы из Landsat 8

Сообщение ericsson » 01 фев 2015, 21:47

Множество операций с гистограммой умеет ImageMagick в командной строке, но он не умеет сохранять (собственно, как и ImageJ) метаданные.
Указанные в статье параметры будут работать хорошо для одной сцены, и плохо - для другой (зависит от того, что на ней).
Простота инструкции не всегда означает хороший результат, естественно. Хотя для OSM это характерно, чтоб из палок и синей изоленты, но лишь бы что-то. Как показывает практика, люди делятся на тех, кому и сложный метод - не помеха, лишь бы результат был хороший, и на тех, кому даже простой - слишком сложный.

Zverik
Активный участник
Сообщения: 158
Зарегистрирован: 11 сен 2011, 14:11
Репутация: 96
Откуда: Москва
Контактная информация:

Re: Тайлы из Landsat 8

Сообщение Zverik » 01 фев 2015, 22:03

В OSM никому не нужен идеальный результат. Нужно, чтобы на снимках были различимы нужные детали. Инструкция не для публикации снимков в сети и не для подготовки снимков в музей картографического искусства. Но я буду рад улучшить раздел про цветокоррекцию.

Есть ли статьи про доводку цвета снимка в ImageMagick? Я нашёл только опус мапбокса, в котором автор с большим трудом добивается зелёных лесов, и на этом переходит к другим задачам.

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: Тайлы из Landsat 8

Сообщение ericsson » 01 фев 2015, 22:12

В случае конверсии 16 бит в 8 и низкого разрешения, "чтобы были различимы детали"="работа, близкая к идеальной, со строгим четким пониманием, что делаем".
Это физика, ее лозунгами не перебить. Весьма существенная часть разницы между деталями лежит в весьма малых областях гистограммы, при том - естественно, всегда в разных.
Так что из фразы "никому не нужен идеальный результат" вы можете честно выкинуть "идеальный" - итог от этого почти не изменится.

У imagemagick есть собственный весьма обширный help - http://www.imagemagick.org/Usage/color_mods/#histogram

Я уж молчу о применении фильтров локального контраста, например (до конверсии в 8 бит).

Zverik
Активный участник
Сообщения: 158
Зарегистрирован: 11 сен 2011, 14:11
Репутация: 96
Откуда: Москва
Контактная информация:

Re: Тайлы из Landsat 8

Сообщение Zverik » 01 фев 2015, 22:52

Спасибо за ссылку, почитал. Ключ -contrast-stretch очень похож на gdal_contrast_stretch -percentile-range, даже параметры те же. Поэтому едва ли имеет смысл менять инструкцию. На этом форуме нашёл упоминания только того ключа: viewtopic.php?p=103657#p103657. К сожалению, обещанной в том сообщении статьи в вики не нашёл. Как не нашёл и хоть немного разумных инструкций по обработке Landsat 8 с помощью IM. Полагаю, ваш опыт можно свести к набору шагов — буду рад его узнать, и привести в понятный вид для инструкции.

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: Тайлы из Landsat 8

Сообщение ericsson » 01 фев 2015, 23:11

Вы только про один ключ читали? Там вообще-то вариантов манипуляции контрастом - дофига. И все для какой-то ситуации полезны.

Слышать фразы типа "свести опыт к набору шагов" - это, извините, даже как-то оскорбительно. Во-первых, не опыт, а знания (потому что опыт - всего лишь тупой набор прецедентов, не имеющий ничего общего с пониманием механизмов). Во-вторых, если речь о знаниях, то они, естественно, к линейным howto не сводятся, иначе бы все к этим howto всегда бы и сводилось. Вы, вроде, программист - должны бы понимать.

Если бы это было возможно, в коммерческих продуктах типа ERDAS Imagine, ENVI и т.п., давно была бы чудесная кнопочка "сделать зашибись". В графических редакторах - аналогично. Но нет, зачем-то глупые разработчики коммерческого ПО заставляют несчастных пользователей учиться несколько лет дергать ползунки гамма-коррекции, настройки кривых, клиппинга, орудовать wavelet-разложениями, FFT, IFT, CLAHE и так далее. И не ради получения "шедевров", а в повседневных задачах.

Zverik
Активный участник
Сообщения: 158
Зарегистрирован: 11 сен 2011, 14:11
Репутация: 96
Откуда: Москва
Контактная информация:

Re: Тайлы из Landsat 8

Сообщение Zverik » 01 фев 2015, 23:15

Если ваши знания не позволяют составить набор шагов, повторяемый даже полным профаном в области, — что вы вообще делаете в теме про инструкции? Умных слов и названий я и сам много знаю. Я бы предпочёл услышать о статье мнение специалиста.

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: Тайлы из Landsat 8

Сообщение ericsson » 01 фев 2015, 23:21

Если вы считаете, что любая сложная задача, требующая знаний, может быть обращена в набор шагов, могу вам только посочувствовать.

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Тайлы из Landsat 8

Сообщение Максим Дубинин » 02 фев 2015, 01:54

Zverik, статья годная, пиши еще.
пристегивайтесь, турбулентность прямо по курсу

AlexTheTux
Новоприбывший
Сообщения: 3
Зарегистрирован: 20 дек 2012, 23:22
Репутация: 4

Re: Тайлы из Landsat 8

Сообщение AlexTheTux » 14 фев 2015, 19:16

Zverik, надобно поискать в статье все вхождения слова "ref".
Последний раз редактировалось AlexTheTux 12 мар 2015, 16:26, всего редактировалось 1 раз.

Marych73
Новоприбывший
Сообщения: 10
Зарегистрирован: 19 авг 2011, 08:20
Репутация: 3

Re: Тайлы из Landsat 8

Сообщение Marych73 » 22 фев 2015, 19:32

Скачал файл LC81540342014320LGN00.tar.bz
провел преобразования по инструкции, тайлы получал с помощью GDAL, врезультате все тайлы "черный квадрат Малвеича"
Попробовал convert result.tif -quality 85 result.jpg чтобы глянуть что в исходнике перед разбивкой на тайлы,
Спойлер
convert result.tif -quality 85 result.jpg
convert: result.tif: unknown field with tag 33550 (0x830e) encountered. `TIFFReadDirectory' @ warning/tiff.c/TIFFWarnings/706.
convert: result.tif: unknown field with tag 33922 (0x8482) encountered. `TIFFReadDirectory' @ warning/tiff.c/TIFFWarnings/706.
convert: result.tif: unknown field with tag 34735 (0x87af) encountered. `TIFFReadDirectory' @ warning/tiff.c/TIFFWarnings/706.
convert: result.tif: unknown field with tag 34737 (0x87b1) encountered. `TIFFReadDirectory' @ warning/tiff.c/TIFFWarnings/706.
jpg сформировался, но при попытке открыть GIMP и просмоторщик изображений крешатся.

все действия производились на Ubuntu
uname -a
Linux HomeT61 3.2.0-76-generic-pae #111-Ubuntu SMP Tue Jan 13 22:34:29 UTC 2015 i686 i686 i386 GNU/Linux

скрипты устанавливал из стандартного репозитория.
Подскажите пожалуйста, где мог ошибиться или хотябы направление где копать.

Zverik
Активный участник
Сообщения: 158
Зарегистрирован: 11 сен 2011, 14:11
Репутация: 96
Откуда: Москва
Контактная информация:

Re: Тайлы из Landsat 8

Сообщение Zverik » 23 фев 2015, 14:25

Скачал этот снимок, выполнил две команды из инструкции (gdal_landsat_pansharp и gdal_contrast_stretch, но последний с рамками 0.03-0.97), открыл результат в QGIS — всё кучеряво. Попробуйте тоже файл tif в QGIS открыть: если и там чёрный квадрат, вы какую-то из команд неправильно выполнили: например, ошиблись в нумерации каналов.

Сообщения о неизвестных полях от convert — это нормально: он не умеет читать геопривязку, и информирует об этом. Тёмные тайлы могли получиться, если не отработало растягивание контраста: на этом шаге снимок выглядит примерно так. Посмотрите, не было ли там каких-то ошибок. Крешатся программы из-за адского размера снимков. Попробуйте display из комплекта ImageMagick.

Главное, что я забыл упомянуть в инструкции, — что коррекция цвета обязательна, хотя бы автоматическая.

Ответить

Вернуться в «Материалы сайта»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 22 гостя