Большие растры

[Loup]

Добрый день!

Хочу поработать с мозаиками Landsat (например, из датасета Hansen'а). Есть QGIS, GRASS, SAGA + могу поставить и научиться работать с другим бесплатным ПО. Сразу же возникло много проблем - любое действие (например, расчет вег. индексов) занимает огромное количество времени, появляются какие-то ошибки при "обыденных" действиях типа склейки каналов, любые преобразованные файлы весят очень много и т.д.

Можете ли накидать ссылок/подсказать какие-то хитрости работы с такими файлами? Нужно ли как-то оптимизировать компьютер для работы с ними (ноут, систем 64-битная, 8 гигов оперативки, 7-я Windows, проц. indel core i5-2410M 2.3 GHz)?

Хочу попробовать классифицировать болота по одной из мозаик на территорию, скажем 1000 на 1000 км.

[bolotoved]

Я бы ворочал большие файлы в GRASS, причем в 7-й версии. Там скоростные алгоритмы поблочной работы с большими матрицами, что позволяет обходиться разумным количеством оперативки. Каналы при этом склеивать вообще не нужно (в алгоритмах грасса они склеиваются логически, без создания специального "многоканального" растра).

[ericsson]

Объем памяти я бы увеличил в два или три раза, как минимум.

[Boris]

Хочу попробовать классифицировать болота по одной из мозаик на территорию, скажем 1000 на 1000 км.

Для начала надо определиться с алгоритмом классификации. Они очень разные. Для одних требуется непрерывность, хотя бы и виртуальная растра, для других это не важно.
Классифицировать по мозаике вообще ничего нельзя не разобрав ее на части, если это только не какой то очень продвинутый все сглаживающий алгоритм. Даже в пределах одного снимка угол наклона или дымка могут дать совершенно ложные результаты, не то что в пределах мозаики "угробленной" в части спектра мохаики.
И последнее, не знаю где именно расположен ваш участок, но даже в пределах 2-3 градусов по широте(300 км), характеристики схожих объектов на снимке могут существенно различаться из-за разной освещенности и разных климатических условий, а тут "заявка" на целых 9 градусов.

[sergsh]

Если ноут то больше 16Гб не поставить ( у меня так же ), а это для половины задач маловато

И работать под Win - это тратить свое время на просмотр песочных часов ...

Нужно ставить Linux, проще всего Ubuntu

Ну а там R или Python, хотя я рекомендовал бы Matlab, например у него очень компактный формат хранения данных, наборы спутниковых снимков по 12 Гб он запихивает в 800 Мб

[Loup]

Каналы при этом склеивать вообще не нужно (в алгоритмах грасса они склеиваются логически, без создания специального "многоканального" растра).

Да, я так и делала, все равно вечно какие-то ошибки выскакивают. Но с этим можно было бы бороться, если бы каждый процесс не занимал огромное количество времени.

Классифицировать по мозаике вообще ничего нельзя не разобрав ее на части, если это только не какой то очень продвинутый все сглаживающий алгоритм.

Hansen и др. вроде используют именно такие алгоритмы, поэтому у меня появилось желание попробовать классифицировать область без разбивки. Сначала весь участок 1000 на 1000 км, затем найти проблемные области и разбить регион на несколько частей и так до достижения хорошего результата. Регион - Западная Сибирь, тайга. Он достаточно однородный. Насчет методов классификации больших площадей часто пишут, что стратификация, т.е. разбивка на области - наиболее удачный метод. При этом субрегионов может быть достаточно много - видела в одной работе около 70 областей на территорию США. Это меня несколько удивляет, потому что работы получается не сильно меньше, чем при посценной классификации (с учетом затрат на создание мозаики).

хотя я рекомендовал бы Matlab, например у него очень компактный формат хранения данных, наборы спутниковых снимков по 12 Гб он запихивает в 800 Мб

Это в Mapping Toolbox? Каковы кстати шансы, что мои задачи он будет считать быстрее QGIS или GRASS?

[bolotoved]

> вечно какие-то ошибки выскакивают

1. Ошибки, могут быть 3-х типов: аппаратные, системные и конкретного ПО. Задача у вас нестандартная, нужно внимательно ошибки эти отслеживать и разбираться с какой проблемой вы имеете дело.

> разбивка на области - наиболее удачный метод

2. Нельзя ли эту предварительную разбивку сделать менее затратным методом, например, по MODIS или, редуцировав пространственное разрешение вашей мозаики до приемлемых размеров.

[sergsh]

Каковы кстати шансы, что мои задачи он будет считать быстрее QGIS или GRASS?

100% быстрее. Так как есть куча способов по ускорению счета. Векторизация в первую очередь. Встроенная поддержка GPU.