Работа с растровыми данными в R - большие массивы

[Анна]

может переадресовать этот вопрос разработчикам на самом сайте R? я думаю люди они открытые для взаимодействия и все прояснят. вряд ли мы первые кто столкнулся с обработкой больших объемов данных в R

[p2004r]

может переадресовать этот вопрос разработчикам на самом сайте R? я думаю люди они открытые для взаимодействия и все прояснят. вряд ли мы первые кто столкнулся с обработкой больших объемов данных в R

проблема в Виндовс и ее адресации памяти, я уверен что на линуксе проблем обработки нет (пока длинна вектора не превысит указанное предельное значение). Если выложите отлаженный тест целиком, или процедуру для файлов Ландсата которые я могу скачать из указанной выше папки на ftp, готов провести эксперимент на 32 и 64 разрядной машине (у меня из софта R с rgdal и GRASS установлены, виндовса нет вообще .

[Максим Дубинин]

Спрашивать на форуме смысла особого нет, они так и скажут - ограничение памяти, с этим все понятно и написано во многих местах, задача как я понимаю - определить практический порог.

На 64 битной проблемы не будет, заодно интересно будет определить, отлаженный тест - смотрите выше, пробуйте, все должно работать без проблем.

С ландсатом ничего делать не надо, просто загрузить один из каналов, например первый, из папки ftp://ftp.glcf.umiacs.umd.edu/glcf/Land ... p170/r030/
файл p170r030_7t20010613_z38_nn10.tif.gz

[p2004r]

Спрашивать на форуме смысла особого нет, они так и скажут - ограничение памяти, с этим все понятно и написано во многих местах, задача как я понимаю - определить практический порог.

> getRasterTable(x, region.dim = c(5000,5000))
Ошибка: не могу разместить вектор размером 190.7 Mb
> gc()
used (Mb) gc trigger (Mb) max used (Mb)
Ncells 256505 6.9 467875 12.5 350000 9.4
Vcells 129349 1.0 287034041 2189.9 325129764 2480.6
>

dim = c(4000,4000) проходит, правда дождаться пока не удалось окончания, поставил ATLAS запущу вечером считаться до упора

да на 6000х6000 не хватило 800М адресного пространства. Похоже все упирается что на процесс все таки как ни крути столько памяти не выделишь на 32 разрядной архитектуре.

PS 64 разрядная лежит дома вечером запущу
запустил ощущаешь себя кочегаром подкидывающим своп файлы в топку ) трижды не угадал нужный размер свопа, завтра сделаю сразу 10 гиг и посмотрю что случится... но похоже никаких лимитов (?кроме длинны вектора?) действительно нет.

PPS 8 гигов свопа не хватило, диск долбило часов 15, чистого времени по top минут 10 на работе есть новый комп и пару сата винтов дополнительных попробую собрать на машинке параллельный своп на 3 сата диска...

[oleg]

Код: Выделить всё

[Загружено ранее сохраненное рабочее пространство]

>  gc()
         used (Mb) gc trigger (Mb) max used (Mb)
Ncells 135041  3.7     350000  9.4   350000  9.4
Vcells  89254  0.7     786432  6.0   495180  3.8
> 

> imagedata1 = data.frame(getRasterTable(x))
Ошибка: не могу разместить вектор размером 266.1 Mb


> getRasterTable(x, region.dim = c(2900,2900)) 
...
33333   414945.8 4893379     0
 [ достигнута getOption("max.print") -- пропущено 8376667 строк ]]

>  gc()
         used  (Mb) gc trigger   (Mb)  max used   (Mb)
Ncells   263884   7.1    8696245  232.3   8680195  231.8
Vcells 27427201 209.3  135692462 1035.3 166198154 1268.0

[Анна]

Хочу оживить данную тему.
Гружу растр через гдал (3600 3600 пикселей), ошибка:

Код: Выделить всё

Error: cannot allocate vector of size 98.9 Mb

настройки памяти:

Код: Выделить всё

> memory.size()
[1] 1208.65
> memory.limit()
[1] 1535

чего-то он как-то совсем мало съедает? как исправить положение?

[Максим Дубинин]

Для начала надо попробовать:

Код: Выделить всё

memory.limit(size = 3000)
memory.limit()

[rhot]

Прошло уже около двух лет с момента последнего поста - поменялась ли ситуация с растрами в R?

[Александр Мурый]

Прошло уже около двух лет с момента последнего поста - поменялась ли ситуация с растрами в R?

Вот тут кое-что по теме (пакет "raster"). Сам сабж не использовал, но пишут, что должен работать в том числе с очень большими растрами.

[rhot]

Спасибо amuriy!
Попробую на неделе...