Как открыть файл (геоданные) с расширением .nc (NetCDF)

Вопросы общего характера по ГИС и дистанционному зондированию, не связанные с конкретным ПО.
bolotoved
Гуру
Сообщения: 920
Зарегистрирован: 30 дек 2008, 14:11
Статьи: 4
Проекты: 1
Репутация: 235
Откуда: Ханты-Мансийск
Контактная информация:

Re: Как открыть файл (геоданные) с расширением .nc (NetCDF)

Сообщение bolotoved » 27 дек 2016, 18:17

Что-то у меня эти NetCDF файлы GDAL не воспринимает, может я туплю, а может ESA в этот формат запихали данные каким-то специфичным образом.

Gdalinfo выдает мне такое сообщение:

Код: Выделить всё

is a netCDF file, but not in GMT configuration
Интересно, что вам Gdalinfo выдал:

Код: Выделить всё

Driver: HDF5/Hierarchical Data Format Release 5
Files: SMOS_L2SM_2016oct31.nc
Что-то я пока понять не могу, почему он у вас как HDF5 определился и выдал метаданные, а у меня определился как NetCDF, но читаться отказался. Версия GDAL у меня 2.1.2, собирал сам, может что-то не то собрал. Но на более старой собранной ubunto-gis версии 1.10.0 таже фигня. Будет время, покопаю глубже.

nickleb
Гуру
Сообщения: 739
Зарегистрирован: 22 май 2010, 20:20
Репутация: 65

Re: Как открыть файл (геоданные) с расширением .nc (NetCDF)

Сообщение nickleb » 27 дек 2016, 19:27

PNG_from_SM_OPER_MIR_SMUDP2_20161031T233024_20161101T002344_620_001_1.png
PNG_from_NetCDF
PNG_from_SM_OPER_MIR_SMUDP2_20161031T233024_20161101T002344_620_001_1.png (1.48 МБ) 1506 просмотров
Natalia Novoselova писал(а): В папке SMOS_ L2SM_31oct2016_ MIR_SMUDP2_nc – тестируемый netcdf файл
Natalia, выкладываю 7z-архив с ASCII-файлом и картинки-карты по нескольким variables . И ASCII-файл, и png получены из Вашего nc-файла в ODV (OceanDataView)
ODV после регистрации доступно по:
https://odv.awi.de/en/software/download/]https://odv.awi.de/en/software/download/]https://odv.awi.de/en/software/download/
Вложения
data_from_SM_OPER_MIR_SMUDP2_20161031T233024_20161101T002344_620_001_1.7z
ASCII_from_NetCDF
(5.67 МБ) 24 скачивания

Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 2683
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 39
Ваше звание: /

Re: Как открыть файл (геоданные) с расширением .nc (NetCDF)

Сообщение Natalia Novoselova » 27 дек 2016, 19:55

bolotoved писал(а):
Что-то я пока понять не могу, почему он у вас как HDF5 определился и выдал метаданные, а у меня определился как NetCDF, но читаться отказался. Версия GDAL у меня 2.1.2, собирал сам, может что-то не то собрал. Но на более старой собранной ubunto-gis версии 1.10.0 таже фигня. Будет время, покопаю глубже.
Видимо, netcdf такой формат, что к нему нельзя с единой меркой подходить. Вообще разрушает стереотип "формат данных", скорее это принцип сохранения массива данных, к которому каждый раз нужно думать, как искать ключ.. Но при этом это буквально основной формат сохранения геоданных разных биофизических параметров.

Хорошая тема для статьи GIS-Lab.
nickleb писал(а): Natalia, выкладываю 7z-архив с ASCII-файлом и картинки-карты по нескольким variables . И ASCII-файл, и png получены из Вашего nc-файла в ODV (OceanDataView)
ODV после регистрации доступно по:
https://odv.awi.de/en/software/download/]https://odv.awi.de/en/software/download/]https://odv.awi.de/en/software/download/
Здорово, ODV - это софт, который позволяет читать netcdf?
Интересно, его название "Ocean Data view" - налагет специфику на данные, которые им можно пробовать открывать?
Ведь данный файл - это влажность почв.
В любом случае - изучу его возможности. Так как в netcdf несколько данных, с которыми нужно научиться как работать.

А по SMOS products отыскала у esa свой софт. Скачивается здесь:

http://step.esa.int/main/ -информация
The latest installers for SNAP and the Sentinel Toolboxes.

Можно скачать софт, который открывает (визуализирует) только продукты SMOS (Level1, Level2 - soil moisture). И еще софт, который открывает Sentinel 1-3, PROBA-V
Я сделала первое. И тестируемый файл netcdf открылся множеством данных.

В общем - теперь изучать, что делать с этим дальше.

Однако, думаю, что софт заточен под данные esa. То есть netcdf других производителей он не будет брать. Поэтому изучу "Ocean Data view" - что он может дать для других данных.
Кстати, как раз можно будет сравнить и посмотреть на возможности ODV.
Совпадают ли его значения переменных с родным софтом для чтения продуктов SMOS? если да, значит, ODV можно использовать смело.

Скриншот:
Вложения
smos_toolset.jpg
smos_toolset.jpg (655.15 КБ) 1496 просмотров
Последний раз редактировалось Natalia Novoselova 27 дек 2016, 20:24, всего редактировалось 3 раза.

Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 2683
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 39
Ваше звание: /

Re: Как открыть файл (геоданные) с расширением .nc (NetCDF)

Сообщение Natalia Novoselova » 27 дек 2016, 19:56

.
Последний раз редактировалось Natalia Novoselova 27 дек 2016, 20:16, всего редактировалось 1 раз.

Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 2683
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 39
Ваше звание: /

Re: Как открыть файл (геоданные) с расширением .nc (NetCDF)

Сообщение Natalia Novoselova » 27 дек 2016, 20:10

Кликаем на Pixel info и вот тебе в окне - значение влажности почв ))

Ну почему все данные NetCDF не могут быть так выложены? :D

Правда, конечно, мне это нужно не значением в окне, а слоем.. ну буду изучать.
Вложения
smos_toolset2.jpg
smos_toolset2.jpg (163.75 КБ) 1478 просмотров

bolotoved
Гуру
Сообщения: 920
Зарегистрирован: 30 дек 2008, 14:11
Статьи: 4
Проекты: 1
Репутация: 235
Откуда: Ханты-Мансийск
Контактная информация:

Re: Как открыть файл (геоданные) с расширением .nc (NetCDF)

Сообщение bolotoved » 28 дек 2016, 15:37

Я добился, что GDAL стал читать метаданные этого странного NetCDF (для этого нужно было собрать GDAL c последними версиями библиотек HDF5 и NetCDF). Однако, экстрагировать набор данных я не сумел. Вероятно в данном случае действительно, нужно смотреть в сторону софта от ESA.

Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 2683
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 39
Ваше звание: /

Re: Как открыть файл (геоданные) с расширением .nc (NetCDF)

Сообщение Natalia Novoselova » 28 дек 2016, 17:01

Чтобы проверить единицы этого netcdf файла и сверить с другим способ его открытия, я правильно понимаю, что указанная в скриншоте единица почвенной влажности m3m-3
это доля? То есть , это число умноженное на 100 – даст процент воды в 1 куб. метре почвы. Вроде сходится со средними показателями влажности почвы
https://en.wikipedia.org/wiki/Soil#Soil ... re_content

Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 2683
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 39
Ваше звание: /

Re: Как открыть файл (геоданные) с расширением .nc (NetCDF)

Сообщение Natalia Novoselova » 28 дек 2016, 19:11

Зафиксирую здесь шаги найденного способа открытия netcdf файла, - продукта SMOS Level2 (Soil moisture) при помощи SMOS Toolbox
SMOS products содержит много переменных (сохраненных как netcdf), а SMOS Toolset - много параметров. Надо изучать мануалы, наверное, возможно больше или проще.

Самый простой способ.
1. Запустить SMOS toolset
2. Открыть продукт (исходный netcdf файл). В моем примере
SM_OPER_MIR_SMUDP2_20161031T233024_20161101T002344_620_001_1.nc

3. Чтобы показать данные внутри SMOS toolset:
Product Explorer > Soil_Moisture
Чтобы увидеть значение каждого пикселя - переключиться на Pixel info, водить курсором. Единица почвенной влажности - m3/m-3 означает долю объема воды в 1 кубическом метре почвы (умножить на 100 - получим процент объема воды в одном кубическом метре почвы).

3. Чтобы вывести данные в растровый слой и использовать в ГИС софте. Найденный способ.
Из SMOS Toolbok переходим в Export > BEAM-DIMAP.
При этом в папку "BEAM-DIMAP" экспортируется весь netcdf файл в виде множества растров, каждый из которых можно открыть отдельно, например, в ArcMap.

4. Для возможности задавать цветовую классификацию растру из папки "BEAM-DIMAP", в этих растрах следует заменить значение NODATA на -0.999.Это можно сделать двумя способами:

а) В ArcMap открыть нужный растр из папки "BEAM-DIMAP" (Soil Moisture.img) и пересохранить его (Data> Export Data), при этом в окне «Export Raster Data» задать значение NODATA как -0.999.
б)через консоль:

Код: Выделить всё

gdal_edit.py -a_nodata -999 soilmoisture.tif
Источник: viewtopic.php?f=16&t=21901&p=149494#p149493

Новый растр – имеет возможности классификации (можно строить карту), также, как слой, его можно использовать в дальнейшей геобраоботке с другими данными.
Вложения
smos_toolset3.jpg
smos_toolset3.jpg (198.51 КБ) 1262 просмотра

Ответить

Вернуться в «Общие вопросы»