Как открыть файл (геоданные) с расширением .nc (NetCDF)

[Natalia Novoselova]

Здесь https://www.bgc-jena.mpg.de/geodb/projects/Data.php (project - “Geocarbon”)
Скачала Forest Aboveground Biomass map (170,5 мб)

Скачивается файл (или архив) с расширением .nc
В сети дается множество советов. Файлы с таким расширением бывают разные, т.е. нет одного решения. Вероятно, если это геоданные, то есть какой-то свой формат, м.б. его можно открыть через известные софты.

Не рискую делать эти операции наугад тем софтом, что предлагают скачивать и устанавливать.

Может быть кто-то знает, как его можно открыть?

[ericsson]

Во-первых, не "с расширением .nc" а "в формате NetCDF".
Во-вторых, вы читали хоть вот это http://desktop.arcgis.com/en/arcmap/10. ... f-data.htm ?

[bolotoved]

Когда вам в руки попадает неведомый вам файл геоданных, первое, что вы должны сделать, это использовать утилиту GDAL для ознакомления с этим форматом и что содержит конкретный файл:

Код: Выделить всё

gdalinfo filename.nc

В формате NetCDF любят хранить данные метеорологи, гидрологи и модельеры-экологи, т.ч. этот формат достаточно распространен и нужно уметь с ним работать. К тому же работа с ним в целом аналогична работе с HDF. Помоему, QGIS умеет открывать его как и какой-нибудь TIF, хотя чтобы чего-нибудь не напутать (особенно с размерностями) лучше использовать GDAL напрямую.

Возьмем, к примеру, файл проекта MERRA содержащий среднесуточную температуру на высоте 2 метра и посмотрим, что нам выдаст gdalinfo.

Код: Выделить всё

Warning 1: No UNIDATA NC_GLOBAL:Conventions attribute
Driver: netCDF/Network Common Data Format
Files: MERRA2_100.statD_2d_slv_Nx.19800102.nc4.nc
Size is 576, 361
Coordinate System is `'
Origin = (-180.312500000000000,90.250000000000000)
Pixel Size = (0.625000000000000,-0.500000000000000)
Metadata:
  lat#CLASS=DIMENSION_SCALE
  lat#fullnamepath=/lat
  lat#long_name=latitude
  lat#NAME=lat
  lat#origname=lat
  lat#units=degrees_north
  lat#valid_range={-9.9999999e+14,9.9999999e+14}
  lat#vmax=9.9999999e+14
  lat#vmin=-9.9999999e+14
  lat#_Netcdf4Dimid=1
  lon#CLASS=DIMENSION_SCALE
  lon#fullnamepath=/lon
  lon#long_name=longitude
  lon#NAME=lon
  lon#origname=lon
  lon#units=degrees_east
  lon#valid_range={-9.9999999e+14,9.9999999e+14}
  lon#vmax=9.9999999e+14
  lon#vmin=-9.9999999e+14
  lon#_Netcdf4Dimid=0
  NC_GLOBAL#HDF5_GLOBAL.Comment=GMAO filename: d5124_m2_jan79.statD_2d_slv_Nx.19800102.nc4
  NC_GLOBAL#HDF5_GLOBAL.Contact=http://gmao.gsfc.nasa.gov
  NC_GLOBAL#HDF5_GLOBAL.Conventions=CF-1
  NC_GLOBAL#HDF5_GLOBAL.DataResolution=0.5 x 0.625
  NC_GLOBAL#HDF5_GLOBAL.EasternmostLongitude=179.375
  NC_GLOBAL#HDF5_GLOBAL.Filename=MERRA2_100.statD_2d_slv_Nx.19800102.nc4
  NC_GLOBAL#HDF5_GLOBAL.Format=NetCDF-4/HDF-5
  NC_GLOBAL#HDF5_GLOBAL.GranuleID=MERRA2_100.statD_2d_slv_Nx.19800102.nc4
  NC_GLOBAL#HDF5_GLOBAL.History=Original file generated: Sat May 31 18:44:33 2014 GMT
  NC_GLOBAL#HDF5_GLOBAL.identifier_product_doi=10.5067/9SC1VNTWGWV3
  NC_GLOBAL#HDF5_GLOBAL.identifier_product_doi_authority=http://dx.doi.org/
  NC_GLOBAL#HDF5_GLOBAL.Institution=NASA Global Modeling and Assimilation Office
  NC_GLOBAL#HDF5_GLOBAL.LatitudeResolution=0.5
  NC_GLOBAL#HDF5_GLOBAL.LongitudeResolution=0.625
  NC_GLOBAL#HDF5_GLOBAL.LongName=MERRA2 statD_2d_slv_Nx: 2d,Daily,Aggregated Statistics,Single-Level,Assimilation,Single-Level Diagnostics
  NC_GLOBAL#HDF5_GLOBAL.nco_openmp_thread_number=1
  NC_GLOBAL#HDF5_GLOBAL.NorthernmostLatitude=90.0
  NC_GLOBAL#HDF5_GLOBAL.ProductionDateTime=Original file generated: Sat May 31 18:44:33 2014 GMT
  NC_GLOBAL#HDF5_GLOBAL.RangeBeginningDate=1980-01-02
  NC_GLOBAL#HDF5_GLOBAL.RangeBeginningTime=00:00:00.000000
  NC_GLOBAL#HDF5_GLOBAL.RangeEndingDate=1980-01-02
  NC_GLOBAL#HDF5_GLOBAL.RangeEndingTime=23:59:59.000000
  NC_GLOBAL#HDF5_GLOBAL.References=http://gmao.gsfc.nasa.gov
  NC_GLOBAL#HDF5_GLOBAL.ShortName=M2SDNXSLV
  NC_GLOBAL#HDF5_GLOBAL.Source=CVS tag: GEOSadas-5_12_4
  NC_GLOBAL#HDF5_GLOBAL.SouthernmostLatitude=-90.0
  NC_GLOBAL#HDF5_GLOBAL.SpatialCoverage=global
  NC_GLOBAL#HDF5_GLOBAL.TemporalRange=1980-01-01 -> 2016-12-31
  NC_GLOBAL#HDF5_GLOBAL.Title=MERRA2 statD_2d_slv_Nx: 2d,Daily,Aggregated Statistics,Single-Level,Assimilation,Single-Level Diagnostics
  NC_GLOBAL#HDF5_GLOBAL.VersionID=5.12.4
  NC_GLOBAL#HDF5_GLOBAL.WesternmostLongitude=-180.0
  NETCDF_DIM_EXTRA={time}
  NETCDF_DIM_time_DEF={1,4}
  NETCDF_DIM_time_VALUES=690
  T2MMEAN#fmissing_value=9.9999999e+14
  T2MMEAN#fullnamepath=/T2MMEAN
  T2MMEAN#long_name=2-meter_air_temperature
  T2MMEAN#missing_value=9.9999999e+14
  T2MMEAN#origname=T2MMEAN
  T2MMEAN#standard_name=2-meter_air_temperature
  T2MMEAN#units=K
  T2MMEAN#valid_range={-9.9999999e+14,9.9999999e+14}
  T2MMEAN#vmax=9.9999999e+14
  T2MMEAN#vmin=-9.9999999e+14
  T2MMEAN#_FillValue=9.9999999e+14
  T2MMEAN#_Netcdf4Dimid=2
  time#begin_date=19800102
  time#begin_time=3000
  time#CLASS=DIMENSION_SCALE
  time#fullnamepath=/time
  time#long_name=time
  time#NAME=time
  time#origname=time
  time#time_increment=240000
  time#time_interval=24
  time#units=minutes since 1980-01-02 00:30:00
  time#valid_range={-9.9999999e+14,9.9999999e+14}
  time#vmax=9.9999999e+14
  time#vmin=-9.9999999e+14
  time#_Netcdf4Dimid=2
Corner Coordinates:
Upper Left  (-180.3125000,  90.2500000) 
Lower Left  (-180.3125000, -90.2500000) 
Upper Right ( 179.6875000,  90.2500000) 
Lower Right ( 179.6875000, -90.2500000) 
Center      (  -0.3125000,   0.0000000) 
Band 1 Block=576x1 Type=Float32, ColorInterp=Undefined
  NoData Value=999999986991104
  Unit Type: K
  Metadata:
    fmissing_value=9.9999999e+14
    fullnamepath=/T2MMEAN
    long_name=2-meter_air_temperature
    missing_value=9.9999999e+14
    NETCDF_DIM_time=690
    NETCDF_VARNAME=T2MMEAN
    origname=T2MMEAN
    standard_name=2-meter_air_temperature
    units=K
    valid_range={-9.9999999e+14,9.9999999e+14}
    vmax=9.9999999e+14
    vmin=-9.9999999e+14
    _FillValue=9.9999999e+14
    _Netcdf4Dimid=2

Как видно тут у нас полная информация о проекции, разрешении, слоях и их атрибутах. NetCDF может содержать несколько слоев, по этому нужно внимательно посмотреть документацию и вывод gdalinfo, чтобы понять, что именно вам нужно.

В нашем случае, файл содержит всего один канал (переменная Band 1 в выводе gdalinfo). Далее нас интересует название переменной, которую мы хотим экстрагировать (NETCDF_VARNAME). В случае с температурой на высоте 2-х метров это NETCDF_VARNAME=T2MMEAN. Поскольку растр находится в географической системе координат, то логично и вывести его в этой системе. До сих пор имел дело лишь с данными глобального охвата находящимися в этой системе. Возможно, в некоторых случаях придется дополнительно напрячься с настройкой целевой системы координат. Итак, экстрагируем конкретный слой c помощью утилиты gdalwarp:

Код: Выделить всё

gdalwarp -of GTiff -t_srs EPSG:4326 \
netCDF:"MERRA2_100.statD_2d_slv_Nx.19800102.nc4.nc":T2MMEAN output.tif

Где
-of GTiff -- формат выходного файла
-t_srs EPSG:4326 -- целевая система координат (в данном случае +proj=longlat +datum=WGS84 +no_defs)
далее идет конструкция тип_файла:название_файла:название_слоя
может быть и так: тип_файла:название_файла:название_набора:название_слоя (это все смотрим в выводе gdalinfo)
output.tif -- путь и название выходного файла TIF

Вот и все.

Еще: всегда следите за размерностью выходного файла!
С NetCDF проблем не припомню, а вот с похожим форматом GRIB были проблемы -- GDAL без разрешения переводил все размерности в систему СИ, при этом в метафайл прописывались исходные размерности. Например, он преобразовывал градусы Кельвина в градусы Цельсия, а в метаданных оставлял Кельвины! Сейчас вроде этот глюк исправили, но я с той поры стал страховаться и заперщать GDAL самовольно менять размерности. Для GRIB это делается с помощью флага GRIB_NORMALIZE_UNITS=NO.

[Natalia Novoselova]

Когда вам в руки попадает неведомый вам файл геоданных, первое, что вы должны сделать, это использовать утилиту GDAL для ознакомления с этим форматом и что содержит конкретный файл:.

Не могла предположить, что так сложно. Спасибо. Попробую разобраться.
Чтобы повторить по вашему алгоритму - где именно нужно делать описаные вами операции?
Это можно сделать, находясь в QGIS, или GDAL нужно ставить отдельно? Здесь? http://www.gdal.org/

Вопрос совсем новичка - просьба сориентировать, как можно повторить вашу операцию с анализом файла? И вот этот шаг, который, как я поняла, означает открытие файла:

Итак, экстрагируем конкретный слой c помощью утилиты gdalwarp:

Где
-of GTiff -- формат выходного файла
-t_srs EPSG:4326 -- целевая система координат (в данном случае +proj=longlat +datum=WGS84 +no_defs)
далее идет конструкция тип_файла:название_файла:название_слоя
может быть и так: тип_файла:название_файла:название_набора:название_слоя (это все смотрим в выводе gdalinfo)
output.tif -- путь и название выходного файла TIF

Вот и все.

Да, при скачивании геоданных по своим задачам встречаюсь с самыми разными форматами. И есть такие, которые пока не знаю, как открывать. Думаю, ваш пример содержит хороший ключ в правильном направлении - как с ними работать.




И пробую также по данному "простому" способу в среде ArcGIS.

Во-первых, не "с расширением .nc" а "в формате NetCDF".
Во-вторых, вы читали хоть вот это http://desktop.arcgis.com/en/arcmap/10. ... f-data.htm ?

Руководствуясь этой ссылкой - пытаюсь открыть файл при помощи Make NetCDF Feature Layer в ArcGIS.
При этом открытые превращается в обряд настроек, пройти которые правильно у меня пока не получилось.
Там есть параметр «Row dimensions» на котором не знаю, что ставить. Хелп не вносит ясности. Если оставить по умолчанию «ничего», то файл открывается 1 точкой. (Предполагаю, что причина этого – этот параметр, хотя может быть и что-то другое в настройках)

Нет ли какого-то более очевидного способа открыть файл? Странно, что нужно что-то настраивать для этого. Я же не знаю сути данных. Как я могу что-то правильно настроить?

P.S. Возможно, как раз изучение файла через GDAL должно подсказать эти правильные настройки при использовании этого инструмента (или его аналога Make NetCDF Raster Layer)?

[trir]

Это можно сделать, находясь в QGIS, или GDAL нужно ставить отдельно?

Обсуждали ведь кажется, GDAL есть в QGIS. Просто с ним надо работать из командной строки или через PowerShell

Нет ли какого-то более очевидного способа открыть файл? Странно, что нужно что-то настраивать для этого. Я же не знаю сути данных. Как я могу что-то правильно настроить?

потому что это универсальный контейнер - в нём может быть что угодно. Обычно к таким файлам прикладывают описание структуры или его можно получить с помощью gdalinfo

[Andrey Zhukov]

https://www.bgc-jena.mpg.de/geodb/proje ... etails.php - всегда надо читать метаданные.

http://desktop.arcgis.com/ru/arcmap/10. ... -layer.htm - и что тут вообще сложного?

[bolotoved]

как можно повторить вашу операцию с анализом файла?

Если вы работаете под Windows и у вас установлен QGIS, то у вас также установлен osgeo4w shell -- командная оболочка с помощью которой можно управлять открытыми геоприложениями, в том числе GDAL. Через меню "пуск" найдите папку с программами QGIS и запустите osgeo4w shell, далее выполняйте команды, прописывая названия своих файлов и пути к ним.

Также неплохо было бы ознакомиться со статьей про GDAL: http://gis-lab.info/qa/gdal-examples.html

[ericsson]

https://www.bgc-jena.mpg.de/geodb/proje ... etails.php - всегда надо читать метаданные.

На этом сайте идиотская система URL-ов, ссылку на конкретную информацию дать невозможно.

[nickleb]

В формате NetCDF любят хранить данные метеорологи, гидрологи и модельеры-экологи,

.. и, конечно, океанологи . - Вот как один из океанологов доходчиво и живо описывает NetCDF-формат:

www.oceanographers.ru/forum/viewtopic.php?t=80#p517

[Natalia Novoselova]

Пробую сначала разобраться по линии ArcGIS

https://www.bgc-jena.mpg.de/geodb/proje ... etails.php - всегда надо читать метаданные.

Читаю метаданные. Помогло мало, так как непонятно, как это вбивать в настройки (метаданные открываются при клике на "Download" для файла "Forest Aboveground Biomass map" по верхней ссылке

Метаданные:

NcDump
netcdf Forest_Aboveground_Biomassv3 { dimensions: longitude = 36000 ; latitude = 14002 ; variables: double longitude(longitude) ; longitude:standard_name = "longitude" ; longitude:long_name = "longitude" ; longitude:units = "degrees_east" ; longitude:axis = "X" ; double latitude(latitude) ; latitude:standard_name = "latitude" ; latitude:long_name = "latitude" ; latitude:units = "degrees_north" ; latitude:axis = "Y" ; float Forest_Aboveground_Biomass_v3(latitude, longitude) ; Forest_Aboveground_Biomass_v3:long_name = "Forest_Aboveground_Biomass_v3" ; Forest_Aboveground_Biomass_v3:_FillValue = -3.4e+38f ; Forest_Aboveground_Biomass_v3:missing_value = -3.4e+38f ; Forest_Aboveground_Biomass_v3:projection = "+proj=longlat +datum=WGS84 +no_defs +ellps=WGS84 +towgs84=0,0,0" ; Forest_Aboveground_Biomass_v3:projection_format = "PROJ.4" ; Forest_Aboveground_Biomass_v3:min = 0. ; Forest_Aboveground_Biomass_v3:max = 611.399963378906 ; // global attributes: :CDI = "Climate Data Interface version 1.6.9 (http://mpimet.mpg.de/cdi)" ; :history = "Wed Sep 09 15:23:36 2015: cdo -f nc4c -z zip copy Forest_Aboveground_Biomass_v3.nc Forest_Aboveground_Biomass_v3_2.nc" ; :Conventions = "CF-1.4" ; :created_by = "R, packages ncdf and raster (version 2.2-31)" ; :date = "2015-08-31 14:39:27" ; :CDO = "Climate Data Operators version 1.6.9 (http://mpimet.mpg.de/cdo)" ; }

http://desktop.arcgis.com/ru/arcmap/10. ... -layer.htm - и что тут вообще сложного?

А вы пробовали открыть по этому алгоритму, используя параметры из метаданных?

Я пробовала и не вышло. Поскольку не понятно было из мета-данных, что вбивать, я ставила всё по умолчанию. Очевидно, что нужные параметры нужно брать из метаданных, но я не могу понять какие.

Принткрин окна Make NetCDF Raster Layer прилагаю. При таком заполнении настроек - у меня растр не получался. Просто никакого эффекта.

Аналогично с инструментом Make NetCDF Feature Layer. Или никакого эффекта или дает 1 точку.

Может быть, если вы протестировали и у вас получилось открыть файл "Forest Aboveground Biomass map", вы могли бы показать картинку? Как-то запутала меня такая сложная система открытия файла. Хоть бы представить, что там на выходе должно быть... - это помогло бы разобарться с обоими способами открытия (через ArcGIS и GDAL)

[Natalia Novoselova]

В формате NetCDF любят хранить данные метеорологи, гидрологи и модельеры-экологи,

.. и, конечно, океанологи . - Вот как один из океанологов доходчиво и живо описывает NetCDF-формат:

www.oceanographers.ru/forum/viewtopic.php?t=80#p517

Нда.. понятно, что для открытия такого файла - нужен, как минимум, хороший базис знаний в математике и программировании. Так просто это не сделаешь.

Мне не понятно, в каком виде этот сложный формат может быть геоданными? У меня порушились стереотипы. Видимо, это представляет собой не стандартные геоданные (слой на карте), а именно систему таблиц. То есть то из чего, может быть, можно сделать слои по нужным параметрам.

Может быть, в MatLab и нужно прямо идти, чтобы его открыть..

[trir]

Мне не понятно, в каком виде этот сложный формат может быть геоданными? У меня порушились стереотипы. Видимо, это представляет собой не стандартные геоданные (слой на карте), а именно систему таблиц.

координаты есть, значит геоданные. Для меня нормальные геоданные - это wkt

Common Data Format (CDF) is a library and toolkit that was developed by the National Space Science Data Center (NSSDC) at NASA starting in 1985. The software is an interface for the storage and manipulation of multi-dimensional data sets.

https://en.wikipedia.org/wiki/Common_Data_Format

NetCDF (Network Common Data Form) is a set of software libraries and self-describing, machine-independent data formats that support the creation, access, and sharing of array-oriented scientific data.

https://en.wikipedia.org/wiki/NetCDF

удобная в общем штука

[Natalia Novoselova]

Это можно сделать, находясь в QGIS, или GDAL нужно ставить отдельно?

Обсуждали ведь кажется, GDAL есть в QGIS. Просто с ним надо работать из командной строки или через PowerShell

Если с моим участием, то вот что мы обсуждали:
viewtopic.php?f=5&t=21416&start=15#p146032

Тогда дословно по шагам я это выполнила.

Но найти у себя "osgeo4w shell" и также "PowerShell" в папке QGIS 2.16 не получилось. Этого там нет. (У меня Windows 8 с "метро", т.е. нет функции "Пуск", здесь она ликвидирована).

Но есть osgeo4w-setup. (принтскрин). Это верное направление, чтобы перейти к описанной Bolotoved-ом работой с GDAL?
Конечно, путем чтения и соотв. статей и хелпа.

[giser]

Нужно запустить приложение. Последнее в списке. Это и есть shell.

[Natalia Novoselova]

Нужно запустить приложение. Последнее в списке. Это и есть shell.

Тема распалась на 3 способа открытия файла (а я то думала, это простой вопрос).
В частности, в отношении GDAL вопрос ушел в то, что знаю я пока крайне плохо. Но разобраться крайне хочу.

В общем, как поняла, мне сейчас OSGeo4W надо установить (принтскрин установки при выборе OSGeo4W.setup)?

И дальше попробую разобраться с данной Bolotoved-ом инструкцией.

Не уверена, что получится открыть данный файл через GDAL. Может быть, его правильней открывать в MatLab в специальном софте для открытия NetCDF файлов (о чем говорилось в статье по ссылке на форум океанологов). В общем.. попробую разные варианты.