NetCDF (Multidimension Tools) в Arcgis

[dime1]

Создать растровый слой NetCDF не даёт возможность использовать измерение времени - не появляется список, как должно это быть - http://resources.arcgis.com/en/help/mai ... 019000000/
Данные скачаны с Global Precipitation Climatology Centre прикладываю:
precip.mon.mean.nc

[bolotoved]

В QGIS открывается в виде растра с 410 слоями, похоже, что это среднемесячные осадки за конкретный месяц конкретного года. В таком случае размерность будет в миллиметрах в день (http://precip.gsfc.nasa.gov/) Пространственное разрешение довольно грубое, 2.5 градусов.
Кроме того существует расширение для QGIS позволяющее работать с netcdf http://plugins.qgis.org/plugins/netcdfbrowser/

[Александр Мурый]

Утилита ncdump может выдавать время в человекочитаемом виде (флаг "-t") в формате CDL:

Код: Выделить всё

ncdump -t -c precip.mon.mean.nc

Спойлер

netcdf precip.mon.mean {
dimensions:
lat = 72 ;
lon = 144 ;
time = UNLIMITED ; // (410 currently)
variables:
float lat(lat) ;
lat:units = "degrees_north" ;
lat:actual_range = 88.75f, -88.75f ;
lat:long_name = "Latitude" ;
lat:standard_name = "latitude" ;
lat:axis = "Y" ;
float lon(lon) ;
lon:units = "degrees_east" ;
lon:long_name = "Longitude" ;
lon:actual_range = 1.25f, 358.75f ;
lon:standard_name = "longitude" ;
lon:axis = "X" ;
float precip(time, lat, lon) ;
precip:long_name = "Average Monthly Rate of Precipitation" ;
precip:valid_range = 0.f, 100.f ;
precip:units = "mm/day" ;
precip:add_offset = 0.f ;
precip:scale_factor = 1.f ;
precip:actual_range = 0.f, 9.985388e+29f ;
precip:missing_value = -9.96921e+36f ;
precip:precision = 32767s ;
precip:least_significant_digit = 2s ;
precip:var_desc = "Precipitation" ;
precip:dataset = "GPCP Version 2.2 Combined Precipitation Dataset" ;
precip:level_desc = "Surface" ;
precip:statistic = "Mean" ;
precip:parent_stat = "Mean" ;
double time(time) ;
time:units = "days since 1800-1-1 00:00:0.0" ;
time:long_name = "Time" ;
time:delta_t = "0000-01-00 00:00:00" ;
time:actual_range = 65378., 77828. ;
time:avg_period = "0000-01-00 00:00:00" ;
time:standard_name = "time" ;
time:axis = "T" ;

// global attributes:
:Conventions = "COARDS" ;
:title = "GPCP Version 2.2 Combined Precipitation Dataset (Final)" ;
:history = "Wed Aug 1 13:41:59 2012: ncatted -O -a comments,global,o,c,Please redownload if you obtained this file before Aug 1 2012 precip.mon.mean.nc\n",
"Wed Aug 1 13:41:16 2012: ncatted -O -a history,global,o,c,created aug 2012 by CAS at NOAA/ESRL PSD precip.mon.mean.nc\n",
"created aug 2012 by CAS at NOAA/ESRL PSD" ;
:platform = "Observation" ;
:source = "GPCP Polar Satellite Precipitation Data Centre - Emission (SSM/I emission estimates).\n",
" GPCP Polar Satellite Precipitation Data Centre - Scattering (SSM/I scattering estimates).\n",
"GPCP Geostationary Satellite Precipitation Data Centre (GPI and OPI estimates and rain gauge analyses).\n",
"NASA/GSFC Satellite Applications Office (TOVS estimates\n",
"GPCP Global Precipitation Climatology Centre (rain gauge analyses)\n",
"NASA ftp://precip.gsfc.nasa.gov/pub/gpcp-v2.2/" ;
:documentation = "http://www.esrl.noaa.gov/psd/data/gridd ... .gpcp.html" ;
:version = "V2.2" ;
:references = "http://www.esrl.noaa.gov/psd/data/gridd ... .gpcp.html" ;
:comments = "Please redownload if you obtained this file before Aug 1 2012" ;
:Acknowledgement = "\n",
",Please cite the original source of the data.\n",
"Please email the citation to george.j.huffman@nasa.gov or david.t.bolvin@nasa.gov\n",
"" ;
data:

lat = 88.75, 86.25, 83.75, 81.25, 78.75, 76.25, 73.75, 71.25, 68.75, 66.25,
63.75, 61.25, 58.75, 56.25, 53.75, 51.25, 48.75, 46.25, 43.75, 41.25,
38.75, 36.25, 33.75, 31.25, 28.75, 26.25, 23.75, 21.25, 18.75, 16.25,
13.75, 11.25, 8.75, 6.25, 3.75, 1.25, -1.25, -3.75, -6.25, -8.75, -11.25,
-13.75, -16.25, -18.75, -21.25, -23.75, -26.25, -28.75, -31.25, -33.75,
-36.25, -38.75, -41.25, -43.75, -46.25, -48.75, -51.25, -53.75, -56.25,
-58.75, -61.25, -63.75, -66.25, -68.75, -71.25, -73.75, -76.25, -78.75,
-81.25, -83.75, -86.25, -88.75 ;

lon = 1.25, 3.75, 6.25, 8.75, 11.25, 13.75, 16.25, 18.75, 21.25, 23.75,
26.25, 28.75, 31.25, 33.75, 36.25, 38.75, 41.25, 43.75, 46.25, 48.75,
51.25, 53.75, 56.25, 58.75, 61.25, 63.75, 66.25, 68.75, 71.25, 73.75,
76.25, 78.75, 81.25, 83.75, 86.25, 88.75, 91.25, 93.75, 96.25, 98.75,
101.25, 103.75, 106.25, 108.75, 111.25, 113.75, 116.25, 118.75, 121.25,
123.75, 126.25, 128.75, 131.25, 133.75, 136.25, 138.75, 141.25, 143.75,
146.25, 148.75, 151.25, 153.75, 156.25, 158.75, 161.25, 163.75, 166.25,
168.75, 171.25, 173.75, 176.25, 178.75, 181.25, 183.75, 186.25, 188.75,
191.25, 193.75, 196.25, 198.75, 201.25, 203.75, 206.25, 208.75, 211.25,
213.75, 216.25, 218.75, 221.25, 223.75, 226.25, 228.75, 231.25, 233.75,
236.25, 238.75, 241.25, 243.75, 246.25, 248.75, 251.25, 253.75, 256.25,
258.75, 261.25, 263.75, 266.25, 268.75, 271.25, 273.75, 276.25, 278.75,
281.25, 283.75, 286.25, 288.75, 291.25, 293.75, 296.25, 298.75, 301.25,
303.75, 306.25, 308.75, 311.25, 313.75, 316.25, 318.75, 321.25, 323.75,
326.25, 328.75, 331.25, 333.75, 336.25, 338.75, 341.25, 343.75, 346.25,
348.75, 351.25, 353.75, 356.25, 358.75 ;

time = "1979-01-01", "1979-02-01", "1979-03-01", "1979-04-01", "1979-05-01",
"1979-06-01", "1979-07-01", "1979-08-01", "1979-09-01", "1979-10-01",
"1979-11-01", "1979-12-01", "1980-01-01", "1980-02-01", "1980-03-01",
"1980-04-01", "1980-05-01", "1980-06-01", "1980-07-01", "1980-08-01",
"1980-09-01", "1980-10-01", "1980-11-01", "1980-12-01", "1981-01-01",
"1981-02-01", "1981-03-01", "1981-04-01", "1981-05-01", "1981-06-01",
"1981-07-01", "1981-08-01", "1981-09-01", "1981-10-01", "1981-11-01",
"1981-12-01", "1982-01-01", "1982-02-01", "1982-03-01", "1982-04-01",
"1982-05-01", "1982-06-01", "1982-07-01", "1982-08-01", "1982-09-01",
"1982-10-01", "1982-11-01", "1982-12-01", "1983-01-01", "1983-02-01",
"1983-03-01", "1983-04-01", "1983-05-01", "1983-06-01", "1983-07-01",
"1983-08-01", "1983-09-01", "1983-10-01", "1983-11-01", "1983-12-01",
"1984-01-01", "1984-02-01", "1984-03-01", "1984-04-01", "1984-05-01",
"1984-06-01", "1984-07-01", "1984-08-01", "1984-09-01", "1984-10-01",
"1984-11-01", "1984-12-01", "1985-01-01", "1985-02-01", "1985-03-01",
"1985-04-01", "1985-05-01", "1985-06-01", "1985-07-01", "1985-08-01",
"1985-09-01", "1985-10-01", "1985-11-01", "1985-12-01", "1986-01-01",
"1986-02-01", "1986-03-01", "1986-04-01", "1986-05-01", "1986-06-01",
"1986-07-01", "1986-08-01", "1986-09-01", "1986-10-01", "1986-11-01",
"1986-12-01", "1987-01-01", "1987-02-01", "1987-03-01", "1987-04-01",
"1987-05-01", "1987-06-01", "1987-07-01", "1987-08-01", "1987-09-01",
"1987-10-01", "1987-11-01", "1987-12-01", "1988-01-01", "1988-02-01",
"1988-03-01", "1988-04-01", "1988-05-01", "1988-06-01", "1988-07-01",
"1988-08-01", "1988-09-01", "1988-10-01", "1988-11-01", "1988-12-01",
"1989-01-01", "1989-02-01", "1989-03-01", "1989-04-01", "1989-05-01",
"1989-06-01", "1989-07-01", "1989-08-01", "1989-09-01", "1989-10-01",
"1989-11-01", "1989-12-01", "1990-01-01", "1990-02-01", "1990-03-01",
"1990-04-01", "1990-05-01", "1990-06-01", "1990-07-01", "1990-08-01",
"1990-09-01", "1990-10-01", "1990-11-01", "1990-12-01", "1991-01-01",
"1991-02-01", "1991-03-01", "1991-04-01", "1991-05-01", "1991-06-01",
"1991-07-01", "1991-08-01", "1991-09-01", "1991-10-01", "1991-11-01",
"1991-12-01", "1992-01-01", "1992-02-01", "1992-03-01", "1992-04-01",
"1992-05-01", "1992-06-01", "1992-07-01", "1992-08-01", "1992-09-01",
"1992-10-01", "1992-11-01", "1992-12-01", "1993-01-01", "1993-02-01",
"1993-03-01", "1993-04-01", "1993-05-01", "1993-06-01", "1993-07-01",
"1993-08-01", "1993-09-01", "1993-10-01", "1993-11-01", "1993-12-01",
"1994-01-01", "1994-02-01", "1994-03-01", "1994-04-01", "1994-05-01",
"1994-06-01", "1994-07-01", "1994-08-01", "1994-09-01", "1994-10-01",
"1994-11-01", "1994-12-01", "1995-01-01", "1995-02-01", "1995-03-01",
"1995-04-01", "1995-05-01", "1995-06-01", "1995-07-01", "1995-08-01",
"1995-09-01", "1995-10-01", "1995-11-01", "1995-12-01", "1996-01-01",
"1996-02-01", "1996-03-01", "1996-04-01", "1996-05-01", "1996-06-01",
"1996-07-01", "1996-08-01", "1996-09-01", "1996-10-01", "1996-11-01",
"1996-12-01", "1997-01-01", "1997-02-01", "1997-03-01", "1997-04-01",
"1997-05-01", "1997-06-01", "1997-07-01", "1997-08-01", "1997-09-01",
"1997-10-01", "1997-11-01", "1997-12-01", "1998-01-01", "1998-02-01",
"1998-03-01", "1998-04-01", "1998-05-01", "1998-06-01", "1998-07-01",
"1998-08-01", "1998-09-01", "1998-10-01", "1998-11-01", "1998-12-01",
"1999-01-01", "1999-02-01", "1999-03-01", "1999-04-01", "1999-05-01",
"1999-06-01", "1999-07-01", "1999-08-01", "1999-09-01", "1999-10-01",
"1999-11-01", "1999-12-01", "2000-01-01", "2000-02-01", "2000-03-01",
"2000-04-01", "2000-05-01", "2000-06-01", "2000-07-01", "2000-08-01",
"2000-09-01", "2000-10-01", "2000-11-01", "2000-12-01", "2001-01-01",
"2001-02-01", "2001-03-01", "2001-04-01", "2001-05-01", "2001-06-01",
"2001-07-01", "2001-08-01", "2001-09-01", "2001-10-01", "2001-11-01",
"2001-12-01", "2002-01-01", "2002-02-01", "2002-03-01", "2002-04-01",
"2002-05-01", "2002-06-01", "2002-07-01", "2002-08-01", "2002-09-01",
"2002-10-01", "2002-11-01", "2002-12-01", "2003-01-01", "2003-02-01",
"2003-03-01", "2003-04-01", "2003-05-01", "2003-06-01", "2003-07-01",
"2003-08-01", "2003-09-01", "2003-10-01", "2003-11-01", "2003-12-01",
"2004-01-01", "2004-02-01", "2004-03-01", "2004-04-01", "2004-05-01",
"2004-06-01", "2004-07-01", "2004-08-01", "2004-09-01", "2004-10-01",
"2004-11-01", "2004-12-01", "2005-01-01", "2005-02-01", "2005-03-01",
"2005-04-01", "2005-05-01", "2005-06-01", "2005-07-01", "2005-08-01",
"2005-09-01", "2005-10-01", "2005-11-01", "2005-12-01", "2006-01-01",
"2006-02-01", "2006-03-01", "2006-04-01", "2006-05-01", "2006-06-01",
"2006-07-01", "2006-08-01", "2006-09-01", "2006-10-01", "2006-11-01",
"2006-12-01", "2007-01-01", "2007-02-01", "2007-03-01", "2007-04-01",
"2007-05-01", "2007-06-01", "2007-07-01", "2007-08-01", "2007-09-01",
"2007-10-01", "2007-11-01", "2007-12-01", "2008-01-01", "2008-02-01",
"2008-03-01", "2008-04-01", "2008-05-01", "2008-06-01", "2008-07-01",
"2008-08-01", "2008-09-01", "2008-10-01", "2008-11-01", "2008-12-01",
"2009-01-01", "2009-02-01", "2009-03-01", "2009-04-01", "2009-05-01",
"2009-06-01", "2009-07-01", "2009-08-01", "2009-09-01", "2009-10-01",
"2009-11-01", "2009-12-01", "2010-01-01", "2010-02-01", "2010-03-01",
"2010-04-01", "2010-05-01", "2010-06-01", "2010-07-01", "2010-08-01",
"2010-09-01", "2010-10-01", "2010-11-01", "2010-12-01", "2011-01-01",
"2011-02-01", "2011-03-01", "2011-04-01", "2011-05-01", "2011-06-01",
"2011-07-01", "2011-08-01", "2011-09-01", "2011-10-01", "2011-11-01",
"2011-12-01", "2012-01-01", "2012-02-01", "2012-03-01", "2012-04-01",
"2012-05-01", "2012-06-01", "2012-07-01", "2012-08-01", "2012-09-01",
"2012-10-01", "2012-11-01", "2012-12-01", "2013-01-01", "2013-02-01" ;
}

По идее, ПО, поддерживающее netCDF, должно как-то конвертировать время в календарный вид. Насчёт ArcGIS не знаю.

[dime1]

Я качал прогу Panoly, из неё тоже можно было экспортировать в CDL. Но вот что с ним дальше делать, АГ его не понимает.
Попробую еще вариант с QGIS, можно будет оттуда экспортировать интересующие растры.

[Александр Мурый]

Я качал прогу Panoly, из неё тоже можно было экспортировать в CDL. Но вот что с ним дальше делать, АГ его не понимает.

ArcGIS, вроде бы, работает с "чистым" netCDF, а CDL — специфическая штука.

Я подправил кое-что в CDL, полученном из файла "precip.mon.mean.nc", и скомпилировал заново в netCDF. Вот файл. Протестируете в аркгисе?

Как я понял, нужно из netCDF конвертировать ряд растров в понятный для ГИС формат (типа геотифф), при этом как-то указать их календарное время (например, в названии выходного файла), так? Здесь можно было бы исп-ть GDAL + Python.

[dime1]

Протестил, результат тот же. Есть только единственная странность в том, что когда я при визуализации netcdf не задаю dimension values (optional) (так понимаю, что АГ его само подхватывает), то я получаю растр на 07.01.1800 1:17:04, а если задаю (поле time и его формат), то получаю растр на 08.01.1800 4:57:04. НИкак переходить по времени не могу. Пересчёт поля времени в свойствах слоя варьируется в пределах часов, любые изменения шага в месяц и год обратно сбрасываются в часы.
Вот уж универсальный формат придумали
ГДАЛ и Питон пока очень далеки от меня...
Вечером попробую КьюГис.

[Александр Мурый]

В архиве снизу "разобранный" на геотиффы по каналам файл "precip.mon.mean.nc" с названиями типа:

precip.mon.mean_1979-01-01.tif
… …
precip.mon.mean_2013-02-01.tif

precip.mon.mean_geotiff.7z

(891.92 КБ) 337 скачиваний

Вот питон-скрипт, которым это делалось:

Код: Выделить всё

# -*- coding: utf-8 -*-



import datetime 

from datetime import timedelta

from Scientific.IO.NetCDF import NetCDFFile

from osgeo import gdal





infile = NetCDFFile('precip.mon.mean.nc', 'r')



tlist = []

start = datetime.datetime.strptime("01/01/1800",'%m/%d/%Y')



try:

    for d in infile.variables['time']:

        date = start + timedelta(days = d)

        tlist.append(str(date))

except IOError, e:

    pass



infile.close()

tlist2 = [s.strip(' 00:00:00') for s in tlist]



# GDAL work

nc = gdal.Open('precip.mon.mean.nc')

geotrans = nc.GetGeoTransform()

nc_meta = nc.GetMetadata()

xsize = nc.RasterXSize

ysize = nc.RasterYSize



blist = []

for b in range(1, nc.RasterCount+1):

    blist.append(b)



for (b, t) in zip(blist, tlist2):

    band = nc.GetRasterBand(b)

    array = band.ReadAsArray()

    band_meta = band.GetMetadata()



    out_name = 'precip.mon.mean_' + t + '.tif'

    format = "GTiff"

    driver = gdal.GetDriverByName(format)



    out = driver.Create(out_name, xsize, ysize, 1)

    out.SetMetadata(band_meta)

    out.SetGeoTransform(geotrans)

    out.GetRasterBand(1).WriteArray(array)

[dime1]

Александр Мурый, технично А я могу как-то использовать этот код в ArcGIS (он универсален?). Просто теперь скачал нужный 1,3 Гб netcdf по суммарным осадкам разрешением в 0,5 градуса + хочу уже начать разбираться в Питоне и сравнить эти данные с worldclim (которые сразу доступны в .grd).

Код: Выделить всё

Runtime error 
Traceback (most recent call last):
  File "<string>", line 6, in <module>
ImportError: No module named Scientific.IO.NetCDF

Или это лучше прописать в QGIS, изменив название импортируемого файла?

[Александр Мурый]

А я могу как-то использовать этот код в ArcGIS (он универсален?).

Можно, если установить Scientific Python.

Просто теперь скачал нужный 1,3 Гб netcdf по суммарным осадкам разрешением в 0,5 градуса

А что, он тоже не открывается как надо в аркгисе? Просто разбивать большие netCDF поканально, наверное, не совсем удобно…

[dime1]

Да, данные из одного источника и структура одинакова, потому поведение Аркгиса предсказуемо. Хотя я уже получаю три разных растра)
Сейчас скачал http://www.arcgis.com/home/item.html?id ... 18796db938
Могу посмотреть метадата

Спойлер

netcdf file: D:\Downloads\precip.mon.total.v6.nc (NETCDF3_CLASSIC)
dimensions:
lat = 360
lon = 720
nbnds = 2
time = UNLIMITED // ((1320 currently)
variables:
float32 lat(lat=360)
:long_name = Latitude
:units = degrees_north
:standard_name = latitude
:axis = Y
:coordinate_defines = center
:actual_range = [ 89.75 -89.75]
float32 lon(lon=720)
:long_name = Longitude
:units = degrees_east
:standard_name = longitude
:actual_range = [ 2.50000000e-01 3.59750000e+02]
:axis = X
:coordinate_defines = center
float64 time(time=1320)
:long_name = Time
:units = days since 1800-1-1 00:00:00
:actual_range = [ 36889. 77035.]
:delta_t = 0000-01-00 00:00:00
:standard_name = time
:axis = T
:coordinate_defines = start
:totalling_period = 0000-01-00 00:00:00
float32 precip(time=1320, lat=360, lon=720)
:add_offset = 0.0
:scale_factor = 1.0
:missing_value = -9.96921e+36
:units = mm
:actual_range = [ 0. 4412.31005859]
:dataset = GPCC Precipitation Full V6 (0.5x0.5)
:var_desc = Precipitation
:level_desc = Surface
:statistic = Total
:parent_stat = Observations
:long_name = GPCC Monthly total of precipitation
:valid_range = [ 0. 8000.]
global atributes:
history=Created 07/2012 based on V5 data obtained via ftp
title=GPCC Full Data Reanalysis Version 6 0.5x0.5 Monthly Means
convention=CF 1.0
Documentation=http://www.esrl.noaa.gov/psd/data/gridd ... .gpcc.html
Original_Source=http://www.dwd.de/en/FundE/Klima/KLIS/int/GPCC/GPCC.htm
is the webpage and the data is at ftp://ftp.dwd.de/pub/data/gpcc/download.html
Reference=Users of the data sets are kindly requested to give feed back and to refer to GPCC publications on this webpage: http://www.dwd.de/bvbw/appmanager/bvbw/ ... entren_wzn
original_source=ftp://ftp-anon.dwd.de/pub/data/gpcc/htm ... nload.html

Я вот всё же не пойму, напротив time в колонке Value нужно вводить его размерность (1800-1-1 00:00:00), либо количество измерений (1320) и еще нижнее поле by index/by value.
http://www.narccap.ucar.edu/data/gis-howto.html

Ага, эта стрелочка с возможностью пролистывать время появляется только тогда, когда количество записей <=200.
В таком случае там время нужно вводить вручную, чтоб отобразить слой, но у меня диапазон времени 04.01.1800 9:58:32 до 08.01.1800 3:11:20.

У меня есть одно подозрение, что каким-то образом ArcGIS ссылается на системные настройки времени и даты (Панель управления-Язык и региональные стандарты) и пробует их применить к файлу netcdf Так и есть

[dime1]

Изменяем формат на Английский (США) в Панель управления-Язык и региональные стандарты и теперь можем переходить по времени в свойствах растра из netcdf на вкладке time.