Данные спутника следующего поколения NPP

Программы и алгоритмы для обработки данных дистанционного зондирования: ERDAS, ENVI и другие.
sergsh
Активный участник
Сообщения: 205
Зарегистрирован: 20 фев 2013, 21:48
Репутация: 30

Re: Данные спутника следующего поколения NPP

Сообщение sergsh » 23 фев 2013, 14:58

Pilot писал(а):здесь http://hdfeos.org/zoo/index_openLAADS_Examples.php есть примеры файлов NPP, и примеры кода под IDL и Matlab

Примеры кода для Матлаб там есть, НО
они почему то используют для примера файл
NPP_D16BRDF3_L3D.A2012241.h20v03.C1_03001.2012258151353.hdf с расширением соответственно HDF
а я скачал с FTP NNP файл с расширением h5 , ну и если его поставить на место HDF - ничего не работает в их примерах.
Хотя с их родным файлом NPP_D16BRDF3_L3D.A2012241.h20v03.C1_03001.2012258151353.hdf их же пример на Матлаб тоже не работает... просто не может открыть файл.
Нужно разбираться тщательнее видимо.

По HDF-View - скачал, поставил, но картинки она у меня не показывает.
А показывает только таблицу в цифрах. Как ее заставить файл нарисовать - непонятно.
Может кто подскажет что там нужно нажать чтобы увидеть-нарисовать снимок ?

Slinger
Гуру
Сообщения: 879
Зарегистрирован: 17 июн 2010, 23:14
Репутация: 207
Откуда: Москва

Re: Данные спутника следующего поколения NPP

Сообщение Slinger » 23 фев 2013, 22:19

Список ПО, визуализирующие hdf (4-я и 5-я версии точно)

http://www.hdfgroup.org/tools/earthscience.html

gamm
Гуру
Сообщения: 4048
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1050
Ваше звание: программист
Откуда: Казань

Re: Данные спутника следующего поколения NPP

Сообщение gamm » 24 фев 2013, 05:29

Slinger писал(а):Список ПО, визуализирующие hdf (4-я и 5-я версии точно)
http://www.hdfgroup.org/tools/earthscience.html
жалко, R у них в списке нет с примерами ... в НАСА - ких HDF-форматах есть специфика, насколько я помню. Интересно, а бесплатный клон Matlab - Octave тоже будет работать с этими примерами? наверное, каких-нибудь пакетов не хватит ...

deeper
Интересующийся
Сообщения: 15
Зарегистрирован: 14 дек 2012, 15:21
Репутация: 1

Re: Данные спутника следующего поколения NPP

Сообщение deeper » 03 мар 2013, 09:09

sergsh писал(а):Немного разобрался как читать в МатлаБ, может будет кому полезно из начинающих

%% выводит краткий список групп данных из файла типа h5
%
h5disp('SVM07_npp_d20121122_t2330077_e2335463_b05556_c20121123053547889239_noaa_ops.h5','/','min');
%%
% Group '/'
% Group '/All_Data'
% Group '/All_Data/VIIRS-M7-SDR_All'
% Dataset 'ModeGran'
% Dataset 'ModeScan'
% Dataset 'NumberOfBadChecksums'
% Dataset 'NumberOfDiscardedPkts'
% Dataset 'NumberOfMissingPkts'
% Dataset 'NumberOfScans'
% Dataset 'PadByte1'
% Dataset 'QF1_VIIRSMBANDSDR'
% Dataset 'QF2_SCAN_SDR'
% Dataset 'QF3_SCAN_RDR'
% Dataset 'QF4_SCAN_SDR'
% Dataset 'QF5_GRAN_BADDETECTOR'
% Dataset 'Radiance'
% Dataset 'Reflectance'
% Dataset 'ReflectanceFactors'
% Group '/Data_Products'
% Group '/Data_Products/VIIRS-M7-SDR'
% Dataset 'VIIRS-M7-SDR_Aggr'
% Dataset 'VIIRS-M7-SDR_Gran_0'
% Dataset 'VIIRS-M7-SDR_Gran_1'
% Dataset 'VIIRS-M7-SDR_Gran_2'
% Dataset 'VIIRS-M7-SDR_Gran_3'
% выводит полный список всех данных в файле h5
А если визуализировать массив данных: 'Radiance' ,
такая же абра-кадабра получается? И в группах не видно географических координат, (
Я сейчас качаю файл из папки:
ftp://ftp-npp.class.ngdc.noaa.gov/20130 ... psoid-Geo/
Day-Night-Band - излучение от Земли, регистриуемое датчиками VIIRS даже ночью, но при лунном свете,
Также на этих изображениях должно быть видно свет от отдельных судов, не прикрытых облачностью.

gamm
Гуру
Сообщения: 4048
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1050
Ваше звание: программист
Откуда: Казань

Re: Данные спутника следующего поколения NPP

Сообщение gamm » 03 мар 2013, 09:26

deeper писал(а):А если визуализировать массив данных: 'Radiance' ,
такая же абра-кадабра получается? И в группах не видно географических координат, (
как говорят программисты, "если уже ничего не помогает, прочитай инструкцию" :mrgreen:
Data can be stored in HDF5 in an endless variety of ways, so it is important to standardize how NPP product data are organized in HDF5.
NPP Data Products
–Raw Data Record (RDR)
–Sensor Data Record (SDR)
–Temperature Data Record (TDR)
–Intermediate Product (IP)
–Application Related Products (ARP)
–Environmental Data Records (EDR)
–GeolocationProduct (GEO)
–Data Delivery Record (DDR)

deeper
Интересующийся
Сообщения: 15
Зарегистрирован: 14 дек 2012, 15:21
Репутация: 1

Re: Данные спутника следующего поколения NPP

Сообщение deeper » 20 июн 2013, 17:52

Более удобный способ получить данные VIIRS (спутник NPP) – посредством системы предоставления спутниковых данных NOAA - CLASS:
http://www.class.ngdc.noaa.gov/saa/prod ... submit.y=7
Система интуитивно понятна, и никаких проблем с заказом данных у меня не возникло. Данные предоставляются бесплатно, но необходимо зарегистрироваться.
Я заказал измерения VIIRS в режиме DNB (Day-Night-Band) - излучение от Земли в ночное время. Файл занимает около 574 Мб.
Обращаясь к возможностям MATLAB, продемонстрированным GGG, функцией h5disp вывожу структуру файла с перечнем массивов данных.
HDF5 GDNBO-SVDNB_npp_d20130125_t1709492_e1715295_b06460_c20130308001653859057_noaa_ops.h5
Group '/'
Group '/All_Data'
Group '/All_Data/VIIRS-DNB-GEO_All'
Dataset 'Height'
Dataset 'Latitude'
Dataset 'Longitude'
Dataset 'LunarAzimuthAngle'
Dataset 'LunarZenithAngle'
Dataset 'MidTime'
Dataset 'ModeGran'
Dataset 'ModeScan'
Dataset 'MoonIllumFraction'
Dataset 'MoonPhaseAngle'
Dataset 'NumberOfScans'
Dataset 'PadByte1'
Dataset 'QF1_SCAN_VIIRSSDRGEO'
Dataset 'QF2_SCAN_VIIRSSDRGEO'
Dataset 'QF2_VIIRSSDRGEO'
Dataset 'SCAttitude'
Dataset 'SCPosition'
Dataset 'SCSolarAzimuthAngle'
Dataset 'SCSolarZenithAngle'
Dataset 'SCVelocity'
Dataset 'SatelliteAzimuthAngle'
Dataset 'SatelliteRange'
Dataset 'SatelliteZenithAngle'
Dataset 'SolarAzimuthAngle'
Dataset 'SolarZenithAngle'
Dataset 'StartTime'
Group '/All_Data/VIIRS-DNB-SDR_All'
Dataset 'ModeGran'
Dataset 'ModeScan'
Dataset 'NumberOfBadChecksums'
Dataset 'NumberOfDiscardedPkts'
Dataset 'NumberOfMissingPkts'
Dataset 'NumberOfScans'
Dataset 'PadByte1'
Dataset 'QF1_VIIRSDNBSDR'
Dataset 'QF2_SCAN_SDR'
Dataset 'QF3_SCAN_RDR'
Dataset 'Radiance'
Group '/Data_Products'
Group '/Data_Products/VIIRS-DNB-GEO'
Dataset 'VIIRS-DNB-GEO_Aggr'
Dataset 'VIIRS-DNB-GEO_Gran_0'
Dataset 'VIIRS-DNB-GEO_Gran_1'
Dataset 'VIIRS-DNB-GEO_Gran_2'
Dataset 'VIIRS-DNB-GEO_Gran_3'
Group '/Data_Products/VIIRS-DNB-SDR'
Dataset 'VIIRS-DNB-SDR_Aggr'
Dataset 'VIIRS-DNB-SDR_Gran_0'
Dataset 'VIIRS-DNB-SDR_Gran_1'
Dataset 'VIIRS-DNB-SDR_Gran_2'
Dataset 'VIIRS-DNB-SDR_Gran_3'
Среди прочих выделю основные массивы данных :
Dataset 'Latitude' - широта;
Dataset 'Longitude' – долгота;
Dataset 'Radiance' – Энергетическая яркость (лучистость), [Вт/(м2*ср)]
Далее код на MATLAB’е (не раньше версии R2011b), конвертирующий поле энергетической яркости в geoTIFF:
%-----------------------------------------------------------------------
clc
clear all
res=750 % resolution, meters
res=km2deg(res*1E-3);
% путь к исходному файлу, вместе с названием
fn='d:\science\data\VIIRS\GDNBO-SVDNB_npp_d20130125_t1709492_e1715295_b06460_c20130308001653859057_noaa_ops.h5';

VIIRS.lt = h5read(fn,'/All_Data/VIIRS-DNB-GEO_All/Latitude')';
ln = h5read(fn,'/All_Data/VIIRS-DNB-GEO_All/Longitude')';
%ln(ln<0)=ln(ln<0)+360;
VIIRS.ln = ln;
clear ln
ltmin=min(min(VIIRS.lt));
ltmax=max(max(VIIRS.lt));
lnmin=min(min(VIIRS.ln));
lnmax=max(max(VIIRS.ln));
ltReg=[floor(ltmin) ceil(ltmax)];
lnReg=[floor(lnmin) ceil(lnmax)];
StepLt=1;
StepLn=1;


Z = h5read(fn,'/All_Data/VIIRS-DNB-SDR_All/Radiance')';
Z(:,[1, end])=nan;
Z([1, end],:)=nan;
if min(min(Z))<0
Z=Z-min(min(Z));
end
Z=int16(log10(Z)*1E3);
VIIRS.Z=Z;
clear Z
Zgrid=int16([]);
Z1=int16([]);

ltRange=[ltReg(1):StepLt:ltReg(2)];
lnRange=[lnReg(1):StepLn:lnReg(2)];
for i=ltRange(1:end-1)
latlim1=[i i+StepLt];
for j=lnRange(1:end-1)
lonlim1=[j j+StepLt];
[x,y]=meshgrid([lonlim1(1):res:lonlim1(2)],[latlim1(1):res:latlim1(2)]);
indOK=find(VIIRS.lt>=latlim1(1)&VIIRS.lt<latlim1(2)&VIIRS.ln>=lonlim1(1)&VIIRS.ln<lonlim1(2));
if isempty(indOK)
tmp=nan*ones(size(x));
else
F=TriScatteredInterp(double(VIIRS.ln(indOK)),double(VIIRS.lt(indOK)),double(VIIRS.Z(indOK)));
tmp=F(double(x),double(y));
end
Z1=[Z1 tmp];
%lt1=[lt1 y];
%ln1=[ln1 x];
end
Zgrid=[Zgrid;Z1];
%ltgrid=[ltgrid;lt1];
%lngrid=[lngrid;ln1];
%lt1=single([]);
%ln1=single([]);
Z1=int16([]);
[num2str(i) ' / ' num2str(ltReg(2))]
end
R = georasterref('RasterSize', [size(Zgrid)], ...
'RasterInterpretation', 'cells', ...
'Latlim', double(ltReg), 'Lonlim',...
double(lnReg), ...
'ColumnsStartFrom', 'south','RowsStartFrom','west');
f2s=[fn '.tif'];
geotiffwrite(f2s,Zgrid,R);
%-----------------------------------------------------------------------
Размер файла получается приличный (5960х3725), поэтому следует запастись терпением. У меня время выполнения функции составило около 12 мин. В качестве примера привожу фрагмент полученного geoTIFF’а, Ляодунский залив, расположенный на севере Бохайского моря. Напоминаю, что это ночной снимок, на котором виден свет от отдельных судов; сушу, лед и облачность видно благодаря лунному свету, чувствительность датчика просто потрясающая!
Вложения
Bahai.png
Bahai.png (453.1 КБ) 19970 просмотров

Pilot
Активный участник
Сообщения: 128
Зарегистрирован: 26 апр 2006, 12:28
Репутация: 36
Откуда: Петропавловск-Камчатский

Re: Данные спутника следующего поколения NPP

Сообщение Pilot » 21 июн 2013, 02:49

третий сервис пак для ENVI 5 умеет работать с NPP VIIRS:

ENVI reads and displays imagery from the following sensors:

Landsat-8
EO-1 ALI and Hyperion
NPP VIIRS
DubaiSat
Pleiades Level-1B
RapidEye Level-1B GeoTIFF files with metadata; ENVI used to support only Level-1B files in NITF format.
http://www.exelisvis.com/Home/NewsUpdat ... ack-3.aspx

ещё в Code library есть VIIRS Conversion Toolkit (VCTK)
http://www.exelisvis.com/Learn/CodeDeta ... -VCTK.aspx
по своему функционалу он похож на MODIS Conversion Toolkit (MCTK)

deeper
Интересующийся
Сообщения: 15
Зарегистрирован: 14 дек 2012, 15:21
Репутация: 1

Re: Данные спутника следующего поколения NPP

Сообщение deeper » 21 июн 2013, 08:10

Pilot писал(а):третий сервис пак для ENVI 5 умеет работать с NPP VIIRS:

ENVI reads and displays imagery from the following sensors:

Landsat-8
EO-1 ALI and Hyperion
NPP VIIRS
DubaiSat
Pleiades Level-1B
RapidEye Level-1B GeoTIFF files with metadata; ENVI used to support only Level-1B files in NITF format.
http://www.exelisvis.com/Home/NewsUpdat ... ack-3.aspx

ещё в Code library есть VIIRS Conversion Toolkit (VCTK)
http://www.exelisvis.com/Learn/CodeDeta ... -VCTK.aspx
по своему функционалу он похож на MODIS Conversion Toolkit (MCTK)
У меня установлена ENVI 4.5. Скачал VCTK. Установил согласно руководству в архиве. При попытке открыть файл этим модулем возникла ошибка с последующим завершением приложения, :( . Уважаемый Pilot - Вы сами обрабатывали данные спектрорадиометра VIIRS в программе ENVI 5 + SP3 или ENVI 4.4-5.0 + VCTK?

Pilot
Активный участник
Сообщения: 128
Зарегистрирован: 26 апр 2006, 12:28
Репутация: 36
Откуда: Петропавловск-Камчатский

Re: Данные спутника следующего поколения NPP

Сообщение Pilot » 21 июн 2013, 08:49

к сожалению, сам пока с данными VIIRS не работал, не было под это задачи. В описании к VCTK указано, что в ENVI нужно установить Image Tile Size минимум 10MB. У Вас так?

ЗЫ. Файл данных VIIRS имеет большой размер, с медленным интернетом ради любопытства такие объёмы не покачаешь. Хотя когда-то нужно попробовать посмотреть на этот самый VIIRS :) На выходных постараюсь скачать файл для теста.

Вот есть хорошая выжимка информации по данным VIIRS Beginner’s Guide to VIIRS Imagery Data

Еще... сам не пробовал, но пишут что с данными умеет работать Community Satellite Processing Package (CSPP)

deeper
Интересующийся
Сообщения: 15
Зарегистрирован: 14 дек 2012, 15:21
Репутация: 1

Re: Данные спутника следующего поколения NPP

Сообщение deeper » 24 июн 2013, 03:18

Pilot писал(а):к сожалению, сам пока с данными VIIRS не работал, не было под это задачи. В описании к VCTK указано, что в ENVI нужно установить Image Tile Size минимум 10MB. У Вас так?
[/url]
В ENVI установил Image Tile Size = 20 MB. Без изменений, :( .

На сайте исследовательского центра при военно-морском флоте США, выложены уже обработанные снимки VIIRS:
http://www.nrlmry.navy.mil/VIIRS.html
Но к сожалению:
-только для отдельных районов;
- только за последние 25 дней.

Pilot
Активный участник
Сообщения: 128
Зарегистрирован: 26 апр 2006, 12:28
Репутация: 36
Откуда: Петропавловск-Камчатский

Re: Данные спутника следующего поколения NPP

Сообщение Pilot » 25 июн 2013, 06:00

Докладываю :)
Скачал файл VIIRS DNB SDR, установлен ENVI 4.8 с VCTK. На старенькой машине с 2 гиг оперативки загрузился файл, без проблем выполнилась конвертация в "Standard", но при попытке конвертации в проекцию появляется ошибка о недостаточном количестве памяти. На другой машине с 16 гиг оперативной памяти проецирование происходит без проблем.

deeper
Интересующийся
Сообщения: 15
Зарегистрирован: 14 дек 2012, 15:21
Репутация: 1

Re: Данные спутника следующего поколения NPP

Сообщение deeper » 25 июн 2013, 10:52

Pilot писал(а):Докладываю :)
Скачал файл VIIRS DNB SDR, установлен ENVI 4.8 с VCTK. На старенькой машине с 2 гиг оперативки загрузился файл, без проблем выполнилась конвертация в "Standard", но при попытке конвертации в проекцию появляется ошибка о недостаточном количестве памяти. На другой машине с 16 гиг оперативной памяти проецирование происходит без проблем.
Спасибо за активное участие в вопросе обработки измерений VIIRS.
Установил ENVI 4.7 + VCTK. Также, при конвертации снимка в проекцию возникает ошибка, где сообщается о нехватке памяти. На моем компе 4 ГБ оперативки. Из-за того,что операционная система 32-разрядная, фактически используется 2,9 ГБ. Очень ресурсоемкие требования у этого модуля. Машины с 16 ГБ оперативки у меня нет :(.

wishnya_dzz
Новоприбывший
Сообщения: 1
Зарегистрирован: 01 мар 2019, 12:50
Репутация: 0
Откуда: Залесцы

Re: Данные спутника следующего поколения NPP

Сообщение wishnya_dzz » 01 мар 2019, 13:04

Выкачал DNB с https://ladsweb.modaps.eosdis.nasa.gov в файле VNP02DNB.A2019002.1054.001.2019002221039.nc . Открываю в ENVI 5 - нет геопривязки. Геопривязка есть в VNP03DNB.A2019002.1054.001.2019002211840.nc. Как их слепить? Кто то сталкивался с этим форматом? В общем хочу сделать карту DNB в цвете - как это лучше сделать?

Ответить

Вернуться в «Обработка ДДЗ»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 5 гостей