Архив погоды на метеостанции в Ейске (Краснодарский край)

Вопросы общего характера по ГИС и дистанционному зондированию, не связанные с конкретным ПО.
bolotoved
Гуру
Сообщения: 920
Зарегистрирован: 30 дек 2008, 14:11
Репутация: 236
Откуда: Ханты-Мансийск
Контактная информация:

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение bolotoved » 12 ноя 2016, 09:43

MYS писал(а):Вот адрес Globas Surface Summary of the Day:

ftp.ncdc.noaa.gov/pub/data/gsod/

Я проверил на вскидку 2016 и 1980 гг. - Ейск есть в обоих.

Там используется не метрическая система, но это уже решаемая проблема.
Скажу, пока осторожное, но, Ура! Надо будет на досуге еще поразбираться.

rp5 пишет, что берет данные на сервере NOAA, но к сож. без ссылки и вот, похоже оно нашлось!

На том же ftp есть почасовые данные: ftp://ftp.ncdc.noaa.gov/pub/data/noaa/ Метеостанции на всю планету. Осталось только научиться раскодировать эти данные. Мануалы все лежат там же.


Кстати, Ейск (ищется по WMO ID в заголовке файла) там доступен с 1959 года по настоящий момент.

sergsh
Активный участник
Сообщения: 205
Зарегистрирован: 20 фев 2013, 21:48
Репутация: 30

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение sergsh » 14 ноя 2016, 22:05

Вот интересно - откуда на ftp почасовые данные, если метеостанция ( По всей России и в Ейске тоже ) делает 8 измерений в сутки ? Интерполяция ?
А может делают проще - берут и "заполняют пропуски" алгоритмом неизвестной природы

gamm
Гуру
Сообщения: 4047
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1050
Ваше звание: программист
Откуда: Казань

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение gamm » 14 ноя 2016, 22:24

bolotoved писал(а):Надо будет на досуге еще поразбираться.
там вроде все готовое к употреблению

Код: Выделить всё

1.	Air temperature (degrees Celsius * 10)
2.	Dew point temperature (degrees Celsius * 10)
3.	Sea level pressure (hectopascals)
4.	Wind direction (angular degrees)
5.	Wind speed (meters per second * 10)
6.	Total cloud cover (coded, see format documentation)
7.	One-hour accumulated liquid precipitation (millimeters)
8.	Six-hour accumulated liquid precipitation (millimeters)
печально только, что (7) и (8) обычно отсутствует
sergsh писал(а):Вот интересно - откуда на ftp почасовые данные, если метеостанция ( По всей России и в Ейске тоже ) делает 8 измерений в сутки ? Интерполяция ?
значительно меньше, 2-4 измерения ... в базе только те данные, которые реально есть, в документации все написано. Некоторые метеостанции вообще записывают показания через 15 минут, я такие в 90-е видел (за бугром)

sergsh
Активный участник
Сообщения: 205
Зарегистрирован: 20 фев 2013, 21:48
Репутация: 30

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение sergsh » 14 ноя 2016, 22:48

а тут парсер на Питоне вроде бы для разбора этих данных
https://github.com/haydenth/ish_parser

# ---------------------------------------------------------------------------
# пример программы на Питоне с использованием ish_parser
import ish_parser
from src import ish_report

# это одна запись данных, одна строчка

rpt = ish_report().loads("""0281725300948462014010508237+41995-087934FM-16+0205KORD V0303505N00625005795MN0020125N5-00565-00835999999ADDAA101000531AU110030015AW1715GA1025+003355991GA2085+005795991GD11991+0033559GD24991+0057959GE19MSL +99999+99999GF199999990990003351991991MA1101665099215REMMET11601/05/14 02:23:02 SPECI KORD 050823Z 35012KT 1 1/4SM -SN FEW011 OVC019 M06/M08 A3002 RMK AO2 P0002 T10561083 $ (MJF)""")

print rpt

# Out_1: <src.ish_report.ish_report object at 0x7f9ba29cb8d0>

print rpt.formatted()

# Out_2:
Weather Station: 725300 (41.995, -87.934)
Elevation: 205 m
Time: 2014-01-05 08:23:00 UTC
Air Temperature: -6 C (21.2 F)
Wind Speed: 6.2 m/s (13.869 mph)
Wind Direction: 350



сами данные выглядят так:

0037010010999991932010106004+70983-008300FM-12+002399999V0203601N00261220001CN0200001N9-01001+99999101001ADDAY121999GF102991021051008001001999
0068010010999991932010106004+70983-008333FM-12+002399999V0203601N00261220001CN0200001N9-01001+99999101001ADDAA199000691AY121999GF102991021051008001001001IA1159MD1310041+9999
0051010010999991932010112004+70983-008300FM-12+002399999V0202901N00261220001CN0200001N9-00721+99999101221ADDAY121999GF104991041051022501999999MD1210121+9999
0051010010999991932010112004+70983-008333FM-12+002399999V0202901N00261220001CN0200001N9-00721+99999101221ADDAY121999GF104991041051008001999041MD1210121+9999
0037010010999991932010118004+70983-008300FM-12+002399999V0201101N00261007801CN0200001N9-00721+99999101271ADDAY121999GF107991071051008001999999
0057010010999991932010118004+70983-008333FM-12+002399999V0201101N00261007801CN0200001N9-00721+99999101271ADDAY121999GF107991071051008001999999IA1159MD1210061+9999
0078010010999991932010206004+70983-008300FM-12+002399999V0203401N00461220001CN0200001N9-00781+99999101301ADDAY121999GF104991041051008001999999IA1159EQDQ01+000032APCTENQ02+000002APC3

качать все данные за все года под Linux так :
( в терминале, ключ -r чтобы с подкаталогами )
wget -r ftp://ftp.ncdc.noaa.gov/pub/data/noaa/

отдает не очень быстро, качаю уже полчаса

Аватара пользователя
WeMaN
Завсегдатай
Сообщения: 310
Зарегистрирован: 16 фев 2009, 10:49
Репутация: 0

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение WeMaN » 15 ноя 2016, 00:35

Кааак? Скажите, как эти данные уже скачанные перевести нормально в вид шейпа или ещё чего, есть какие-то проги??

Аватара пользователя
jerry-maori
Гуру
Сообщения: 585
Зарегистрирован: 22 авг 2012, 17:02
Репутация: 143
Откуда: Нижний Новгород

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение jerry-maori » 15 ноя 2016, 04:47

Ключевая строка Weather Station: 725300 (41.995, -87.934)
А далее XY to Point

gamm
Гуру
Сообщения: 4047
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1050
Ваше звание: программист
Откуда: Казань

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение gamm » 15 ноя 2016, 07:47

sergsh писал(а):а тут парсер на Питоне вроде бы для разбора этих данных
wget -r ftp://ftp.ncdc.noaa.gov/pub/data/noaa/
у меня качает готовые данные (из папок по годам) в готовом виде, но через flashget
ftp://ftp.ncdc.noaa.gov/pub/data/noaa/isd-lite/1945/ и т.д.

Код: Выделить всё

1945 01 01 00    13     2 10353   135    15     8 -9999 -9999
1945 01 01 01    13     2 10352   158    26     8 -9999 -9999
1945 01 01 02    13     8 10350   135    26     8 -9999 -9999
1945 01 01 03    13     8 10349   135    21     8 -9999 -9999
1945 01 01 04    19    13 10347   113    21     8 -9999 -9999
1945 01 01 05    19    13 10344    90    21     8 -9999 -9999
1945 01 01 06    30    24 10343    90    21     8 -9999 -9999
1945 01 01 07    41    30 10338   135    21     8 -9999 -9999
1945 01 01 08    58    52 10341   135    21     8 -9999 -9999
1945 01 01 09    63    58 10345   113    31     8 -9999 -9999

sergsh
Активный участник
Сообщения: 205
Зарегистрирован: 20 фев 2013, 21:48
Репутация: 30

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение sergsh » 15 ноя 2016, 11:52

У меня еще качает, как вчера запустил - еще только 1959 год идет, отдача медленная потому что много мелких файлов, накачал пока 4 Гб.

через flashget может и готовые данные получаются, но мне кажется что их как то мало.

При расшифровке строки я получаю такой список dir(rpt) :

'additional',
'air_temperature',
'datetime',
'dew_point',
'elevation',
'formatted',
'get_additional_field',
'humidity',
'latitude',
'loads',
'longitude',
'raw',
'remarks',
'report_type',
'sea_level_pressure',
'sky_ceiling',
'sky_ceiling_determination',
'visibility_distance',
'visibility_variability',
'visibility_variability_quality',
'wban',
'weather_station',
'wind_direction',
'wind_observation_direction_type',
'wind_speed'

То есть должно бы быть 25 колонок.
А через flashget получается всего 9 колонок ( считая что дата это 4 колонки)

gamm
Гуру
Сообщения: 4047
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1050
Ваше звание: программист
Откуда: Казань

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение gamm » 15 ноя 2016, 16:47

sergsh писал(а):При расшифровке строки я получаю такой список dir(rpt) :
из осмысленного у вас там только параметры, которые дают станции аэропортов, и которые больше никому не нужны (их на других станциях нет). А вот осадков нет, это печалька ...

nickleb
Гуру
Сообщения: 964
Зарегистрирован: 22 май 2010, 20:20
Репутация: 154

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение nickleb » 16 ноя 2016, 00:35

bolotoved писал(а):
sergsh писал(а):И когда вдруг эти данные станут доступны - станет видна небольшая их научная ценность ...
Позвольте с вами не согласиться. Никакой замены этим данным нет. Даже шумные, даже с гигантскими пропусками и сложностями в их добыче, данные метеостанций дают возможность изучать климат в ретроспективе. Современное супернаучное метеооборудование мало где установлено, имеет короткие ряды измерений и те же проблемы с доступом к данным.
... online-данные регистраторов гидрометеорологических параметров (ШЕСТИ-Минутный Дискрет):

opendap.co-ops.nos.noaa.gov/stations/index.jsp

sergsh
Активный участник
Сообщения: 205
Зарегистрирован: 20 фев 2013, 21:48
Репутация: 30

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение sergsh » 16 ноя 2016, 13:42

Это только Штаты, и тем не менее нет ни одной станции в этом списке, где идет запись по всем 9 параметрам, то одного нет, то другого, как это знакомо ...
Дискретность 6 мин это лучше конечно чем 3 часа, но все равно многовато.
Измерения должны быть с дискретностью хотя бы 1 сек, это важно для обнаружения летних супер-дождевых ячеек
Но все по прежнему экономят на флешь-памяти, которая сейчас уже стоит почти ноль денег

gamm
Гуру
Сообщения: 4047
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1050
Ваше звание: программист
Откуда: Казань

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение gamm » 16 ноя 2016, 17:51

Коллеги, а осадков в этих данных почему нет? может, они где-то рядом лежат, в других файлах?

sergsh
Активный участник
Сообщения: 205
Зарегистрирован: 20 фев 2013, 21:48
Репутация: 30

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение sergsh » 16 ноя 2016, 23:59

Есть Toolbox в том числе для чтения этих данных:

https://pvpmc.sandia.gov/applications/pv_lib-toolbox/

там вариант для Matlab ( https://pvpmc.sandia.gov/PVLIB_Matlab_H ... _help.html )
и Python, скачать можно после регистрации

и можно смеяться , но у меня все еще качается, идет сейчас 1981 год, и объем уже 12 Гб
интерес уже спортивный - скачаю или раньше свет мигнет

а вот хорошая расшифровка собственно строки данных :

% create data structure
dat(nobs,1)=struct('len',0, ... % length of variable portion of line
'catno','XXXXXX',... % AF Catalog Station Number
'wban','XXXXX',... % WBAN number
'date','YYYYMMDD',... % Date
'time','HHMM',... % Time
'source','X',... % Data source
'lat',0.0,... % Latitude (+ = North)
'long',0.0,... % Longitude (+ = East)
'type','XXXXX',... % Report type code
'elev',0.0,... % Elevation (m)
'station','XXXXX',... % Station call letter ID
'qc','XXXX',... % Quality control process name
'winddir',0.0,... % Wind direction (degrees clockwise from N)
'winddirq','X',... % Wind direction quality
'windtype','X',... % Wind observation type code
'windspeed',0.0,... % Wind speed (m/s)
'windspeedq','X',... % Wind speed quality
'ceil',0.0,... % Ceiling height (m, AGL)
'ceilq','X',... % Ceiling quality
'ceilmethod','X',... % Ceiling measurement method code
'CAVOK','X',... % Ceiling and Visibility OK code
'visdist',0.0,... % Visibility distance (m)
'visdistq','X',... % Visibility distance quality
'visvar','X',... % Visibility variability
'visvarq','X',... % Visibility variability quality
'temp',0.0,... % Air temperature (degrees C)
'tempq','X',... % Air temperature quality
'dewpt',0.0,... % Dew point temperature (degrees C)
'dewptq','X',... % Dew point temperature quality
'pressure',0.0,... % Barometric pressure (hPa)
'pressureq','X',... % Barometric pressure quality
'remainder',[]); % Remainder of record (ADD + REM)


dat(ii).len = str2num(s(1:4));
dat(ii).catno = s(5:10);
dat(ii).wban = s(11:15);
dat(ii).date = s(16:23);
dat(ii).time = s(24:27);
dat(ii).source = s(28);
dat(ii).lat = str2num(s(29:34))/1000;
dat(ii).long = str2num(s(35:41))/1000;
dat(ii).type = s(42:46);
dat(ii).elev = str2num(s(47:51));
dat(ii).station = s(52:56);
dat(ii).qc = s(57:60);
dat(ii).winddir = str2num(s(61:63));
dat(ii).winddirq = s(64);
dat(ii).windtype = s(65);
dat(ii).windspeed = str2num(s(66:69))/10;
dat(ii).windspeedq = s(70);
dat(ii).ceil = str2num(s(71:75));
dat(ii).ceilq = s(76);
dat(ii).ceilmethod = s(77);
dat(ii).CAVOK = s(78);
dat(ii).visdist = str2num(s(79:84));
dat(ii).visdistq = s(85);
dat(ii).visvar = s(86);
dat(ii).visvarq = s(87);
dat(ii).temp = str2num(s(88:92))/10;
dat(ii).tempq = s(93);
dat(ii).dewpt = str2num(s(94:98))/10;
dat(ii).dewptq = s(99);
dat(ii).pressure = str2num(s(100:104))/10;
dat(ii).pressureq = s(105);
dat(ii).remainder = s(106:end);

Аватара пользователя
WeMaN
Завсегдатай
Сообщения: 310
Зарегистрирован: 16 фев 2009, 10:49
Репутация: 0

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение WeMaN » 21 ноя 2016, 09:51

Почему, если rp5 берёт от туда же данные, у него их значительно больше?
http://rp5.ru/%D0%90%D1%80%D1%85%D0%B8% ... 0%BA%D0%B5
Сравните!

и ещё, где в данных GSOD направление ветра??? Скорость есть, а толку без направления!?
Причем rp5 оттуда же берёт инфу и у него со скоростью аж 6 раз в день...

gamm
Гуру
Сообщения: 4047
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1050
Ваше звание: программист
Откуда: Казань

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение gamm » 21 ноя 2016, 16:37

WeMaN писал(а):Почему, если rp5 берёт от туда же данные, у него их значительно больше?
они берут не только оттуда, они еще наверняка берут из сети WMO. И направление ветра есть (я скачивал распакованный вариант)

4. Wind direction (angular degrees)
5. Wind speed (meters per second * 10)

P.S. это не GSOD, тут замеры чаще, но нет осадков - только температура и ветер

Ответить

Вернуться в «Общие вопросы»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 4 гостя