Архив погоды на метеостанции в Ейске (Краснодарский край)

Вопросы общего характера по ГИС и дистанционному зондированию, не связанные с конкретным ПО.
Аватара пользователя
WeMaN
Завсегдатай
Сообщения: 310
Зарегистрирован: 16 фев 2009, 10:49
Репутация: 0

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение WeMaN » 22 ноя 2016, 09:38

gamm писал(а):
WeMaN писал(а):Почему, если rp5 берёт от туда же данные, у него их значительно больше?
они берут не только оттуда, они еще наверняка берут из сети WMO. И направление ветра есть (я скачивал распакованный вариант)

4. Wind direction (angular degrees)
5. Wind speed (meters per second * 10)

P.S. это не GSOD, тут замеры чаще, но нет осадков - только температура и ветер
Ссылку можно, на источник где Wind direction этот вы брали?

gamm
Гуру
Сообщения: 4046
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1050
Ваше звание: программист
Откуда: Казань

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение gamm » 22 ноя 2016, 18:45

WeMaN писал(а):Ссылку можно, на источник где Wind direction этот вы брали?
какую? ссылка на данные - в моем письме, на 2 странице ветки. Там же список всех полей, и пример данных

Аватара пользователя
WeMaN
Завсегдатай
Сообщения: 310
Зарегистрирован: 16 фев 2009, 10:49
Репутация: 0

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение WeMaN » 22 ноя 2016, 21:59

gamm писал(а):
WeMaN писал(а):Ссылку можно, на источник где Wind direction этот вы брали?
какую? ссылка на данные - в моем письме, на 2 странице ветки. Там же список всех полей, и пример данных
Да там только 9 параметров и нет Wind direction
Откуда эта таблица с Wind direction? Что тяжело ответить чтоли?
Можно прямую ссылку на таблицу с данной колонкой - Wind direction

gamm
Гуру
Сообщения: 4046
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1050
Ваше звание: программист
Откуда: Казань

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение gamm » 23 ноя 2016, 08:13

WeMaN писал(а):Можно прямую ссылку на таблицу с данной колонкой - Wind direction
я не очень понимаю, чего вы хотите, поэтому скопирую третий раз, больше не буду - и так уже похоже на издевательство. Может, удосужитесь наконец прочитать.

цифра 135 в первой строке - направление ветра, как написано в документации; колонки данных - после идентификации записи (даты и времени)
gamm писал(а):
sergsh писал(а):а тут парсер на Питоне вроде бы для разбора этих данных
wget -r ftp://ftp.ncdc.noaa.gov/pub/data/noaa/
у меня качает готовые данные (из папок по годам) в готовом виде, но через flashget
ftp://ftp.ncdc.noaa.gov/pub/data/noaa/isd-lite/1945/ и т.д.

Код: Выделить всё

1945 01 01 00    13     2 10353   135    15     8 -9999 -9999
1945 01 01 01    13     2 10352   158    26     8 -9999 -9999
1945 01 01 02    13     8 10350   135    26     8 -9999 -9999
1945 01 01 03    13     8 10349   135    21     8 -9999 -9999
1945 01 01 04    19    13 10347   113    21     8 -9999 -9999
1945 01 01 05    19    13 10344    90    21     8 -9999 -9999
1945 01 01 06    30    24 10343    90    21     8 -9999 -9999
1945 01 01 07    41    30 10338   135    21     8 -9999 -9999
1945 01 01 08    58    52 10341   135    21     8 -9999 -9999
1945 01 01 09    63    58 10345   113    31     8 -9999 -9999

Аватара пользователя
WeMaN
Завсегдатай
Сообщения: 310
Зарегистрирован: 16 фев 2009, 10:49
Репутация: 0

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение WeMaN » 23 ноя 2016, 10:37

gamm писал(а):
WeMaN писал(а):Можно прямую ссылку на таблицу с данной колонкой - Wind direction
я не очень понимаю, чего вы хотите, поэтому скопирую третий раз, больше не буду - и так уже похоже на издевательство. Может, удосужитесь наконец прочитать.

цифра 135 в первой строке - направление ветра, как написано в документации; колонки данных - после идентификации записи (даты и времени)
gamm писал(а):
sergsh писал(а):а тут парсер на Питоне вроде бы для разбора этих данных
wget -r ftp://ftp.ncdc.noaa.gov/pub/data/noaa/
у меня качает готовые данные (из папок по годам) в готовом виде, но через flashget
ftp://ftp.ncdc.noaa.gov/pub/data/noaa/isd-lite/1945/ и т.д.

Код: Выделить всё

1945 01 01 00    13     2 10353   135    15     8 -9999 -9999
1945 01 01 01    13     2 10352   158    26     8 -9999 -9999
1945 01 01 02    13     8 10350   135    26     8 -9999 -9999
1945 01 01 03    13     8 10349   135    21     8 -9999 -9999
1945 01 01 04    19    13 10347   113    21     8 -9999 -9999
1945 01 01 05    19    13 10344    90    21     8 -9999 -9999
1945 01 01 06    30    24 10343    90    21     8 -9999 -9999
1945 01 01 07    41    30 10338   135    21     8 -9999 -9999
1945 01 01 08    58    52 10341   135    21     8 -9999 -9999
1945 01 01 09    63    58 10345   113    31     8 -9999 -9999

Спасибо! Без обид, я просто запутался в этих папках
Думал вы про папки pub/data/gsod
а вы про данные из pub/data/noaa.
Я увидел ваше сообщение
На том же ftp есть почасовые данные: ftp://ftp.ncdc.noaa.gov/pub/data/noaa/ Метеостанции на всю планету. Осталось только научиться раскодировать эти данные. Мануалы все лежат там же.
Спасибо, это круто, изучу мануалы.
Вопрос, есть ли инструменты переводящие эти сырые данные в shp файл например?

sergsh
Активный участник
Сообщения: 205
Зарегистрирован: 20 фев 2013, 21:48
Репутация: 30

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение sergsh » 24 ноя 2016, 06:20

свободныe и открытыe Python модули для чтения, интерпретации и записи данных метеорологических спутников

http://www.pytroll.org/index.html

nickleb
Гуру
Сообщения: 964
Зарегистрирован: 22 май 2010, 20:20
Репутация: 154

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение nickleb » 24 ноя 2016, 07:26

sergsh писал(а):свободныe и открытыe Python модули для чтения, интерпретации и записи данных метеорологических спутников

http://www.pytroll.org/index.html
Спасибо!

sergsh
Активный участник
Сообщения: 205
Зарегистрирован: 20 фев 2013, 21:48
Репутация: 30

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение sergsh » 06 дек 2016, 20:37

Скачал я таки этот архив, получилось на 05.12.2016 всего 1 209 940 файлов , общий размер 125 Гб, настоящие Большие Данные.
Теперь можно будет как нибудь на досуге проверить гипотезу о глобальном потеплении ...

gamm
Гуру
Сообщения: 4046
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1050
Ваше звание: программист
Откуда: Казань

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение gamm » 06 дек 2016, 20:45

sergsh писал(а):Скачал я таки этот архив, получилось на 05.12.2016 всего 1 209 940 файлов , общий размер 125 Гб, настоящие Большие Данные.
я скачал распакованный вариант (isd-lite, описание - выше), там 18.4 Гб, правда в архивах, и файлов 591 645. Интересно, в чем разница (почему файлов в 2 раза больше в исходниках)

nickleb
Гуру
Сообщения: 964
Зарегистрирован: 22 май 2010, 20:20
Репутация: 154

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение nickleb » 06 дек 2016, 20:47

sergsh писал(а):Скачал я таки этот архив, получилось на 05.12.2016 всего 1 209 940 файлов , общий размер 125 Гб, настоящие Большие Данные.
Теперь можно будет как нибудь на досуге проверить гипотезу о глобальном потеплении ...
Здравствуйте. sergsh, а WMO-идентификаторы станций там в заголовках файлов? или, м.б., какой list файлов есть, где id их есть? какие там наши морские есть? - интересно

sergsh
Активный участник
Сообщения: 205
Зарегистрирован: 20 фев 2013, 21:48
Репутация: 30

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение sergsh » 08 дек 2016, 22:17

номер станции в заголовке файла *.gz.

Например Ейск 34727, в заголовке файла он будет 347270-*****-2012.gz

то есть в конец номера добавлен ноль

nickleb
Гуру
Сообщения: 964
Зарегистрирован: 22 май 2010, 20:20
Репутация: 154

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение nickleb » 08 дек 2016, 22:30

sergsh писал(а):номер станции в заголовке файла *.gz.

Например Ейск 34727, в заголовке файла он будет 347270-*****-2012.gz

то есть в конец номера добавлен ноль
\
Спасибо!

Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 3020
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 69
Ваше звание: Лиса
Откуда: **
Контактная информация:

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение Natalia Novoselova » 25 дек 2016, 15:22

WeMaN писал(а): Есть сайт gismeteo, там весь архив в виде дневника погоды школьника, все данные с 1996 года вроде, уже лучше, но все в виде таблицы, которую ещё надо доработать. В общем не как на rp5.ru (может я не знаю, и можно с gismeteo вывести архив погоды не только дневником школьника, но и как на rp5.ru? Если да, то подскажите )
А где на gismeteo https://www.gismeteo.com/ этот архив с 1996 г? Хочу посмотреть на эти данные. Хорошо иметь разные источники метеоданных для сравнения.

Про gismeteo, если он делают архив, то чего именно? Этот сервис очень точно предсказывает погоду. Но, как бы ни был точен прогноз, он отличается от реальности. Что именно они сохраняют в архивы - свой прогноз или реальные данные?

Аватара пользователя
WeMaN
Завсегдатай
Сообщения: 310
Зарегистрирован: 16 фев 2009, 10:49
Репутация: 0

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение WeMaN » 09 янв 2017, 11:20

Natalia Novoselova писал(а):
WeMaN писал(а):
А где на gismeteo https://www.gismeteo.com/ этот архив с 1996 г? Хочу посмотреть на эти данные. Хорошо иметь разные источники метеоданных для сравнения.
Что именно они сохраняют в архивы - свой прогноз или реальные данные?
Архив :wink: -
https://yandex.ru/search/?text=%D0%BA%D ... eteo&lr=35

Вы же понимаете что прогноз и архив данных о погоде это разные вещи, да?
Зачем вообще кому то хранить прогнозы? Как вообще такое вам могло то в голову прийти )) Просто так, ради смеха задали вопрос? :lol: Смеюсь тогда.

Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 3020
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 69
Ваше звание: Лиса
Откуда: **
Контактная информация:

Re: Архив погоды на метеостанции в Ейске (Краснодарский край

Сообщение Natalia Novoselova » 09 янв 2017, 15:55

WeMaN писал(а):
Вы же понимаете что прогноз и архив данных о погоде это разные вещи, да?
Зачем вообще кому то хранить прогнозы? Как вообще такое вам могло то в голову прийти )) Просто так, ради смеха задали вопрос? :lol: Смеюсь тогда.
Не я автор данных. Нельзя собственные логические конструкции считать априори данностью.
В Интернете Gismeteo размещает прогноз.
Логично, что им легче и архивировать прогноз. Ведь для Дневника нужна еще дополнительная работа. Делается ли она или нет - мне не известно.

А вы точность их дневника проверяли? Например, посмотрела за вчерашний день. Город Консепсьон, Чили. Врут, однако.
Вчера весь день было пасмурно, а вечером полил дождь. А в их дневнике значится - вечером ясно, никакого дождя.
https://www.gismeteo.ru/diary/10550/2017/1/

Ответить

Вернуться в «Общие вопросы»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 6 гостей