Источники метеорологических данных по миру в ГИС

Получение, новые источники, открытость
Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 3020
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 69
Ваше звание: Лиса
Откуда: **
Контактная информация:

Источники метеорологических данных по миру в ГИС

Сообщение Natalia Novoselova » 19 дек 2016, 03:56

Подскажите, какие существуют источники метеорологических данных по разным странам в ГИС?
Ищу по Юж. Америке. Если есть такой единый источник по миру, он может подойти.

Есть ли источник, который дает возможность увидеть на карте (точками) метеостанции для выбранного квадрата и загрузить данные метеорологических наблюдений этих метеостанций?

Worldclim дает такие данные, но в нем не известно, данные каких метеостанций он использует. Нельзя их увидеть, оценить частоту сети метеостанций в разных квадратах, то есть нельзя оценить характер точности данных.
В общем, хотелось бы найти такой источник, чтобы данные, которые дает Worlclim (температура min, max, ветер, осадки, влажность) можно было посчитать (как среднее) самому. Скачав метео-данные для выбранного квадрата со всех ближайших метеостанций.

MYS
Интересующийся
Сообщения: 42
Зарегистрирован: 02 ноя 2011, 09:11
Репутация: 23

Re: Источники метеорологических данных по миру в ГИС

Сообщение MYS » 19 дек 2016, 07:45

Последние месяца полтора эту тему довольно активно обсуждали на форуме:

viewtopic.php?f=1&t=21670&hilit=%D0%95% ... BA#p147609

Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 3020
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 69
Ваше звание: Лиса
Откуда: **
Контактная информация:

Re: Источники метеорологических данных по миру в ГИС

Сообщение Natalia Novoselova » 19 дек 2016, 07:59

MYS писал(а):Последние месяца полтора эту тему довольно активно обсуждали на форуме:

viewtopic.php?f=1&t=21670&hilit=%D0%95% ... BA#p147609

Да, на ГИС-Лаб и статья есть.
Но в статье и в ссылке на тему с обсуждением - данные по России.

Мне нужно по Южной Америке или миру (где я надеюсь найти Южную Америку).

Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 3020
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 69
Ваше звание: Лиса
Откуда: **
Контактная информация:

Re: Источники метеорологических данных по миру в ГИС

Сообщение Natalia Novoselova » 19 дек 2016, 08:08

MYS писал(а):Последние месяца полтора эту тему довольно активно обсуждали на форуме:
Да, нашла ваше сообщение. Поищу оттуда. Спасибо.

viewtopic.php?f=1&t=21670&hilit=%D0%95% ... 15#p147815

bolotoved
Гуру
Сообщения: 920
Зарегистрирован: 30 дек 2008, 14:11
Репутация: 236
Откуда: Ханты-Мансийск
Контактная информация:

Re: Источники метеорологических данных по миру в ГИС

Сообщение bolotoved » 19 дек 2016, 08:20

Worldclim дает такие данные, но в нем не известно, данные каких метеостанций он использует
Очень даже известно, авторы подробно это описывают в своей статье, ссылки см. в черновике статьи про Worldclim

Помните, что WorldClim - это климатические данные, т.е. средние многолетние.

Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 3020
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 69
Ваше звание: Лиса
Откуда: **
Контактная информация:

Re: Источники метеорологических данных по миру в ГИС

Сообщение Natalia Novoselova » 19 дек 2016, 15:25

bolotoved писал(а):
Worldclim дает такие данные, но в нем не известно, данные каких метеостанций он использует
Очень даже известно, авторы подробно это описывают в своей статье, ссылки см. в черновике статьи про Worldclim

Помните, что WorldClim - это климатические данные, т.е. средние многолетние.
Спасибо большое за уточнение. Да, изначально во фразе "WorldClim version 1 has average monthly climate data for minimum, mean, and maximum temperature and for precipitation for 1960-1990." я проигнорировала "climate", поэтому поняла это как то, что за каждый месяц берется такое осреднение.
Теперь вижу, что для моих задач Worlclim не подходит. И мне нужны только первичные данные метеостанций. Поскольку цель посмотреть различия в метеопараметрах за ряд лет.

А никто не знает, источник геоданных по которым была построена карта "мест расположения метеостанций" в упомянутой статье про Worldclim? Вот это:
После отсева станций в чьих рядах измерений наблюдалось большое количество ошибок мы получили 47 554 станции с данными об осадках, 22 542 станции с данными о средней температуре и 14 835 станций с данными о минимальной и максимальной температурах (см. иллюстрации ниже).
Вложения
800px-Worldclim_1.gif
800px-Worldclim_1.gif (128.36 КБ) 8817 просмотров

Аватара пользователя
Эдуард Казаков
Гуру
Сообщения: 546
Зарегистрирован: 23 апр 2014, 17:11
Репутация: 532
Откуда: Planet Earth
Контактная информация:

Re: Источники метеорологических данных по миру в ГИС

Сообщение Эдуард Казаков » 19 дек 2016, 16:06

Global Surface Summary of the Day

Сырые данные по метеостанциям, можно по ftp качать файлы, или через онлайн-интерфейс искать

Аватара пользователя
Эдуард Казаков
Гуру
Сообщения: 546
Зарегистрирован: 23 апр 2014, 17:11
Репутация: 532
Откуда: Planet Earth
Контактная информация:

Re: Источники метеорологических данных по миру в ГИС

Сообщение Эдуард Казаков » 19 дек 2016, 16:22

В приложении шейп со всеми метеостанциями, доступными на этом сервисе. В поле id_format записан айди в том виде, в котором данные на ftp лежат. Т.е. id_format + год = имя файла на ftp-сервере. Готовил для модуля автоматического поиска и загрузки данных с ближайших к пользовательским данным метеостанций. Данные не идеальные, но работать можно. На станциях по северо-западу РФ довольно много пропусков (иногда месяцы, иногда недели).
Вложения
meteostations.zip
(417.24 КБ) 295 скачиваний

Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 3020
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 69
Ваше звание: Лиса
Откуда: **
Контактная информация:

Re: Источники метеорологических данных по миру в ГИС

Сообщение Natalia Novoselova » 20 дек 2016, 18:10

Эдуард Казаков писал(а):Global Surface Summary of the Day

Сырые данные по метеостанциям, можно по ftp качать файлы, или через онлайн-интерфейс искать
Через онлайн сервис Global Surface Summary of the Day - GSOD > NCEI Climate Data Online Data Search
и при использовании сделанного вами шейпа выбрала данные за 2014-2016 гг за одну станцию (Station id 83095099999, Name SANTA MARIA). Отлично, выдается txt в виде ясной таблицы:
https://www1.ncdc.noaa.gov/pub/orders/C ... 216385.txt

Но как ее теперь сохранить в Excel таблицу? Через save as сохраняет только текстовым файлом, при простом копировании в таблицу полями сам не ложится. Как это сделать?

Аватара пользователя
Эдуард Казаков
Гуру
Сообщения: 546
Зарегистрирован: 23 апр 2014, 17:11
Репутация: 532
Откуда: Planet Earth
Контактная информация:

Re: Источники метеорологических данных по миру в ГИС

Сообщение Эдуард Казаков » 20 дек 2016, 18:35

Примитивный вариант :). Открываете документ в блокноте. Заходите в "поиск и замена". Заменяете " " (два пробела без ковычек) на " " (один пробел без ковычек). Повторяете до тех пор, пока количество замен не станет нулём (то есть двойных пробелов больше нет). Наконец, заменяете пробелы на точку с запятой (" " -> ";"), сохраняете документ в формате csv вместо txt, открываете его экселем через открыть - (в списке форматов выбрать csv).

Аватара пользователя
Denis Rykov
Гуру
Сообщения: 3376
Зарегистрирован: 11 апр 2008, 21:09
Репутация: 529
Ваше звание: Author
Контактная информация:

Re: Источники метеорологических данных по миру в ГИС

Сообщение Denis Rykov » 20 дек 2016, 18:37

В правильных ОС (или в консоли OSGeo4W, вы же осилили её установку, да?):

Код: Выделить всё

awk '$1=$1' OFS="," CDO3367857216385.txt > CDO3367857216385.csv
Spatial is now, more than ever, just another column- The Geometry Column.

Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 3020
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 69
Ваше звание: Лиса
Откуда: **
Контактная информация:

Re: Источники метеорологических данных по миру в ГИС

Сообщение Natalia Novoselova » 20 дек 2016, 18:51

Denis Rykov писал(а):В правильных ОС (или в консоли OSGeo4W, вы же осилили её установку, да?):

Код: Выделить всё

awk '$1=$1' OFS="," CDO3367857216385.txt > CDO3367857216385.csv
OSGeo4W у меня и стояла (вместе с QGIS), ее не надо было ставить отдельно. Поэтому после недавней переустановки QGIS я ее не ставила. Поскольку консоль открывается и все, вроде бы, работает.

Я бы тоже предпочла командой. Данных таких будет много. Но у меня "awk" не распознается . Что-то не доставлено?
Вложения
ex1.jpg
ex1.jpg (21.55 КБ) 8528 просмотров

Аватара пользователя
Denis Rykov
Гуру
Сообщения: 3376
Зарегистрирован: 11 апр 2008, 21:09
Репутация: 529
Ваше звание: Author
Контактная информация:

Re: Источники метеорологических данных по миру в ГИС

Сообщение Denis Rykov » 20 дек 2016, 19:10

Нужно запускать не виндовую консоль, а OSGeo4W Shell.
Spatial is now, more than ever, just another column- The Geometry Column.

Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 3020
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 69
Ваше звание: Лиса
Откуда: **
Контактная информация:

Re: Источники метеорологических данных по миру в ГИС

Сообщение Natalia Novoselova » 20 дек 2016, 19:15

Эдуард Казаков писал(а):Примитивный вариант :). Открываете документ в блокноте. Заходите в "поиск и замена". Заменяете " " (два пробела без ковычек) на " " (один пробел без ковычек). Повторяете до тех пор, пока количество замен не станет нулём (то есть двойных пробелов больше нет). Наконец, заменяете пробелы на точку с запятой (" " -> ";"), сохраняете документ в формате csv вместо txt, открываете его экселем через открыть - (в списке форматов выбрать csv).
Мне кажется, тут и просто через Excel можно было бы открыть.
Открыть в Excel новый документ. Выбрать из меню "Открыть" формат "Текстовые файлы", открываешь .txt файл, ставишь настройки открытия: Формат данных - "с разделителями", символ-разделитель - "пробел", считать последовательные разделители одним (Да), формат файла - "1256 Арабская (Windows)". Все открывает. Получившийся файл CDO3367857216385_test2.xls с данными в приложении

Но проблема в том, только заметила, что в исходной таблице, которую выдает система (https://www1.ncdc.noaa.gov/pub/orders/C ... 216385.txt) - часть столбцов не имеет названий полей.
Поэтому Excel открывает, но со сдвигами в названиях полей. На скриншоте зелеными галочками выделила эти поля. Их 6 штук. И так на 6 сдвигов открывает Excel.


При этом не понятно, что означают эти поля без названий?

Полагаю, что такой же сдвиг в полях будет и при открытии CDO3367857216385.txt через консоль.
Вложения
ex2.jpg
ex2.jpg (120.62 КБ) 8514 просмотров
CDO3367857216385_test2.xls
(173 КБ) 335 скачиваний
Последний раз редактировалось Natalia Novoselova 20 дек 2016, 19:20, всего редактировалось 1 раз.

Аватара пользователя
Эдуард Казаков
Гуру
Сообщения: 546
Зарегистрирован: 23 апр 2014, 17:11
Репутация: 532
Откуда: Planet Earth
Контактная информация:

Re: Источники метеорологических данных по миру в ГИС

Сообщение Эдуард Казаков » 20 дек 2016, 19:19

Данные подробно описаны здесь. Промотайте в конец, там написано, на какой позиции какое значение.

Ответить

Вернуться в «Данные»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 5 гостей