Страница 1 из 2
Источники метеорологических данных по миру в ГИС
Добавлено: 19 дек 2016, 03:56
Natalia Novoselova
Подскажите, какие существуют источники метеорологических данных по разным странам в ГИС?
Ищу по Юж. Америке. Если есть такой единый источник по миру, он может подойти.
Есть ли источник, который дает возможность увидеть на карте (точками) метеостанции для выбранного квадрата и загрузить данные метеорологических наблюдений этих метеостанций?
Worldclim дает такие данные, но в нем не известно, данные каких метеостанций он использует. Нельзя их увидеть, оценить частоту сети метеостанций в разных квадратах, то есть нельзя оценить характер точности данных.
В общем, хотелось бы найти такой источник, чтобы данные, которые дает Worlclim (температура min, max, ветер, осадки, влажность) можно было посчитать (как среднее) самому. Скачав метео-данные для выбранного квадрата со всех ближайших метеостанций.
Re: Источники метеорологических данных по миру в ГИС
Добавлено: 19 дек 2016, 07:45
MYS
Последние месяца полтора эту тему довольно активно обсуждали на форуме:
viewtopic.php?f=1&t=21670&hilit=%D0%95% ... BA#p147609
Re: Источники метеорологических данных по миру в ГИС
Добавлено: 19 дек 2016, 07:59
Natalia Novoselova
Да, на ГИС-Лаб и
статья есть.
Но в статье и в ссылке на тему с обсуждением - данные по России.
Мне нужно по Южной Америке или миру (где я надеюсь найти Южную Америку).
Re: Источники метеорологических данных по миру в ГИС
Добавлено: 19 дек 2016, 08:08
Natalia Novoselova
MYS писал(а):Последние месяца полтора эту тему довольно активно обсуждали на форуме:
Да, нашла ваше сообщение. Поищу оттуда. Спасибо.
viewtopic.php?f=1&t=21670&hilit=%D0%95% ... 15#p147815
Re: Источники метеорологических данных по миру в ГИС
Добавлено: 19 дек 2016, 08:20
bolotoved
Worldclim дает такие данные, но в нем не известно, данные каких метеостанций он использует
Очень даже известно, авторы подробно это описывают в своей статье, ссылки см. в
черновике статьи про Worldclim
Помните, что WorldClim - это климатические данные, т.е. средние многолетние.
Re: Источники метеорологических данных по миру в ГИС
Добавлено: 19 дек 2016, 15:25
Natalia Novoselova
bolotoved писал(а):Worldclim дает такие данные, но в нем не известно, данные каких метеостанций он использует
Очень даже известно, авторы подробно это описывают в своей статье, ссылки см. в
черновике статьи про Worldclim
Помните, что WorldClim - это климатические данные, т.е. средние многолетние.
Спасибо большое за уточнение. Да, изначально во фразе "WorldClim version 1 has average monthly climate data for minimum, mean, and maximum temperature and for precipitation for 1960-1990." я проигнорировала "climate", поэтому поняла это как то, что за каждый месяц берется такое осреднение.
Теперь вижу, что для моих задач Worlclim не подходит. И мне нужны только первичные данные метеостанций. Поскольку цель посмотреть различия в метеопараметрах за ряд лет.
А никто не знает, источник геоданных по которым была построена карта "мест расположения метеостанций" в упомянутой статье про Worldclim? Вот это:
После отсева станций в чьих рядах измерений наблюдалось большое количество ошибок мы получили 47 554 станции с данными об осадках, 22 542 станции с данными о средней температуре и 14 835 станций с данными о минимальной и максимальной температурах (см. иллюстрации ниже).
Re: Источники метеорологических данных по миру в ГИС
Добавлено: 19 дек 2016, 16:06
Эдуард Казаков
Global Surface Summary of the Day
Сырые данные по метеостанциям, можно по ftp качать файлы, или через онлайн-интерфейс искать
Re: Источники метеорологических данных по миру в ГИС
Добавлено: 19 дек 2016, 16:22
Эдуард Казаков
В приложении шейп со всеми метеостанциями, доступными на этом сервисе. В поле id_format записан айди в том виде, в котором данные на ftp лежат. Т.е. id_format + год = имя файла на ftp-сервере. Готовил для модуля автоматического поиска и загрузки данных с ближайших к пользовательским данным метеостанций. Данные не идеальные, но работать можно. На станциях по северо-западу РФ довольно много пропусков (иногда месяцы, иногда недели).
Re: Источники метеорологических данных по миру в ГИС
Добавлено: 20 дек 2016, 18:10
Natalia Novoselova
Через онлайн сервис
Global Surface Summary of the Day - GSOD >
NCEI Climate Data Online Data Search
и при использовании сделанного вами шейпа выбрала данные за 2014-2016 гг за одну станцию (Station id 83095099999, Name SANTA MARIA). Отлично, выдается txt в виде ясной таблицы:
https://www1.ncdc.noaa.gov/pub/orders/C ... 216385.txt
Но как ее теперь сохранить в Excel таблицу? Через save as сохраняет только текстовым файлом, при простом копировании в таблицу полями сам не ложится. Как это сделать?
Re: Источники метеорологических данных по миру в ГИС
Добавлено: 20 дек 2016, 18:35
Эдуард Казаков
Примитивный вариант

. Открываете документ в блокноте. Заходите в "поиск и замена". Заменяете " " (два пробела без ковычек) на " " (один пробел без ковычек). Повторяете до тех пор, пока количество замен не станет нулём (то есть двойных пробелов больше нет). Наконец, заменяете пробелы на точку с запятой (" " -> ";"), сохраняете документ в формате csv вместо txt, открываете его экселем через открыть - (в списке форматов выбрать csv).
Re: Источники метеорологических данных по миру в ГИС
Добавлено: 20 дек 2016, 18:37
Denis Rykov
В правильных ОС (или в консоли OSGeo4W, вы же осилили её установку, да?):
Код: Выделить всё
awk '$1=$1' OFS="," CDO3367857216385.txt > CDO3367857216385.csv
Re: Источники метеорологических данных по миру в ГИС
Добавлено: 20 дек 2016, 18:51
Natalia Novoselova
Denis Rykov писал(а):В правильных ОС (или в консоли OSGeo4W, вы же осилили её установку, да?):
Код: Выделить всё
awk '$1=$1' OFS="," CDO3367857216385.txt > CDO3367857216385.csv
OSGeo4W у меня и стояла (вместе с QGIS), ее не надо было ставить отдельно. Поэтому после недавней переустановки QGIS я ее не ставила. Поскольку консоль открывается и все, вроде бы, работает.
Я бы тоже предпочла командой. Данных таких будет много. Но у меня "awk" не распознается . Что-то не доставлено?
Re: Источники метеорологических данных по миру в ГИС
Добавлено: 20 дек 2016, 19:10
Denis Rykov
Нужно запускать не виндовую консоль, а OSGeo4W Shell.
Re: Источники метеорологических данных по миру в ГИС
Добавлено: 20 дек 2016, 19:15
Natalia Novoselova
Эдуард Казаков писал(а):Примитивный вариант

. Открываете документ в блокноте. Заходите в "поиск и замена". Заменяете " " (два пробела без ковычек) на " " (один пробел без ковычек). Повторяете до тех пор, пока количество замен не станет нулём (то есть двойных пробелов больше нет). Наконец, заменяете пробелы на точку с запятой (" " -> ";"), сохраняете документ в формате csv вместо txt, открываете его экселем через открыть - (в списке форматов выбрать csv).
Мне кажется, тут и просто через Excel можно было бы открыть.
Открыть в Excel новый документ. Выбрать из меню "Открыть" формат "Текстовые файлы", открываешь .txt файл, ставишь настройки открытия: Формат данных - "с разделителями", символ-разделитель - "пробел", считать последовательные разделители одним (Да), формат файла - "1256 Арабская (Windows)". Все открывает. Получившийся файл CDO3367857216385_test2.xls с данными в приложении
Но проблема в том, только заметила, что в исходной таблице, которую выдает система (
https://www1.ncdc.noaa.gov/pub/orders/C ... 216385.txt) - часть столбцов не имеет названий полей.
Поэтому Excel открывает, но со сдвигами в названиях полей. На скриншоте зелеными галочками выделила эти поля. Их 6 штук. И так на 6 сдвигов открывает Excel.
При этом не понятно, что означают эти поля без названий?
Полагаю, что такой же сдвиг в полях будет и при открытии CDO3367857216385.txt через консоль.
Re: Источники метеорологических данных по миру в ГИС
Добавлено: 20 дек 2016, 19:19
Эдуард Казаков
Данные подробно
описаны здесь. Промотайте в конец, там написано, на какой позиции какое значение.