Источники метеорологических данных по миру в ГИС

Получение, новые источники, открытость
Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 3020
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 69
Ваше звание: Лиса
Откуда: **
Контактная информация:

Re: Источники метеорологических данных по миру в ГИС

Сообщение Natalia Novoselova » 20 дек 2016, 19:37

Эдуард Казаков писал(а):Данные подробно описаны здесь. Промотайте в конец, там написано, на какой позиции какое значение.

Поля без названий - это "Number of observations".
Хм.. а как же тогда автоматизировать процесс открытия?
Если открывать через Excel получаются сдвиги полей, из-за того, что эти поля не имеют названий... которые можно поправить только вручную внутри файла..

Если через консоль в csv - не знаю. Думаю, что там тоже будут сдвиги в поле. Надо попробовать.

Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 3020
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 69
Ваше звание: Лиса
Откуда: **
Контактная информация:

Re: Источники метеорологических данных по миру в ГИС

Сообщение Natalia Novoselova » 20 дек 2016, 19:45

/
Последний раз редактировалось Natalia Novoselova 20 дек 2016, 20:25, всего редактировалось 1 раз.

Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 3020
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 69
Ваше звание: Лиса
Откуда: **
Контактная информация:

Re: Источники метеорологических данных по миру в ГИС

Сообщение Natalia Novoselova » 20 дек 2016, 19:49

Можно ли принципиальный вопрос по этому шейпу, что вы сделали.
Эдуард Казаков писал(а):В приложении шейп со всеми метеостанциями, доступными на этом сервисе. В поле id_format записан айди в том виде, в котором данные на ftp лежат. Т.е. id_format + год = имя файла на ftp-сервере. Готовил для модуля автоматического поиска и загрузки данных с ближайших к пользовательским данным метеостанций. Данные не идеальные, но работать можно. На станциях по северо-западу РФ довольно много пропусков (иногда месяцы, иногда недели).
viewtopic.php?f=33&t=21867#p149199


В скачанных данных за одну санцию не было координат самой станции. Тогда каков источник шейпа расположения метеостанций, который вы сделали? Если это данные самого Global Surface Summary of the Day, то где именно это находится у них в исходном виде? Какова методика создания этого файла?

Источник вот, наверное:
ftp://ftp.ncdc.noaa.gov/pub/data/noaa/
>>
ftp://ftp.ncdc.noaa.gov/pub/data/noaa/isd-history.csv

Правда в этом файле часть метеостанций не имеет координат..(не понятно почему.. ).


На нижнем скриншоте - шейп файл с метеостанциями, который вы сделали. И видно, что, например, для Южной Америки плотность станций явно не такая, как плотность станций в карте по статье о WorldClim (я ее приводила в посте выше, она же в верхнем скриншоте). На верхнем скриншоте явно больше метеостанций (например, сгущение на востоке Южной Америки), чем на нижнем (на востоке явно разреженное расположение метеостанций)

То есть источник метеостанций в статье о Worlclim все-таки другой?



Хотелось бы разобраться. С одной стороны, не так критично, если в Global Surface Summary of the Day не все метео-станции используются. Важно иметь оценку их плотности (т.е. точно знать, данные какого числа метеостанций мы используем), что этот ресурс дает. С другой стороны, если метеостанций на самом деле много больше,.. то, как минимум, надо понять, почему Global Surface Summary of the Day данные не всех метеостанций использует.


То есть, сухим остатком, на карте в верхнем скриншоте - явно больше метеостанций, чем по данным Global Surface Summary of the Day, Значит, сам Global Surface Summary of the Day использует не все метеостанции. И значит есть еще какой-то ресурс, который имеет данные большего числа метеостанций. Что это за ресурс?
Вложения
800px-Worldclim.gif
800px-Worldclim.gif (128.36 КБ) 5273 просмотра
meteostations-map_GSOD.jpg
meteostations-map_GSOD.jpg (319.79 КБ) 5277 просмотров

Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 3020
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 69
Ваше звание: Лиса
Откуда: **
Контактная информация:

Re: Источники метеорологических данных по миру в ГИС

Сообщение Natalia Novoselova » 21 дек 2016, 04:14

То есть, сухим остатком, на карте в верхнем скриншоте - явно больше метеостанций, чем по данным Global Surface Summary of the Day, Значит, сам Global Surface Summary of the Day использует не все метеостанции. И значит есть еще какой-то ресурс, который имеет данные большего числа метеостанций. Что это за ресурс?
Ответ на этот вопрос найден. Тогда прсто итогом. Что Global Surface Summary of the Day использует и содержит данные далеко не всех имеющихся метеостанций.

В шейпе, в котором (как я думаю) собраны все метеостанции Global Surface Summary of the Day, сделанные по источнику ftp://ftp.ncdc.noaa.gov/pub/data/noaa/isd-history.csv 11535 объектов.

И по ссылке из статьи о Worldclim

После отсева станций в чьих рядах измерений наблюдалось большое количество ошибок мы получили 47554 станции с данными об осадках, 22542 станции с данными о средней температуре и 14835 станций с данными о минимальной и максимальной температурах (см. иллюстрации ниже).
То есть, всего станций может быть от 47,5 тысяч и больше (если вдруг эти множества не пересекаютя). А Global Surface Summary of the Day использует 11,5 тысяч метеостанций (плюс какое-то число, которое не вошло в шейп и-за отсутствия координат. Правда их данные все равно нельзя использовать (т.к. станции нельзя выбрать), т.е. можно считать, что их нет).

Все это не в порядке критики, конечно. А просто для лучшего понимания сути геоданных.


Хотя, конечно, хотелось бы знать критерии занесения метеостанций в Global Surface Summary of the Day.

Может быть туда заносились метеостанции, где собирались все параметры сразу (т.е пересечение множеств, упомянутых в цитате выше). Тогда было бы как-то логично.. :roll:

Аватара пользователя
Эдуард Казаков
Гуру
Сообщения: 546
Зарегистрирован: 23 апр 2014, 17:11
Репутация: 532
Откуда: Planet Earth
Контактная информация:

Re: Источники метеорологических данных по миру в ГИС

Сообщение Эдуард Казаков » 21 дек 2016, 19:02

На территорию Южной Америки кстати тот шейп, что я прицеплял, сильно не полный (особенно в Бразилии), сейчас уже не вспомню, почему, меня интересовал для работы северо-запад и восточная Европа. Сюда прикрепляю исходный kml, в гис смотреть не очень удобно, т.к. там поле description большое и в html. Для Google Earth.

Может быть, вас больше устроит.
Вложения
gsod.shp.kml
(6.75 МБ) 549 скачиваний

Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 3020
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 69
Ваше звание: Лиса
Откуда: **
Контактная информация:

Re: Источники метеорологических данных по миру в ГИС

Сообщение Natalia Novoselova » 25 дек 2016, 16:00

С числом станций Global Surface Summary of the Day такая ситуация.
Три источника, по которым можно о них судить.
1. ftp://ftp.ncdc.noaa.gov/pub/data/noaa/isd-history.csv Предположила, что вы использовали его для создания шейпа, размещенного вами выше. Ваш шейп имеет 11535 объектов (что дает этот файл не считала).
2. ГС > KMZ file for dataset
KML, который скачивается, имеет 12 079 объектов. Но он не содержит нужных полей в атриб. таблице (номер станции и ее название), еще и по этой причине не подходит для работы

3. ГС > NCEI ArcGIS REST Services Directory > ArcGIS.com Map Интерактивная карта в ArcGIS Online


В которой находится самая полная база используемых метеостанций (25132 объектов) с необходимой информацией в атрибутивной таблице: Название станции, ее географические координаты, время начала и конца получения от нее данных и номер ID станции (AWS), который нужно использовать в online поиске GSOD здесь: NCEI Climate Data Online Data Search


Итого, эта интерактивная карта – самый полный источник метеостанций GSOD. Он уже вполне бьется с числом станций, включенных в Worldclim, их больше 25 тысяч.

Но чтобы выбирать станции по своему региону – их нужно иметь в виде шейпа (или я не умею это делать без загрузки данных). Через ArcGIS server GSOD (используя адрес https://gis.ncdc.noaa.gov/arcgis/rest/s ... apServer/0) скачала данные из Layer Global Surface Summary of the Day (0)
Однако скачалось не всё, причину этого я не смогла определить. Использовала утилиту, разработанную участником GIS-Lab (SergeyRyzhkov) и где-то, возможно, была ошибка. В моем шейпфайле (который также содержит все поля исходной интерактивной карты) 21483 объектов . 3649 станций не попало. Шейпфайл прилагается к посту. Техника скачивания и разбор встретившихся ошибок дан в теме :
viewtopic.php?f=1&t=21880#p149296
Вложения
GSOD_stations_dec2016.zip
(1.41 МБ) 272 скачивания

Ответить

Вернуться в «Данные»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 9 гостей