Как визуализировать пространственное распределения тренда

Не знаете, где задать вопрос? Задавайте здесь.
Hekpoxa
Интересующийся
Сообщения: 49
Зарегистрирован: 04 май 2015, 18:13
Репутация: 0

Как визуализировать пространственное распределения тренда

Сообщение Hekpoxa » 28 дек 2018, 12:16

Добрый день.
У меня возникли трудности по визуализации данных. Дело в том, что мне нужно сделать карту пространственного распределения AOD (аэрозоли) тенденций для определенной территории (в моем случае, для Китая) за долгосрочный период (2000-2017 год). Я скачал все данные необходимые данные (формат *.nc) с официального сайта NASA, но я не знаю как сделать трендовый анализ и визуализировать его на карте Китая. Для каждого пикселя должно быть свое значения тренда, в моем случае с пространственным разрешением 1 на 1 градус. Прикрепленный ниже рисунок демонстрирует трендовый анализ из другого исследования, и мне нужно сделать такой же рисунок. Но на свой стыд я не совсем понимаю как сделать это.
За ранее огромное спасибо.
Вложения
2.jpg
2.jpg (92.54 КБ) 9326 просмотров
1.jpg
1.jpg (348.31 КБ) 9326 просмотров

gamm
Гуру
Сообщения: 4056
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1054
Ваше звание: программист
Откуда: Казань

Re: Как визуализировать пространственное распределения тренда

Сообщение gamm » 28 дек 2018, 18:54

судя по надписям на картинках, там сначала делали анализ, а уже потом рисовали мурзилки, так что это не задача визуализации. Поскольку что вы там скачали, никому не известно, то остается только гадать.

Судя по картинкам, делать нужно примерно так:
1) создаете целевую сетку в нужной проекции.
2) Обобщаете данные на эту сетку (способ зависит от соотношения разрешения сетки и данных), получаете таблицу со столбцами (Дата, Ячейка, AOD)
3) Грузите все это в R/Python, и строите в цикле для каждой ячейки модель для временного ряда с трендом по годам, типа такой (если временная детализация по месяцам)
AOD(Year,Month)=mu+alpha*Year+beta(Month)+epsilon(Year,Month)
alpha - искомый тренд, из моделей получаете доверительный интервал, уровень значимости, R2, и прочие ништяки.
4) Сохраняете сетки, и вот уже теперь раскрашиваете их как новогоднюю ёлку в SAGA/QGIS/далее везде.

P.S. Хорошая задачка для хорошего студента 3 курса. Для магистра можно предложить построить нормальную пространственно-временную модель - спасибо за задачку (если расскажете, где данные брать) :D

Hekpoxa
Интересующийся
Сообщения: 49
Зарегистрирован: 04 май 2015, 18:13
Репутация: 0

Re: Как визуализировать пространственное распределения тренда

Сообщение Hekpoxa » 29 дек 2018, 08:27

gamm, Спасибо за ваш ответ, увы я с R и Python на вы, поэтому мне сложно через эти программы делать какие либо расчеты. Но как я уже понимаю необходимо заняться углубленным изучением одной из них.
Конечно расскажу, только при условии, если мне решение тоже достанется).

Все данные берутся с официального сайта NASA, а именно одной из систем (https://giovanni.gsfc.nasa.gov/). Ниже приведена ссылка с уже выбранными данными по которым нужно сделать поставленную задачу. Если более подробно то нужно искать Aerosol Optical Depth от платформы: MODIS-Terra с названием полного продукта «Combined Dark Target and Deep Blue AOD at 0.55 micron for land and ocean: Mean (MOD08_D3 v6.1)». Для усложнения задачи, также можно строить тренд с периодом 6 лет (2000-2005, 2006-2011, 2012-2017 и 2000-2017 год), с рисунком для каждого промежутка времени.

https://giovanni.gsfc.nasa.gov/giovanni ... S-Terra%3B

gamm
Гуру
Сообщения: 4056
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1054
Ваше звание: программист
Откуда: Казань

Re: Как визуализировать пространственное распределения тренда

Сообщение gamm » 29 дек 2018, 08:41

Hekpoxa писал(а):
29 дек 2018, 08:27
Aerosol Optical Depth
знакомый продукт, для меня разрешение немного маловато.

Что касается программ, если сделаете чем-нибудь таблицу, то можно посчитать, но после 15-го января. Один из вариантов - вывалить сетки с AOD в XYZ в проекции, в которой целевая сетка параллельна осям координат, и в любой программе (хоть в Ёкселе) посчитать номера ячеек (вычитаем начало сетки, делим на шаг, и берем целую часть), и оставить ячейки в границах сетки. Остальное я смогу посчитать в R довольно быстро.

Hekpoxa
Интересующийся
Сообщения: 49
Зарегистрирован: 04 май 2015, 18:13
Репутация: 0

Re: Как визуализировать пространственное распределения тренда

Сообщение Hekpoxa » 29 дек 2018, 09:18

gamm, Я понял вас, через Arcgis постараюсь вытянуть таблицу полных значений, там указываются только XY。Вы правы, что 1 градус это многовато для использования, но для большой территории еще в принципе можно попробовать. Если вы знаете где получить готовые данные с более лучшим разрешением то я это будет здорово. Этот вайл для инвормации, если это то что нужно, то я сделаю все по годам.
Вложения
AOD.xls
(53.5 КБ) 325 скачиваний

trir
Гуру
Сообщения: 5286
Зарегистрирован: 09 апр 2010, 19:30
Репутация: 1015
Ваше звание: просто мимо прохожу
Откуда: Ё-бург

Re: Как визуализировать пространственное распределения тренда

Сообщение trir » 29 дек 2018, 09:41

выкладывать xls просто неприлично, используйте csv

gamm
Гуру
Сообщения: 4056
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1054
Ваше звание: программист
Откуда: Казань

Re: Как визуализировать пространственное распределения тренда

Сообщение gamm » 29 дек 2018, 14:37

Hekpoxa писал(а):
29 дек 2018, 09:18
Этот вайл для инвормации, если это то что нужно, то я сделаю все по годам.
все после 15-го ...

D-gis
Новоприбывший
Сообщения: 5
Зарегистрирован: 27 ноя 2018, 23:28
Репутация: 1
Откуда: Воронеж

Re: Как визуализировать пространственное распределения тренда

Сообщение D-gis » 29 дек 2018, 23:28

Пример на рисунке выполнен в средствами ArcGIS+Spatial Analyst+Toolbox. На основе стандартных данных ESRI из проекта World. Желтые точки – города со значениями по числу жителей.
Проинтерполирована плотность населения. Попутно определены параметры среды (размер ячейки и кратный ему экстент сетки. Сетка задана 10х10 градусов.). Результат обрезан контурами континентов. Через конвертацию данных сетка переведена в набор точек, которые наложены сверху в центрах ячеек.
Если исходно имеется сетка, ее надо будет пересчитать на нужный размер также определив параметры среды. Если то, что нужно могу отдельные шаги уточнить.
Вложения
World_10x10dd.png
World_10x10dd.png (66.81 КБ) 9190 просмотров

gamm
Гуру
Сообщения: 4056
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1054
Ваше звание: программист
Откуда: Казань

Re: Как визуализировать пространственное распределения тренда

Сообщение gamm » 30 дек 2018, 07:13

D-gis писал(а):
29 дек 2018, 23:28
Проинтерполирована
Задача другая, не интерполяция ...

D-gis
Новоприбывший
Сообщения: 5
Зарегистрирован: 27 ноя 2018, 23:28
Репутация: 1
Откуда: Воронеж

Re: Как визуализировать пространственное распределения тренда

Сообщение D-gis » 30 дек 2018, 10:34

В данном случае интерполяция была нужна чтобы создать сетку определенного размера и дать изображение.
Но ведь в тред-анализе не обойтись без интерполяции. Можно назвать это аппроксимацией полиномами выбранной степени для выделения региональной и локальной составляющих. Если мы не собираемся проводить эти действия остаются оформительские работы по представлению данных.

gamm
Гуру
Сообщения: 4056
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1054
Ваше звание: программист
Откуда: Казань

Re: Как визуализировать пространственное распределения тренда

Сообщение gamm » 30 дек 2018, 13:14

D-gis писал(а):
30 дек 2018, 10:34
Но ведь в тред-анализе не обойтись без интерполяции.
обойтись. Никакая интерполяция в данной задаче не нужна - вы, похоже, все время думаете о пространственном тренде, а здесь его просто нет, здесь в каждой ячейке строится модель временного тренда.

D-gis
Новоприбывший
Сообщения: 5
Зарегистрирован: 27 ноя 2018, 23:28
Репутация: 1
Откуда: Воронеж

Re: Как визуализировать пространственное распределения тренда

Сообщение D-gis » 31 дек 2018, 00:35

Да, согласен. Я не понял условие задачи.
Так что начну сначала. Для всех точек вынести в атрибуты значения показателей по годам. С 2000 по 2017 – это 18 колонок. В 19-ю колонку рассчитать значение тренда. Может его выразить коэффициентом парной корреляции, рассчитанным по данной строке? Последний можно просто в Excel получить. Данную колонку и использовать для отображения данных, присвоив их или гриду или одноразмерной полигональной сетке.

gamm
Гуру
Сообщения: 4056
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1054
Ваше звание: программист
Откуда: Казань

Re: Как визуализировать пространственное распределения тренда

Сообщение gamm » 31 дек 2018, 10:04

D-gis писал(а):
31 дек 2018, 00:35
Последний можно просто в Excel получить.
получите. Данные парой постов выше, уже в Ёкселе ...

D-gis
Новоприбывший
Сообщения: 5
Зарегистрирован: 27 ноя 2018, 23:28
Репутация: 1
Откуда: Воронеж

Re: Как визуализировать пространственное распределения тренда

Сообщение D-gis » 31 дек 2018, 22:31

В архиве проект ArcGIS по данным AOD.xls. Значение показателя в трех вариантах: в атрибутах точек, в атрибутах полигонов 1х1 градус, в значениях грида 1х1 градус.
Вложения
China_trend.png
Визуализация проекта
China_trend.png (64.5 КБ) 9064 просмотра
China.rar
Архив проекта
(104.1 КБ) 329 скачиваний

Hekpoxa
Интересующийся
Сообщения: 49
Зарегистрирован: 04 май 2015, 18:13
Репутация: 0

Re: Как визуализировать пространственное распределения тренда

Сообщение Hekpoxa » 27 мар 2019, 07:32

D-gis, спасибо огромное. Но возникает еще несколько вопросов).Можно ли сделать тоже самое только с набором данных от 2000 по 2018 год, при этом будут представлены данные за каждый год и нужно сначала сделать тренд за все эти годы а потом нанести их на карту как представлены выше. И я все же не совсем понимаю как это вы сделали)

Ответить

Вернуться в «Я новичок!»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 9 гостей