Страница 1 из 2

Как визуализировать пространственное распределения тренда

Добавлено: 28 дек 2018, 12:16
Hekpoxa
Добрый день.
У меня возникли трудности по визуализации данных. Дело в том, что мне нужно сделать карту пространственного распределения AOD (аэрозоли) тенденций для определенной территории (в моем случае, для Китая) за долгосрочный период (2000-2017 год). Я скачал все данные необходимые данные (формат *.nc) с официального сайта NASA, но я не знаю как сделать трендовый анализ и визуализировать его на карте Китая. Для каждого пикселя должно быть свое значения тренда, в моем случае с пространственным разрешением 1 на 1 градус. Прикрепленный ниже рисунок демонстрирует трендовый анализ из другого исследования, и мне нужно сделать такой же рисунок. Но на свой стыд я не совсем понимаю как сделать это.
За ранее огромное спасибо.

Re: Как визуализировать пространственное распределения тренда

Добавлено: 28 дек 2018, 18:54
gamm
судя по надписям на картинках, там сначала делали анализ, а уже потом рисовали мурзилки, так что это не задача визуализации. Поскольку что вы там скачали, никому не известно, то остается только гадать.

Судя по картинкам, делать нужно примерно так:
1) создаете целевую сетку в нужной проекции.
2) Обобщаете данные на эту сетку (способ зависит от соотношения разрешения сетки и данных), получаете таблицу со столбцами (Дата, Ячейка, AOD)
3) Грузите все это в R/Python, и строите в цикле для каждой ячейки модель для временного ряда с трендом по годам, типа такой (если временная детализация по месяцам)
AOD(Year,Month)=mu+alpha*Year+beta(Month)+epsilon(Year,Month)
alpha - искомый тренд, из моделей получаете доверительный интервал, уровень значимости, R2, и прочие ништяки.
4) Сохраняете сетки, и вот уже теперь раскрашиваете их как новогоднюю ёлку в SAGA/QGIS/далее везде.

P.S. Хорошая задачка для хорошего студента 3 курса. Для магистра можно предложить построить нормальную пространственно-временную модель - спасибо за задачку (если расскажете, где данные брать) :D

Re: Как визуализировать пространственное распределения тренда

Добавлено: 29 дек 2018, 08:27
Hekpoxa
gamm, Спасибо за ваш ответ, увы я с R и Python на вы, поэтому мне сложно через эти программы делать какие либо расчеты. Но как я уже понимаю необходимо заняться углубленным изучением одной из них.
Конечно расскажу, только при условии, если мне решение тоже достанется).

Все данные берутся с официального сайта NASA, а именно одной из систем (https://giovanni.gsfc.nasa.gov/). Ниже приведена ссылка с уже выбранными данными по которым нужно сделать поставленную задачу. Если более подробно то нужно искать Aerosol Optical Depth от платформы: MODIS-Terra с названием полного продукта «Combined Dark Target and Deep Blue AOD at 0.55 micron for land and ocean: Mean (MOD08_D3 v6.1)». Для усложнения задачи, также можно строить тренд с периодом 6 лет (2000-2005, 2006-2011, 2012-2017 и 2000-2017 год), с рисунком для каждого промежутка времени.

https://giovanni.gsfc.nasa.gov/giovanni ... S-Terra%3B

Re: Как визуализировать пространственное распределения тренда

Добавлено: 29 дек 2018, 08:41
gamm
Hekpoxa писал(а):
29 дек 2018, 08:27
Aerosol Optical Depth
знакомый продукт, для меня разрешение немного маловато.

Что касается программ, если сделаете чем-нибудь таблицу, то можно посчитать, но после 15-го января. Один из вариантов - вывалить сетки с AOD в XYZ в проекции, в которой целевая сетка параллельна осям координат, и в любой программе (хоть в Ёкселе) посчитать номера ячеек (вычитаем начало сетки, делим на шаг, и берем целую часть), и оставить ячейки в границах сетки. Остальное я смогу посчитать в R довольно быстро.

Re: Как визуализировать пространственное распределения тренда

Добавлено: 29 дек 2018, 09:18
Hekpoxa
gamm, Я понял вас, через Arcgis постараюсь вытянуть таблицу полных значений, там указываются только XY。Вы правы, что 1 градус это многовато для использования, но для большой территории еще в принципе можно попробовать. Если вы знаете где получить готовые данные с более лучшим разрешением то я это будет здорово. Этот вайл для инвормации, если это то что нужно, то я сделаю все по годам.

Re: Как визуализировать пространственное распределения тренда

Добавлено: 29 дек 2018, 09:41
trir
выкладывать xls просто неприлично, используйте csv

Re: Как визуализировать пространственное распределения тренда

Добавлено: 29 дек 2018, 14:37
gamm
Hekpoxa писал(а):
29 дек 2018, 09:18
Этот вайл для инвормации, если это то что нужно, то я сделаю все по годам.
все после 15-го ...

Re: Как визуализировать пространственное распределения тренда

Добавлено: 29 дек 2018, 23:28
D-gis
Пример на рисунке выполнен в средствами ArcGIS+Spatial Analyst+Toolbox. На основе стандартных данных ESRI из проекта World. Желтые точки – города со значениями по числу жителей.
Проинтерполирована плотность населения. Попутно определены параметры среды (размер ячейки и кратный ему экстент сетки. Сетка задана 10х10 градусов.). Результат обрезан контурами континентов. Через конвертацию данных сетка переведена в набор точек, которые наложены сверху в центрах ячеек.
Если исходно имеется сетка, ее надо будет пересчитать на нужный размер также определив параметры среды. Если то, что нужно могу отдельные шаги уточнить.

Re: Как визуализировать пространственное распределения тренда

Добавлено: 30 дек 2018, 07:13
gamm
D-gis писал(а):
29 дек 2018, 23:28
Проинтерполирована
Задача другая, не интерполяция ...

Re: Как визуализировать пространственное распределения тренда

Добавлено: 30 дек 2018, 10:34
D-gis
В данном случае интерполяция была нужна чтобы создать сетку определенного размера и дать изображение.
Но ведь в тред-анализе не обойтись без интерполяции. Можно назвать это аппроксимацией полиномами выбранной степени для выделения региональной и локальной составляющих. Если мы не собираемся проводить эти действия остаются оформительские работы по представлению данных.

Re: Как визуализировать пространственное распределения тренда

Добавлено: 30 дек 2018, 13:14
gamm
D-gis писал(а):
30 дек 2018, 10:34
Но ведь в тред-анализе не обойтись без интерполяции.
обойтись. Никакая интерполяция в данной задаче не нужна - вы, похоже, все время думаете о пространственном тренде, а здесь его просто нет, здесь в каждой ячейке строится модель временного тренда.

Re: Как визуализировать пространственное распределения тренда

Добавлено: 31 дек 2018, 00:35
D-gis
Да, согласен. Я не понял условие задачи.
Так что начну сначала. Для всех точек вынести в атрибуты значения показателей по годам. С 2000 по 2017 – это 18 колонок. В 19-ю колонку рассчитать значение тренда. Может его выразить коэффициентом парной корреляции, рассчитанным по данной строке? Последний можно просто в Excel получить. Данную колонку и использовать для отображения данных, присвоив их или гриду или одноразмерной полигональной сетке.

Re: Как визуализировать пространственное распределения тренда

Добавлено: 31 дек 2018, 10:04
gamm
D-gis писал(а):
31 дек 2018, 00:35
Последний можно просто в Excel получить.
получите. Данные парой постов выше, уже в Ёкселе ...

Re: Как визуализировать пространственное распределения тренда

Добавлено: 31 дек 2018, 22:31
D-gis
В архиве проект ArcGIS по данным AOD.xls. Значение показателя в трех вариантах: в атрибутах точек, в атрибутах полигонов 1х1 градус, в значениях грида 1х1 градус.

Re: Как визуализировать пространственное распределения тренда

Добавлено: 27 мар 2019, 07:32
Hekpoxa
D-gis, спасибо огромное. Но возникает еще несколько вопросов).Можно ли сделать тоже самое только с набором данных от 2000 по 2018 год, при этом будут представлены данные за каждый год и нужно сначала сделать тренд за все эти годы а потом нанести их на карту как представлены выше. И я все же не совсем понимаю как это вы сделали)