Как визуализировать пространственное распределения тренда
-
- Интересующийся
- Сообщения: 49
- Зарегистрирован: 04 май 2015, 18:13
- Репутация: 0
Как визуализировать пространственное распределения тренда
Добрый день.
У меня возникли трудности по визуализации данных. Дело в том, что мне нужно сделать карту пространственного распределения AOD (аэрозоли) тенденций для определенной территории (в моем случае, для Китая) за долгосрочный период (2000-2017 год). Я скачал все данные необходимые данные (формат *.nc) с официального сайта NASA, но я не знаю как сделать трендовый анализ и визуализировать его на карте Китая. Для каждого пикселя должно быть свое значения тренда, в моем случае с пространственным разрешением 1 на 1 градус. Прикрепленный ниже рисунок демонстрирует трендовый анализ из другого исследования, и мне нужно сделать такой же рисунок. Но на свой стыд я не совсем понимаю как сделать это.
За ранее огромное спасибо.
У меня возникли трудности по визуализации данных. Дело в том, что мне нужно сделать карту пространственного распределения AOD (аэрозоли) тенденций для определенной территории (в моем случае, для Китая) за долгосрочный период (2000-2017 год). Я скачал все данные необходимые данные (формат *.nc) с официального сайта NASA, но я не знаю как сделать трендовый анализ и визуализировать его на карте Китая. Для каждого пикселя должно быть свое значения тренда, в моем случае с пространственным разрешением 1 на 1 градус. Прикрепленный ниже рисунок демонстрирует трендовый анализ из другого исследования, и мне нужно сделать такой же рисунок. Но на свой стыд я не совсем понимаю как сделать это.
За ранее огромное спасибо.
- Вложения
-
- 2.jpg (92.54 КБ) 9330 просмотров
-
- 1.jpg (348.31 КБ) 9330 просмотров
-
- Гуру
- Сообщения: 4056
- Зарегистрирован: 15 окт 2010, 08:33
- Репутация: 1054
- Ваше звание: программист
- Откуда: Казань
Re: Как визуализировать пространственное распределения тренда
судя по надписям на картинках, там сначала делали анализ, а уже потом рисовали мурзилки, так что это не задача визуализации. Поскольку что вы там скачали, никому не известно, то остается только гадать.
Судя по картинкам, делать нужно примерно так:
1) создаете целевую сетку в нужной проекции.
2) Обобщаете данные на эту сетку (способ зависит от соотношения разрешения сетки и данных), получаете таблицу со столбцами (Дата, Ячейка, AOD)
3) Грузите все это в R/Python, и строите в цикле для каждой ячейки модель для временного ряда с трендом по годам, типа такой (если временная детализация по месяцам)
AOD(Year,Month)=mu+alpha*Year+beta(Month)+epsilon(Year,Month)
alpha - искомый тренд, из моделей получаете доверительный интервал, уровень значимости, R2, и прочие ништяки.
4) Сохраняете сетки, и вот уже теперь раскрашиваете их как новогоднюю ёлку в SAGA/QGIS/далее везде.
P.S. Хорошая задачка для хорошего студента 3 курса. Для магистра можно предложить построить нормальную пространственно-временную модель - спасибо за задачку (если расскажете, где данные брать)
Судя по картинкам, делать нужно примерно так:
1) создаете целевую сетку в нужной проекции.
2) Обобщаете данные на эту сетку (способ зависит от соотношения разрешения сетки и данных), получаете таблицу со столбцами (Дата, Ячейка, AOD)
3) Грузите все это в R/Python, и строите в цикле для каждой ячейки модель для временного ряда с трендом по годам, типа такой (если временная детализация по месяцам)
AOD(Year,Month)=mu+alpha*Year+beta(Month)+epsilon(Year,Month)
alpha - искомый тренд, из моделей получаете доверительный интервал, уровень значимости, R2, и прочие ништяки.
4) Сохраняете сетки, и вот уже теперь раскрашиваете их как новогоднюю ёлку в SAGA/QGIS/далее везде.
P.S. Хорошая задачка для хорошего студента 3 курса. Для магистра можно предложить построить нормальную пространственно-временную модель - спасибо за задачку (если расскажете, где данные брать)
-
- Интересующийся
- Сообщения: 49
- Зарегистрирован: 04 май 2015, 18:13
- Репутация: 0
Re: Как визуализировать пространственное распределения тренда
gamm, Спасибо за ваш ответ, увы я с R и Python на вы, поэтому мне сложно через эти программы делать какие либо расчеты. Но как я уже понимаю необходимо заняться углубленным изучением одной из них.
Конечно расскажу, только при условии, если мне решение тоже достанется).
Все данные берутся с официального сайта NASA, а именно одной из систем (https://giovanni.gsfc.nasa.gov/). Ниже приведена ссылка с уже выбранными данными по которым нужно сделать поставленную задачу. Если более подробно то нужно искать Aerosol Optical Depth от платформы: MODIS-Terra с названием полного продукта «Combined Dark Target and Deep Blue AOD at 0.55 micron for land and ocean: Mean (MOD08_D3 v6.1)». Для усложнения задачи, также можно строить тренд с периодом 6 лет (2000-2005, 2006-2011, 2012-2017 и 2000-2017 год), с рисунком для каждого промежутка времени.
https://giovanni.gsfc.nasa.gov/giovanni ... S-Terra%3B
Конечно расскажу, только при условии, если мне решение тоже достанется).
Все данные берутся с официального сайта NASA, а именно одной из систем (https://giovanni.gsfc.nasa.gov/). Ниже приведена ссылка с уже выбранными данными по которым нужно сделать поставленную задачу. Если более подробно то нужно искать Aerosol Optical Depth от платформы: MODIS-Terra с названием полного продукта «Combined Dark Target and Deep Blue AOD at 0.55 micron for land and ocean: Mean (MOD08_D3 v6.1)». Для усложнения задачи, также можно строить тренд с периодом 6 лет (2000-2005, 2006-2011, 2012-2017 и 2000-2017 год), с рисунком для каждого промежутка времени.
https://giovanni.gsfc.nasa.gov/giovanni ... S-Terra%3B
-
- Гуру
- Сообщения: 4056
- Зарегистрирован: 15 окт 2010, 08:33
- Репутация: 1054
- Ваше звание: программист
- Откуда: Казань
Re: Как визуализировать пространственное распределения тренда
знакомый продукт, для меня разрешение немного маловато.
Что касается программ, если сделаете чем-нибудь таблицу, то можно посчитать, но после 15-го января. Один из вариантов - вывалить сетки с AOD в XYZ в проекции, в которой целевая сетка параллельна осям координат, и в любой программе (хоть в Ёкселе) посчитать номера ячеек (вычитаем начало сетки, делим на шаг, и берем целую часть), и оставить ячейки в границах сетки. Остальное я смогу посчитать в R довольно быстро.
-
- Интересующийся
- Сообщения: 49
- Зарегистрирован: 04 май 2015, 18:13
- Репутация: 0
Re: Как визуализировать пространственное распределения тренда
gamm, Я понял вас, через Arcgis постараюсь вытянуть таблицу полных значений, там указываются только XY。Вы правы, что 1 градус это многовато для использования, но для большой территории еще в принципе можно попробовать. Если вы знаете где получить готовые данные с более лучшим разрешением то я это будет здорово. Этот вайл для инвормации, если это то что нужно, то я сделаю все по годам.
- Вложения
-
- AOD.xls
- (53.5 КБ) 325 скачиваний
-
- Гуру
- Сообщения: 5292
- Зарегистрирован: 09 апр 2010, 19:30
- Репутация: 1015
- Ваше звание: просто мимо прохожу
- Откуда: Ё-бург
Re: Как визуализировать пространственное распределения тренда
выкладывать xls просто неприлично, используйте csv
-
- Гуру
- Сообщения: 4056
- Зарегистрирован: 15 окт 2010, 08:33
- Репутация: 1054
- Ваше звание: программист
- Откуда: Казань
-
- Новоприбывший
- Сообщения: 5
- Зарегистрирован: 27 ноя 2018, 23:28
- Репутация: 1
- Откуда: Воронеж
Re: Как визуализировать пространственное распределения тренда
Пример на рисунке выполнен в средствами ArcGIS+Spatial Analyst+Toolbox. На основе стандартных данных ESRI из проекта World. Желтые точки – города со значениями по числу жителей.
Проинтерполирована плотность населения. Попутно определены параметры среды (размер ячейки и кратный ему экстент сетки. Сетка задана 10х10 градусов.). Результат обрезан контурами континентов. Через конвертацию данных сетка переведена в набор точек, которые наложены сверху в центрах ячеек.
Если исходно имеется сетка, ее надо будет пересчитать на нужный размер также определив параметры среды. Если то, что нужно могу отдельные шаги уточнить.
Проинтерполирована плотность населения. Попутно определены параметры среды (размер ячейки и кратный ему экстент сетки. Сетка задана 10х10 градусов.). Результат обрезан контурами континентов. Через конвертацию данных сетка переведена в набор точек, которые наложены сверху в центрах ячеек.
Если исходно имеется сетка, ее надо будет пересчитать на нужный размер также определив параметры среды. Если то, что нужно могу отдельные шаги уточнить.
- Вложения
-
- World_10x10dd.png (66.81 КБ) 9194 просмотра
-
- Гуру
- Сообщения: 4056
- Зарегистрирован: 15 окт 2010, 08:33
- Репутация: 1054
- Ваше звание: программист
- Откуда: Казань
-
- Новоприбывший
- Сообщения: 5
- Зарегистрирован: 27 ноя 2018, 23:28
- Репутация: 1
- Откуда: Воронеж
Re: Как визуализировать пространственное распределения тренда
В данном случае интерполяция была нужна чтобы создать сетку определенного размера и дать изображение.
Но ведь в тред-анализе не обойтись без интерполяции. Можно назвать это аппроксимацией полиномами выбранной степени для выделения региональной и локальной составляющих. Если мы не собираемся проводить эти действия остаются оформительские работы по представлению данных.
Но ведь в тред-анализе не обойтись без интерполяции. Можно назвать это аппроксимацией полиномами выбранной степени для выделения региональной и локальной составляющих. Если мы не собираемся проводить эти действия остаются оформительские работы по представлению данных.
-
- Гуру
- Сообщения: 4056
- Зарегистрирован: 15 окт 2010, 08:33
- Репутация: 1054
- Ваше звание: программист
- Откуда: Казань
-
- Новоприбывший
- Сообщения: 5
- Зарегистрирован: 27 ноя 2018, 23:28
- Репутация: 1
- Откуда: Воронеж
Re: Как визуализировать пространственное распределения тренда
Да, согласен. Я не понял условие задачи.
Так что начну сначала. Для всех точек вынести в атрибуты значения показателей по годам. С 2000 по 2017 – это 18 колонок. В 19-ю колонку рассчитать значение тренда. Может его выразить коэффициентом парной корреляции, рассчитанным по данной строке? Последний можно просто в Excel получить. Данную колонку и использовать для отображения данных, присвоив их или гриду или одноразмерной полигональной сетке.
Так что начну сначала. Для всех точек вынести в атрибуты значения показателей по годам. С 2000 по 2017 – это 18 колонок. В 19-ю колонку рассчитать значение тренда. Может его выразить коэффициентом парной корреляции, рассчитанным по данной строке? Последний можно просто в Excel получить. Данную колонку и использовать для отображения данных, присвоив их или гриду или одноразмерной полигональной сетке.
-
- Гуру
- Сообщения: 4056
- Зарегистрирован: 15 окт 2010, 08:33
- Репутация: 1054
- Ваше звание: программист
- Откуда: Казань
-
- Новоприбывший
- Сообщения: 5
- Зарегистрирован: 27 ноя 2018, 23:28
- Репутация: 1
- Откуда: Воронеж
Re: Как визуализировать пространственное распределения тренда
В архиве проект ArcGIS по данным AOD.xls. Значение показателя в трех вариантах: в атрибутах точек, в атрибутах полигонов 1х1 градус, в значениях грида 1х1 градус.
- Вложения
-
- Визуализация проекта
- China_trend.png (64.5 КБ) 9068 просмотров
-
- China.rar
- Архив проекта
- (104.1 КБ) 329 скачиваний
-
- Интересующийся
- Сообщения: 49
- Зарегистрирован: 04 май 2015, 18:13
- Репутация: 0
Re: Как визуализировать пространственное распределения тренда
D-gis, спасибо огромное. Но возникает еще несколько вопросов).Можно ли сделать тоже самое только с набором данных от 2000 по 2018 год, при этом будут представлены данные за каждый год и нужно сначала сделать тренд за все эти годы а потом нанести их на карту как представлены выше. И я все же не совсем понимаю как это вы сделали)
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 12 гостей