Распаковка информации о качестве данных MODIS

Обсуждение материалов сайта: вопросы, замечания, предложения
Ответить
Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 8906
Зарегистрирован: 06 окт 2003, 20:20
Статьи: 231
Проекты: 12/6
Репутация: 644
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Распаковка информации о качестве данных MODIS

Сообщение Максим Дубинин » 09 дек 2015, 18:20

Добавил в чистилище новую статью про то как работать с QA данных MODIS, если вы их не используете, то скорее всего у вас проблемы, так как в данных MODIS очень много фуфла. Немного это обсуждалось тут.

В этой же статье можно найти готовые таблицы с расшифровками (список которых неплохо бы пополнять).

Готов отвечать на вопросы и вносить разъяснения.

http://gis-lab.info/qa/modisqa.html
пристегивайтесь, турбулентность прямо по курсу

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 8906
Зарегистрирован: 06 окт 2003, 20:20
Статьи: 231
Проекты: 12/6
Репутация: 644
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Распаковка информации о качестве данных MODIS

Сообщение Максим Дубинин » 10 дек 2015, 22:57

добавил расшифровку для MCD12Q1, расширил для MOD13A2
пристегивайтесь, турбулентность прямо по курсу

bolotoved
Гуру
Сообщения: 920
Зарегистрирован: 30 дек 2008, 14:11
Статьи: 4
Проекты: 1
Репутация: 235
Откуда: Ханты-Мансийск
Контактная информация:

Re: Распаковка информации о качестве данных MODIS

Сообщение bolotoved » 06 ноя 2016, 09:13

Начал тоже самое делать на питоне для mod13q1, напоролся на сложность: количество значений битовых "слов" сильно превосходит те значения, которые описаны в словарях. Начал рыться и напоролся на данную статью. Для примера, возьмем твою таблицу для MOD13A2 и посмотрим VI usefulness для int=2325. Битовый код для этого значения будет 0101. В словаре такого значения нет, есть только 0100, потом идет 1000.

У тебя эта проблема решается через функцию VLOOKUP(колонка, словарь, 2). Последний параметр (2) означает, что при вводе в колонку значения для которого нет соответствия в словаре, берется значение для следующего номера в словаре.

В статье не упоминается, что так можно поступать и для меня это не очевидно.

Александр Мурый
Гуру
Сообщения: 5000
Зарегистрирован: 26 сен 2009, 16:26
Статьи: 3
Проекты: 5/1
Репутация: 705
Ваше звание: званий не имею
Откуда: Москва

Re: Распаковка информации о качестве данных MODIS

Сообщение Александр Мурый » 06 ноя 2016, 09:15

bolotoved писал(а): В статье не упоминается, что так можно поступать и для меня это не очевидно.
Просьба поправить статью.
Редактор материалов, модератор форума

bolotoved
Гуру
Сообщения: 920
Зарегистрирован: 30 дек 2008, 14:11
Статьи: 4
Проекты: 1
Репутация: 235
Откуда: Ханты-Мансийск
Контактная информация:

Re: Распаковка информации о качестве данных MODIS

Сообщение bolotoved » 06 ноя 2016, 09:32

Мне не очевидно, что так можно делать, как только я найду подтверждение, то добавлю.

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 8906
Зарегистрирован: 06 окт 2003, 20:20
Статьи: 231
Проекты: 12/6
Репутация: 644
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Распаковка информации о качестве данных MODIS

Сообщение Максим Дубинин » 06 ноя 2016, 10:34

bolotoved писал(а):Последний параметр (2) означает, что при вводе в колонку значения для которого нет соответствия в словаре, берется значение для следующего номера в словаре.
Нужно чтобы все значения были в словаре. Я бы не советовал брать таблицу от одного продукта и использовать для другого. Поэтому сначала прогоняется скрипт для получения всех уникальных значений и строится новая таблица.

новую таблицу не забудь отпулреквестить на гитхаб
пристегивайтесь, турбулентность прямо по курсу

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 8906
Зарегистрирован: 06 окт 2003, 20:20
Статьи: 231
Проекты: 12/6
Репутация: 644
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Распаковка информации о качестве данных MODIS

Сообщение Максим Дубинин » 06 ноя 2016, 10:46

bolotoved писал(а):У тебя эта проблема решается через функцию VLOOKUP(колонка, словарь, 2). Последний параметр (2) означает, что при вводе в колонку значения для которого нет соответствия в словаре, берется значение для следующего номера в словаре.
Если это так, то это явная ошибка и неплохо бы её исправить.
пристегивайтесь, турбулентность прямо по курсу

bolotoved
Гуру
Сообщения: 920
Зарегистрирован: 30 дек 2008, 14:11
Статьи: 4
Проекты: 1
Репутация: 235
Откуда: Ханты-Мансийск
Контактная информация:

Re: Распаковка информации о качестве данных MODIS

Сообщение bolotoved » 06 ноя 2016, 12:44

Вроде бы начинает проясняться. Проблема нехватки значений в словаре касается именно поля "VI usefulness" для продуктов касающихся вегетационных индексов. Похоже, что в таблицу просто внесены не все значения и авторы методичек об этом знают, о чем можно косвенно судить по следующим утверждениям:

Из второй части методички (стр. 5) читаем :
VI usefulness = 0001, meaning pixel is of highest quality (this flag is based on a 16-levels rank from 0000 to 1111)
Далее в мануале по продукту MOD13 (collection 6) https://lpdaac.usgs.gov/sites/default/f ... _guide.pdf на стр 18 читаем:
An index value of 0000 corresponds to the highest quality possible, while the lowest quality is equal to a value of
1100 (i.e., 13 levels). The three last values are reserved for three specific conditions...
Т.е. из 16 возможных значений последовательности из 4 битов, первые 13 используются как баллы качества для вегетационного индекса (качество падает от 0000 - самое лучшее, до 1100 - самое худшее, которое соответствует 13 уровню). Последние 3 значения 1101, 1110, 1111 описаны в таблице как "бесполезное". Т.о. словарь нужно изменить следующим образом:

Код: Выделить всё

0000;Highest
0001;Lower
0010;Decreasing 1
0011;Decreasing 2
0100;Decreasing 3
0101;Decreasing 4
0110;Decreasing 5
0111;Decreasing 6
1000;Decreasing 7
1001;Decreasing 8
1010;Decreasing 9
1011;Decreasing 10
1100;Lowest
1101;Not useful
1110;L1B faulty
1111;Not processed
Я еще повожусь некоторое время, полученную таблицу отправлю и напишу некоторые свои соображения.

bolotoved
Гуру
Сообщения: 920
Зарегистрирован: 30 дек 2008, 14:11
Статьи: 4
Проекты: 1
Репутация: 235
Откуда: Ханты-Мансийск
Контактная информация:

Re: Распаковка информации о качестве данных MODIS

Сообщение bolotoved » 06 ноя 2016, 17:00

Ссылка на скрипт для экстракции уникальных значений битая.

Александр Мурый
Гуру
Сообщения: 5000
Зарегистрирован: 26 сен 2009, 16:26
Статьи: 3
Проекты: 5/1
Репутация: 705
Ваше звание: званий не имею
Откуда: Москва

Re: Распаковка информации о качестве данных MODIS

Сообщение Александр Мурый » 06 ноя 2016, 17:18

bolotoved писал(а):Ссылка на скрипт для экстракции уникальных значений битая.
Исправил.
Редактор материалов, модератор форума

Ответить

Вернуться в «Материалы сайта»