Оценка точности классификации снимков разными алгоритмами

Программы и алгоритмы для обработки данных дистанционного зондирования: ERDAS, ENVI и другие.
Ответить
Rumato
Активный участник
Сообщения: 104
Зарегистрирован: 06 окт 2012, 15:35
Репутация: 0
Контактная информация:

Оценка точности классификации снимков разными алгоритмами

Сообщение Rumato » 10 окт 2016, 06:55

Здравствуйте!

У меня такой вопрос: есть задача -- определение площади различных водных объектов по данным Landsat-8 и Sentinel-2, например сейчас озёр.
При этом нужно проанализировать работу двух алгоритмов классификации Random Forest и Spectral Angle Mapper (какой лучше работает).

Использую некоторые примеры в интернете я реализовал программу на python-е, которая осуществляет классификацию данных и потом можно переконвертировав в shp-файл и определить площадь озера.
Сейчас вопрос стоит с том, что как определить точность работы программы.
И я сейчас вижу только такой способ определения точности --использовать данные более высокого разрешения чтобы сверить результаты и как-то построить матрицу ошибок классификации (но тогда вопрос где такие бесплатные данные взять?). Просто визуально классификация весьма хорошо работает и слой результата хорошо ложится на исходный слой, но как быть более доказательным? Может есть какие-то работы по такой проблеме?

Заранее большое спасибо за ответ!
Последний раз редактировалось Rumato 04 ноя 2016, 17:22, всего редактировалось 1 раз.

Аватара пользователя
Sasfeat
Интересующийся
Сообщения: 36
Зарегистрирован: 20 фев 2013, 18:18
Репутация: 13
Откуда: Ухань
Контактная информация:

Re: Оценка точности классификации снимков разными алгоритмам

Сообщение Sasfeat » 10 окт 2016, 07:14

Vozmite gotovie shape faily na vashu territoriyu(s OSM naprimer) i sravnite s nimi

Rumato
Активный участник
Сообщения: 104
Зарегистрирован: 06 окт 2012, 15:35
Репутация: 0
Контактная информация:

Re: Оценка точности классификации снимков разными алгоритмам

Сообщение Rumato » 10 окт 2016, 07:20

а помимо OSM есть ли ещё какие-то данные для сравнения?

URIIT
Участник
Сообщения: 70
Зарегистрирован: 16 апр 2012, 08:33
Репутация: 16

Re: Оценка точности классификации снимков разными алгоритмам

Сообщение URIIT » 10 окт 2016, 07:33

Один из возможных подходов таков: на некотором тестовом участке (или нескольких участках) вручную выделить все объекты которые вы классифицируете. Использовать ваши алгоритмы для классификации изображений. Сравнить полученные результаты по следующим показателям: commission error и ommission error (как адекватно на русский перевести не уверен).

Изображение

commission error - относительная площадь объектов не соответствующих классу и выделенных алгоритмом классификации.
ommission error - относительная площадь объектов соответствующих классу, но не выделенных алгоритмом классификации.

Сравнивая данные величины у разных алгоритмов можно найти наиболее подходящий алгоритм классификации.

Аватара пользователя
Sasfeat
Интересующийся
Сообщения: 36
Зарегистрирован: 20 фев 2013, 18:18
Репутация: 13
Откуда: Ухань
Контактная информация:

Re: Оценка точности классификации снимков разными алгоритмам

Сообщение Sasfeat » 10 окт 2016, 07:57

Rumato писал(а):а помимо OSM есть ли ещё какие-то данные для сравнения?
Otkrytye i obshedostupnye tolko OSM. Na naturalearth est melkomashtabnye dannye.
Esli ne verite OSM, to otvectorizuite sami.

Rumato
Активный участник
Сообщения: 104
Зарегистрирован: 06 окт 2012, 15:35
Репутация: 0
Контактная информация:

Re: Оценка точности классификации снимков разными алгоритмам

Сообщение Rumato » 10 окт 2016, 07:59

URIIT, большое спасибо за ответ! Наверное так и буду делать, в моём случае это само оптимально. Ещё такой вопрос -- можно ли как-то оценить вклад ошибок из-за пространственного разрешения приборов (Landsat- 15 метров пиксель, Sentinel - 10 метров)? Есть ли какие-то работы которые бы это учитывали?

Rumato
Активный участник
Сообщения: 104
Зарегистрирован: 06 окт 2012, 15:35
Репутация: 0
Контактная информация:

Re: Оценка точности классификации снимков разными алгоритмам

Сообщение Rumato » 10 окт 2016, 08:01

Sasfeat, большое спасибо за ответ! Обязательно посмотрю.

URIIT
Участник
Сообщения: 70
Зарегистрирован: 16 апр 2012, 08:33
Репутация: 16

Re: Оценка точности классификации снимков разными алгоритмам

Сообщение URIIT » 10 окт 2016, 08:34

Rumato писал(а):можно ли как-то оценить вклад ошибок из-за пространственного разрешения приборов (Landsat- 15 метров пиксель, Sentinel - 10 метров)? Есть ли какие-то работы которые бы это учитывали?
Мы проводили такое исследование, его результаты ещё не напечатаны, текст статьи можно почитать тут.
Там есть формула по которой можно рассчитать погрешность измерения.

Rumato
Активный участник
Сообщения: 104
Зарегистрирован: 06 окт 2012, 15:35
Репутация: 0
Контактная информация:

Re: Оценка точности классификации снимков разными алгоритмам

Сообщение Rumato » 10 окт 2016, 08:37

URIIT, большое спасибо! Вы прям выручили меня, как напечатаете статью или когда просто выходные данные будут известны, напишите, пожалуйста ссылку, чтобы я мог на вас ссылаться.

bolotoved
Гуру
Сообщения: 920
Зарегистрирован: 30 дек 2008, 14:11
Репутация: 236
Откуда: Ханты-Мансийск
Контактная информация:

Re: Оценка точности классификации снимков разными алгоритмам

Сообщение bolotoved » 10 окт 2016, 09:26

Про простейший способ расчета ошибок комиссии и омиссии есть статья на этом сайте: http://gis-lab.info/qa/error-matrix.html

А вообще оценка точности ("accuracy assessment") при картографировании это целая хитрая наука со множеством стандартных, нестандартных и даже еретических подходов. Есть неплохой обзор: Congalton, R.G., Green, K. (2008). Assessing the accuracy of remotely sensed data: principles and practices. См. также другие работы Congalton, который в этой области является общепризнанным гуру.

URIIT
Участник
Сообщения: 70
Зарегистрирован: 16 апр 2012, 08:33
Репутация: 16

Re: Оценка точности классификации снимков разными алгоритмами

Сообщение URIIT » 20 июн 2018, 12:38

Rumato писал(а):
10 окт 2016, 08:37
напишите, пожалуйста ссылку, чтобы я мог на вас ссылаться
Если это ещё актуально, вот ссылка на сборник.

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: Оценка точности классификации снимков разными алгоритмами

Сообщение ericsson » 20 июн 2018, 19:17

Sasfeat писал(а):
10 окт 2016, 07:14
Vozmite gotovie shape faily na vashu territoriyu(s OSM naprimer) i sravnite s nimi
С каких пор даннные ОСМ стали настолько хороши, что сойдут за эталон? Вот ведь что только людям в голову не приходит...

Аватара пользователя
antonv
Активный участник
Сообщения: 229
Зарегистрирован: 29 ноя 2016, 10:44
Репутация: 114
Откуда: Санкт-Петербург

Re: Оценка точности классификации снимков разными алгоритмами

Сообщение antonv » 21 июн 2018, 13:55

На гис-лабе статья была вот такая: Матрица ошибок и расчет показателей точности тематических карт, может тоже сгодится. А по поводу терминологии: commission и omission - это ложноположительные и ложноотрицательные "срабатывания", наверное по-русски их можно называть так.

URIIT
Участник
Сообщения: 70
Зарегистрирован: 16 апр 2012, 08:33
Репутация: 16

Re: Оценка точности классификации снимков разными алгоритмами

Сообщение URIIT » 22 июн 2018, 07:23

antonv писал(а):
21 июн 2018, 13:55
А по поводу терминологии: commission и omission - это ложноположительные и ложноотрицательные "срабатывания", наверное по-русски их можно называть так.
Вот тут это уже обсудили.

Ответить

Вернуться в «Обработка ДДЗ»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 10 гостей