Страница 1 из 1

Оценка точности классификации снимков разными алгоритмами

Добавлено: 10 окт 2016, 06:55
Rumato
Здравствуйте!

У меня такой вопрос: есть задача -- определение площади различных водных объектов по данным Landsat-8 и Sentinel-2, например сейчас озёр.
При этом нужно проанализировать работу двух алгоритмов классификации Random Forest и Spectral Angle Mapper (какой лучше работает).

Использую некоторые примеры в интернете я реализовал программу на python-е, которая осуществляет классификацию данных и потом можно переконвертировав в shp-файл и определить площадь озера.
Сейчас вопрос стоит с том, что как определить точность работы программы.
И я сейчас вижу только такой способ определения точности --использовать данные более высокого разрешения чтобы сверить результаты и как-то построить матрицу ошибок классификации (но тогда вопрос где такие бесплатные данные взять?). Просто визуально классификация весьма хорошо работает и слой результата хорошо ложится на исходный слой, но как быть более доказательным? Может есть какие-то работы по такой проблеме?

Заранее большое спасибо за ответ!

Re: Оценка точности классификации снимков разными алгоритмам

Добавлено: 10 окт 2016, 07:14
Sasfeat
Vozmite gotovie shape faily na vashu territoriyu(s OSM naprimer) i sravnite s nimi

Re: Оценка точности классификации снимков разными алгоритмам

Добавлено: 10 окт 2016, 07:20
Rumato
а помимо OSM есть ли ещё какие-то данные для сравнения?

Re: Оценка точности классификации снимков разными алгоритмам

Добавлено: 10 окт 2016, 07:33
URIIT
Один из возможных подходов таков: на некотором тестовом участке (или нескольких участках) вручную выделить все объекты которые вы классифицируете. Использовать ваши алгоритмы для классификации изображений. Сравнить полученные результаты по следующим показателям: commission error и ommission error (как адекватно на русский перевести не уверен).

Изображение

commission error - относительная площадь объектов не соответствующих классу и выделенных алгоритмом классификации.
ommission error - относительная площадь объектов соответствующих классу, но не выделенных алгоритмом классификации.

Сравнивая данные величины у разных алгоритмов можно найти наиболее подходящий алгоритм классификации.

Re: Оценка точности классификации снимков разными алгоритмам

Добавлено: 10 окт 2016, 07:57
Sasfeat
Rumato писал(а):а помимо OSM есть ли ещё какие-то данные для сравнения?
Otkrytye i obshedostupnye tolko OSM. Na naturalearth est melkomashtabnye dannye.
Esli ne verite OSM, to otvectorizuite sami.

Re: Оценка точности классификации снимков разными алгоритмам

Добавлено: 10 окт 2016, 07:59
Rumato
URIIT, большое спасибо за ответ! Наверное так и буду делать, в моём случае это само оптимально. Ещё такой вопрос -- можно ли как-то оценить вклад ошибок из-за пространственного разрешения приборов (Landsat- 15 метров пиксель, Sentinel - 10 метров)? Есть ли какие-то работы которые бы это учитывали?

Re: Оценка точности классификации снимков разными алгоритмам

Добавлено: 10 окт 2016, 08:01
Rumato
Sasfeat, большое спасибо за ответ! Обязательно посмотрю.

Re: Оценка точности классификации снимков разными алгоритмам

Добавлено: 10 окт 2016, 08:34
URIIT
Rumato писал(а):можно ли как-то оценить вклад ошибок из-за пространственного разрешения приборов (Landsat- 15 метров пиксель, Sentinel - 10 метров)? Есть ли какие-то работы которые бы это учитывали?
Мы проводили такое исследование, его результаты ещё не напечатаны, текст статьи можно почитать тут.
Там есть формула по которой можно рассчитать погрешность измерения.

Re: Оценка точности классификации снимков разными алгоритмам

Добавлено: 10 окт 2016, 08:37
Rumato
URIIT, большое спасибо! Вы прям выручили меня, как напечатаете статью или когда просто выходные данные будут известны, напишите, пожалуйста ссылку, чтобы я мог на вас ссылаться.

Re: Оценка точности классификации снимков разными алгоритмам

Добавлено: 10 окт 2016, 09:26
bolotoved
Про простейший способ расчета ошибок комиссии и омиссии есть статья на этом сайте: http://gis-lab.info/qa/error-matrix.html

А вообще оценка точности ("accuracy assessment") при картографировании это целая хитрая наука со множеством стандартных, нестандартных и даже еретических подходов. Есть неплохой обзор: Congalton, R.G., Green, K. (2008). Assessing the accuracy of remotely sensed data: principles and practices. См. также другие работы Congalton, который в этой области является общепризнанным гуру.

Re: Оценка точности классификации снимков разными алгоритмами

Добавлено: 20 июн 2018, 12:38
URIIT
Rumato писал(а):
10 окт 2016, 08:37
напишите, пожалуйста ссылку, чтобы я мог на вас ссылаться
Если это ещё актуально, вот ссылка на сборник.

Re: Оценка точности классификации снимков разными алгоритмами

Добавлено: 20 июн 2018, 19:17
ericsson
Sasfeat писал(а):
10 окт 2016, 07:14
Vozmite gotovie shape faily na vashu territoriyu(s OSM naprimer) i sravnite s nimi
С каких пор даннные ОСМ стали настолько хороши, что сойдут за эталон? Вот ведь что только людям в голову не приходит...

Re: Оценка точности классификации снимков разными алгоритмами

Добавлено: 21 июн 2018, 13:55
antonv
На гис-лабе статья была вот такая: Матрица ошибок и расчет показателей точности тематических карт, может тоже сгодится. А по поводу терминологии: commission и omission - это ложноположительные и ложноотрицательные "срабатывания", наверное по-русски их можно называть так.

Re: Оценка точности классификации снимков разными алгоритмами

Добавлено: 22 июн 2018, 07:23
URIIT
antonv писал(а):
21 июн 2018, 13:55
А по поводу терминологии: commission и omission - это ложноположительные и ложноотрицательные "срабатывания", наверное по-русски их можно называть так.
Вот тут это уже обсудили.