Страница 1 из 1
Оценка точности классификации снимков разными алгоритмами
Добавлено: 10 окт 2016, 06:55
Rumato
Здравствуйте!
У меня такой вопрос: есть задача -- определение площади различных водных объектов по данным Landsat-8 и Sentinel-2, например сейчас озёр.
При этом нужно проанализировать работу двух алгоритмов классификации Random Forest и Spectral Angle Mapper (какой лучше работает).
Использую некоторые примеры в интернете я реализовал программу на python-е, которая осуществляет классификацию данных и потом можно переконвертировав в shp-файл и определить площадь озера.
Сейчас вопрос стоит с том, что как определить точность работы программы.
И я сейчас вижу только такой способ определения точности --использовать данные более высокого разрешения чтобы сверить результаты и как-то построить матрицу ошибок классификации (но тогда вопрос где такие бесплатные данные взять?). Просто визуально классификация весьма хорошо работает и слой результата хорошо ложится на исходный слой, но как быть более доказательным? Может есть какие-то работы по такой проблеме?
Заранее большое спасибо за ответ!
Re: Оценка точности классификации снимков разными алгоритмам
Добавлено: 10 окт 2016, 07:14
Sasfeat
Vozmite gotovie shape faily na vashu territoriyu(s OSM naprimer) i sravnite s nimi
Re: Оценка точности классификации снимков разными алгоритмам
Добавлено: 10 окт 2016, 07:20
Rumato
а помимо OSM есть ли ещё какие-то данные для сравнения?
Re: Оценка точности классификации снимков разными алгоритмам
Добавлено: 10 окт 2016, 07:33
URIIT
Один из возможных подходов таков: на некотором тестовом участке (или нескольких участках) вручную выделить все объекты которые вы классифицируете. Использовать ваши алгоритмы для классификации изображений. Сравнить полученные результаты по следующим показателям: commission error и ommission error (как адекватно на русский перевести не уверен).
commission error - относительная площадь объектов
не соответствующих классу и
выделенных алгоритмом классификации.
ommission error - относительная площадь объектов
соответствующих классу, но
не выделенных алгоритмом классификации.
Сравнивая данные величины у разных алгоритмов можно найти наиболее подходящий алгоритм классификации.
Re: Оценка точности классификации снимков разными алгоритмам
Добавлено: 10 окт 2016, 07:57
Sasfeat
Rumato писал(а):а помимо OSM есть ли ещё какие-то данные для сравнения?
Otkrytye i obshedostupnye tolko OSM. Na
naturalearth est melkomashtabnye dannye.
Esli ne verite OSM, to otvectorizuite sami.
Re: Оценка точности классификации снимков разными алгоритмам
Добавлено: 10 окт 2016, 07:59
Rumato
URIIT, большое спасибо за ответ! Наверное так и буду делать, в моём случае это само оптимально. Ещё такой вопрос -- можно ли как-то оценить вклад ошибок из-за пространственного разрешения приборов (Landsat- 15 метров пиксель, Sentinel - 10 метров)? Есть ли какие-то работы которые бы это учитывали?
Re: Оценка точности классификации снимков разными алгоритмам
Добавлено: 10 окт 2016, 08:01
Rumato
Sasfeat, большое спасибо за ответ! Обязательно посмотрю.
Re: Оценка точности классификации снимков разными алгоритмам
Добавлено: 10 окт 2016, 08:34
URIIT
Rumato писал(а):можно ли как-то оценить вклад ошибок из-за пространственного разрешения приборов (Landsat- 15 метров пиксель, Sentinel - 10 метров)? Есть ли какие-то работы которые бы это учитывали?
Мы проводили такое исследование, его результаты ещё не напечатаны, текст статьи можно почитать
тут.
Там есть формула по которой можно рассчитать погрешность измерения.
Re: Оценка точности классификации снимков разными алгоритмам
Добавлено: 10 окт 2016, 08:37
Rumato
URIIT, большое спасибо! Вы прям выручили меня, как напечатаете статью или когда просто выходные данные будут известны, напишите, пожалуйста ссылку, чтобы я мог на вас ссылаться.
Re: Оценка точности классификации снимков разными алгоритмам
Добавлено: 10 окт 2016, 09:26
bolotoved
Про простейший способ расчета ошибок комиссии и омиссии есть статья на этом сайте:
http://gis-lab.info/qa/error-matrix.html
А вообще оценка точности ("accuracy assessment") при картографировании это целая хитрая наука со множеством стандартных, нестандартных и даже еретических подходов. Есть неплохой обзор: Congalton, R.G., Green, K. (2008). Assessing the accuracy of remotely sensed data: principles and practices. См. также другие работы Congalton, который в этой области является общепризнанным гуру.
Re: Оценка точности классификации снимков разными алгоритмами
Добавлено: 20 июн 2018, 12:38
URIIT
Rumato писал(а): ↑10 окт 2016, 08:37
напишите, пожалуйста ссылку, чтобы я мог на вас ссылаться
Если это ещё актуально, вот
ссылка на сборник.
Re: Оценка точности классификации снимков разными алгоритмами
Добавлено: 20 июн 2018, 19:17
ericsson
Sasfeat писал(а): ↑10 окт 2016, 07:14
Vozmite gotovie shape faily na vashu territoriyu(s OSM naprimer) i sravnite s nimi
С каких пор даннные ОСМ стали настолько хороши, что сойдут за эталон? Вот ведь что только людям в голову не приходит...
Re: Оценка точности классификации снимков разными алгоритмами
Добавлено: 21 июн 2018, 13:55
antonv
На гис-лабе статья была вот такая:
Матрица ошибок и расчет показателей точности тематических карт, может тоже сгодится. А по поводу терминологии: commission и omission - это ложноположительные и ложноотрицательные "срабатывания", наверное по-русски их можно называть так.
Re: Оценка точности классификации снимков разными алгоритмами
Добавлено: 22 июн 2018, 07:23
URIIT
antonv писал(а): ↑21 июн 2018, 13:55
А по поводу терминологии: commission и omission - это ложноположительные и ложноотрицательные "срабатывания", наверное по-русски их можно называть так.
Вот
тут это уже обсудили.