Оценка точности классификации снимков разными алгоритмами
-
- Активный участник
- Сообщения: 104
- Зарегистрирован: 06 окт 2012, 15:35
- Репутация: 0
- Контактная информация:
Оценка точности классификации снимков разными алгоритмами
Здравствуйте!
У меня такой вопрос: есть задача -- определение площади различных водных объектов по данным Landsat-8 и Sentinel-2, например сейчас озёр.
При этом нужно проанализировать работу двух алгоритмов классификации Random Forest и Spectral Angle Mapper (какой лучше работает).
Использую некоторые примеры в интернете я реализовал программу на python-е, которая осуществляет классификацию данных и потом можно переконвертировав в shp-файл и определить площадь озера.
Сейчас вопрос стоит с том, что как определить точность работы программы.
И я сейчас вижу только такой способ определения точности --использовать данные более высокого разрешения чтобы сверить результаты и как-то построить матрицу ошибок классификации (но тогда вопрос где такие бесплатные данные взять?). Просто визуально классификация весьма хорошо работает и слой результата хорошо ложится на исходный слой, но как быть более доказательным? Может есть какие-то работы по такой проблеме?
Заранее большое спасибо за ответ!
У меня такой вопрос: есть задача -- определение площади различных водных объектов по данным Landsat-8 и Sentinel-2, например сейчас озёр.
При этом нужно проанализировать работу двух алгоритмов классификации Random Forest и Spectral Angle Mapper (какой лучше работает).
Использую некоторые примеры в интернете я реализовал программу на python-е, которая осуществляет классификацию данных и потом можно переконвертировав в shp-файл и определить площадь озера.
Сейчас вопрос стоит с том, что как определить точность работы программы.
И я сейчас вижу только такой способ определения точности --использовать данные более высокого разрешения чтобы сверить результаты и как-то построить матрицу ошибок классификации (но тогда вопрос где такие бесплатные данные взять?). Просто визуально классификация весьма хорошо работает и слой результата хорошо ложится на исходный слой, но как быть более доказательным? Может есть какие-то работы по такой проблеме?
Заранее большое спасибо за ответ!
Последний раз редактировалось Rumato 04 ноя 2016, 17:22, всего редактировалось 1 раз.
- Sasfeat
- Интересующийся
- Сообщения: 36
- Зарегистрирован: 20 фев 2013, 18:18
- Репутация: 13
- Откуда: Ухань
- Контактная информация:
Re: Оценка точности классификации снимков разными алгоритмам
Vozmite gotovie shape faily na vashu territoriyu(s OSM naprimer) i sravnite s nimi
-
- Активный участник
- Сообщения: 104
- Зарегистрирован: 06 окт 2012, 15:35
- Репутация: 0
- Контактная информация:
Re: Оценка точности классификации снимков разными алгоритмам
а помимо OSM есть ли ещё какие-то данные для сравнения?
-
- Участник
- Сообщения: 70
- Зарегистрирован: 16 апр 2012, 08:33
- Репутация: 16
Re: Оценка точности классификации снимков разными алгоритмам
Один из возможных подходов таков: на некотором тестовом участке (или нескольких участках) вручную выделить все объекты которые вы классифицируете. Использовать ваши алгоритмы для классификации изображений. Сравнить полученные результаты по следующим показателям: commission error и ommission error (как адекватно на русский перевести не уверен).
commission error - относительная площадь объектов не соответствующих классу и выделенных алгоритмом классификации.
ommission error - относительная площадь объектов соответствующих классу, но не выделенных алгоритмом классификации.
Сравнивая данные величины у разных алгоритмов можно найти наиболее подходящий алгоритм классификации.
commission error - относительная площадь объектов не соответствующих классу и выделенных алгоритмом классификации.
ommission error - относительная площадь объектов соответствующих классу, но не выделенных алгоритмом классификации.
Сравнивая данные величины у разных алгоритмов можно найти наиболее подходящий алгоритм классификации.
- Sasfeat
- Интересующийся
- Сообщения: 36
- Зарегистрирован: 20 фев 2013, 18:18
- Репутация: 13
- Откуда: Ухань
- Контактная информация:
Re: Оценка точности классификации снимков разными алгоритмам
Otkrytye i obshedostupnye tolko OSM. Na naturalearth est melkomashtabnye dannye.Rumato писал(а):а помимо OSM есть ли ещё какие-то данные для сравнения?
Esli ne verite OSM, to otvectorizuite sami.
-
- Активный участник
- Сообщения: 104
- Зарегистрирован: 06 окт 2012, 15:35
- Репутация: 0
- Контактная информация:
Re: Оценка точности классификации снимков разными алгоритмам
URIIT, большое спасибо за ответ! Наверное так и буду делать, в моём случае это само оптимально. Ещё такой вопрос -- можно ли как-то оценить вклад ошибок из-за пространственного разрешения приборов (Landsat- 15 метров пиксель, Sentinel - 10 метров)? Есть ли какие-то работы которые бы это учитывали?
-
- Активный участник
- Сообщения: 104
- Зарегистрирован: 06 окт 2012, 15:35
- Репутация: 0
- Контактная информация:
Re: Оценка точности классификации снимков разными алгоритмам
Sasfeat, большое спасибо за ответ! Обязательно посмотрю.
-
- Участник
- Сообщения: 70
- Зарегистрирован: 16 апр 2012, 08:33
- Репутация: 16
Re: Оценка точности классификации снимков разными алгоритмам
Мы проводили такое исследование, его результаты ещё не напечатаны, текст статьи можно почитать тут.Rumato писал(а):можно ли как-то оценить вклад ошибок из-за пространственного разрешения приборов (Landsat- 15 метров пиксель, Sentinel - 10 метров)? Есть ли какие-то работы которые бы это учитывали?
Там есть формула по которой можно рассчитать погрешность измерения.
-
- Активный участник
- Сообщения: 104
- Зарегистрирован: 06 окт 2012, 15:35
- Репутация: 0
- Контактная информация:
Re: Оценка точности классификации снимков разными алгоритмам
URIIT, большое спасибо! Вы прям выручили меня, как напечатаете статью или когда просто выходные данные будут известны, напишите, пожалуйста ссылку, чтобы я мог на вас ссылаться.
-
- Гуру
- Сообщения: 920
- Зарегистрирован: 30 дек 2008, 14:11
- Репутация: 236
- Откуда: Ханты-Мансийск
- Контактная информация:
Re: Оценка точности классификации снимков разными алгоритмам
Про простейший способ расчета ошибок комиссии и омиссии есть статья на этом сайте: http://gis-lab.info/qa/error-matrix.html
А вообще оценка точности ("accuracy assessment") при картографировании это целая хитрая наука со множеством стандартных, нестандартных и даже еретических подходов. Есть неплохой обзор: Congalton, R.G., Green, K. (2008). Assessing the accuracy of remotely sensed data: principles and practices. См. также другие работы Congalton, который в этой области является общепризнанным гуру.
А вообще оценка точности ("accuracy assessment") при картографировании это целая хитрая наука со множеством стандартных, нестандартных и даже еретических подходов. Есть неплохой обзор: Congalton, R.G., Green, K. (2008). Assessing the accuracy of remotely sensed data: principles and practices. См. также другие работы Congalton, который в этой области является общепризнанным гуру.
-
- Участник
- Сообщения: 70
- Зарегистрирован: 16 апр 2012, 08:33
- Репутация: 16
-
- Гуру
- Сообщения: 3321
- Зарегистрирован: 27 июл 2009, 19:26
- Репутация: 748
- Ваше звание: Вредитель полей
- antonv
- Активный участник
- Сообщения: 229
- Зарегистрирован: 29 ноя 2016, 10:44
- Репутация: 114
- Откуда: Санкт-Петербург
Re: Оценка точности классификации снимков разными алгоритмами
На гис-лабе статья была вот такая: Матрица ошибок и расчет показателей точности тематических карт, может тоже сгодится. А по поводу терминологии: commission и omission - это ложноположительные и ложноотрицательные "срабатывания", наверное по-русски их можно называть так.
-
- Участник
- Сообщения: 70
- Зарегистрирован: 16 апр 2012, 08:33
- Репутация: 16
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 9 гостей