Инструменты оценки качества классификации

[Crackfox]

Добрый день. Требуется оценить результаты классификации для пары 10 ков растров (территория одна). Есть ли готовые opensource модули и пакеты, которые предназначены для оценки классификации стандартными методами (f-мера, матрица перепутывания , точность и тд)?

[gamm]

а не проще скрипт написать, на R или python - все из кросс-таблицы получается.

P.S. F-меры требуют, насколько я понял, еще и класса "не определено", они вроде про retrival, а не про классификацию https://en.wikipedia.org/wiki/F1_score, или имеется в виду что-то другое?

[Crackfox]

а не проще скрипт написать, на R или

оказалось что, да, проще)) в R имеется встроенная функция

Код: Выделить всё

confusionMatrix()

которая заодно производит стандартные оценки: accuracy, коэффициент согласованности Каппа ну собственно матрицу строит

насколько я понял, еще и класса "не определено"

да вроде нет, все на квартете tp-tn-fp-fn держится, как я понимаю:

F-мера представляет собой гармоническое среднее между точностью и полнотой.

, вроде по Вашей ссылке также.

[bim2010]

Status of land cover classification accuracy assessment Giles M. Foody
Evaluation of Different Machine Learning Algorithms for Scalable Classification of Tree Types and Tree Species Based on Sentinel-2 Data
Mathias Wessel, Melanie Brandmeier and Dirk Tiede