Форумы GIS-Lab.info

У меня есть несколько растров одинаковой размерности. Значения пикселей соответствуют вероятности возникновения явления. Каждый растр получен из одних и тех же данных, но обработанных разными способами. Хотелось бы сделать некие выводы о качестве работы каждого метода. Для этого можно было бы сравнить результаты с неким эталоном, но эталона нет. Как можно поступить?

Может есть способ, кодга сравниваются два растра и из этого сравнения делаются какие-то выводы?

Вы можете оценить степень схожести/несхожести результатов методов с помощью корреляции. Естественно какой метод лучше без эталоне не определить.

Если нет эталона правды, то опровергнуть гипотезу: все ложь - невозможно.
Если методы документированные то можно пойти от литературы, т.е. типа, в статье Иванова И.И. показано что SVM круче MLC на 5%, поэтому мы его и использовали.
Если методы недокументированные, то отсается идти от формальной логики, почему они вообще применяются.

То есть фактически задача превращается в аналитическую, сравнение методов, эмпирика без валидации - либо в топку, либо "экспертная оценка показала..."

насколько я понимаю, при отсуствии ground truth сравнивать вам нужно не сами растры, а скорее распределения вероятностей. Поэтому нужно сформулировать гирпотезу, и ее проверять (статистически). Напрмер, гипотезу о том, что между вероятностями есть линейная (нелинейная) зависимость - затаскиваем в R, и использует lm()/gam(). Или о том, что распределения совпадают - затаскиваем в R и применяем тест Колмогорова-Смирнова. Или о том, что оба распределения несут одинаковую информацию (в смысле Шеннона) - затаскиваем в R, и измеряем дивергенцию Кульбака-Лейблера, и кросс-энтропию. Или просто смотрим, сколько они несут информации - сравниваем энтропию. Таким образом, мы узнаем, насколько эти результаты одинаковы (в терминах теории информации).

Если есть статистическая информация о распознаваемом явлении (напрмер есть образец "рисунка" объектов, и можно посчитать пространственные статистики - например, поверхность вариограммы с небольшим радиусом), то бинаризуем вероятности, получаем объекты и считаем те же статистики. После чего сравниваем распределение статистик (см. выше), и узнаем, насколько хорошо (в терминах моментов пространственного распределения) работают наши методы.

Спасибо всем откликнувшимся!

Максим Дубинин писал(а):Если методы документированные то можно пойти от литературы, т.е. типа, в статье Иванова И.И. показано что SVM круче MLC на 5%, поэтому мы его и использовали.

Методы документированные (правда, обоснованно допиленные под текущую задачу). На сколько мне известно, эти методы между собой не сравнивались (методы относительно свежие), поэтому именно я должен каким-то образом определить, какой из них предпочтительнее.

Как вообще можно произвести валидацию пространственного распределения вероятности возникновения явления?

gamm писал(а):Если есть статистическая информация о распознаваемом явлении (напрмер есть образец "рисунка" объектов, и можно посчитать пространственные статистики - например, поверхность вариограммы с небольшим радиусом), то бинаризуем вероятности, получаем объекты и считаем те же статистики.

Разъясните, пожалуйста поподробнее, какие функции R здесь используются. И что за образец "рисунка" и как его можно получить?

SS_Rebelious писал(а):Как вообще можно произвести валидацию пространственного распределения вероятности возникновения явления?

Туплю - естесственно через последующие наблюдения явления.
Остальные вопросы в силе.

SS_Rebelious писал(а):Спасибо всем откликнувшимся!

gamm писал(а):Если есть статистическая информация о распознаваемом явлении (напрмер есть образец "рисунка" объектов, и можно посчитать пространственные статистики - например, поверхность вариограммы с небольшим радиусом), то бинаризуем вероятности, получаем объекты и считаем те же статистики.

Разъясните, пожалуйста поподробнее, какие функции R здесь используются. И что за образец "рисунка" и как его можно получить?

считать нужно руками (программировать). Это матожидание квадрата разности при заданном сдвиге на растре. Растр превращается в таблицу, и определяется, как вычислить сдвиг. Например, если растра 100 х 200 уложен в вектор X по строкам, снизу вверх, слева направо, то при сдвиге на север нужно вычитать X-X[i+200], и контролировать выход за границу: i1<-1:(100*200-200); i2<-i1+200; diff.Noth<-mean((X[i1]-X[i2])^2), и аналогично для остальных сдвигов в разыне стороны достаточно взять сдвиги в первой четверти). Совокупность полученных diff и определяет вариограммные статистики (я посчитал средние, можно еще и дисперсию, ассиметрию, и пр.). Можно просто сравнивать распределения по Хи-квадрату или Колмогорову-Смирнову (Хи-квадрат лучше, ИМХО). Ну, или дивергенцию считать.

бинаризация делается из вектора вероятностей P сравнением с порогом cut.level: X<-as.integer(P>cut.level)

образец рисунка - типичное распределение ваших объектов по территории, взятое с карты для аналогичной территории или нарисованное экспертом. У геологов в качестве образца обычно выступает нарисованный руками разрез. Для его анализа была даже придумана специальная геостатистика - multipoint geostatistics.

Спасибо! А можете ли ещё порекомендовать статьи на эту тему?