Факторный, кластерный анализ и распознавание образов в н.о З

[Василиус]

Качество картинок почему-то ухудшается?
Причина обращения к факторному анализу- часто в последнее время даже в хороших книгах по статметодам в геологии факторный анализ применяется необоснованно. Так например (не привожу источник) показано применение фактанализа по атм. осадкам в Европе. Построены карты фактанализа. Выделяется карта фактора КАЛИЯ!!! В этом нет смысла. Так как карта истинных содержаний калия гораздо более информативна. Вообще в малокомпонентном анализе фактанализ неэффективен. Другое дело в моём случае. Я уже около 20 лет применяю фактанализ.
Некоторые соображения по применению факторного анализа в геохимии (в широком смысле слова) на примере почв г. Екатеринбурга.
Анализы спектральные полуколичественные, по ртути количественные. Около 6500 проб. Подготовка данных вкратце заключалась в замене необнаруженных значений (0), не путать с NULL – нет анализа. Затем логарифмирование, для формального приближения к логнормальному закону распределения. Эта тема будировалась ранее начиная с Аренса. Но все сложнее.
Далее проводилось многомерное осреднение с шагом 400 м и радиусом 5000 м по программе автора СГЛАД. Это нужно для снятия высокочастотной случайной изменчивости, в связи со сложностью ландшафтов, опробования и анализа проб. Далее рассчитывался собственно факторный анализ на программе STATISTICA 9. Выводились всякие графики, карты, таблицы и т.д. Графики тоже ценны для восприятия, хоть и хочется показать но у нас сейчас другая цель – увидеть за деревьями лес. Но и этого не достаточно, можно рассчитать много факторов и что с ними делать? Подмена одного другим? Для этого применялась авторская программа, ранее названная ГЕОЭКОЛ, так как была предназначена для сведения в единую карту нескольких геоэкологических карт (геохимической, гидрогеологической, рельефа и др.)
Геоэкологическая единая карта района разработки золотого месторождения
http://cs10506.vkontakte.ru/u98750176/1 ... d51a4e.jpg
но сейчас стало ясно, что она называется СОРТКЛАСС – т.е. сортировка и классификация и она может применяться в различных жизненных ситуациях.
Решено – для примера достаточно 4 факторов. Факторные нагрузки в таблице, рисунки далее. Рекомендую посмотреть в Ворде на 25%. Видно много.
1 фактор – красный – основные породы, 2 фактор – зеленый - полиметаллы, 3 фактор – синий - ультраосновные массивы, наиболее мощный Уктусский гипербазитовый (к сожалению сейчас у меня нет, книг, геолкарты и не помню названия массивов). 4 фактор – сиреневый - ртуть, стронций? И немного цинка. Исследование было геоэкологическое, но здесь видно влияние «геологии». Есть неясность: В-Пышма к северу от Екатеринбурга разработано Пышминско-Ключевское медно-кобальтовое месторождение
К северо-востоку Берёзовское золотое. Факторы ведут себя не совсем так, как бы мне хотелось!!! Но информация сворачивается, что позволяет легче её воспринимать. Данная заметка имеет целью, привлечь внимание к «простой» статистике, которую все могут при желании применять.
http://cs10506.vkontakte.ru/u98750176/1 ... e56b82.jpg
http://cs10506.vkontakte.ru/u98750176/1 ... 22f973.jpg
http://cs10506.vkontakte.ru/u98750176/1 ... b6a7f7.jpg
http://cs10506.vkontakte.ru/u98750176/1 ... 629131.jpg
http://cs10506.vkontakte.ru/u98750176/1 ... 08da21.jpg
http://cs10506.vkontakte.ru/u98750176/1 ... d18ba3.jpg

Как видно из карты, остается загадкой, а какой фактор второй, третий и т.д. Я знаю, как это показать, но это усложнит восприятие.
Несколько слов о кластерном анализе. Он нужен. Например, полтора года назад ко мне обратились геологи - не понимаем пород (техники пишут об одном разное и наоборот) - что делать? Автоматический КЛАСТЕРНЫЙ АНАЛИЗ по спектралке – все пробы по всем интервалам! По Своим или стандартным программам получилось!! – далее геол.-геохим. автоматические разрезы на спешиаланалисте арквью
Классификация(кластеры) -основа познания "геологического" мира. Геолкарта – карта кластеров. Примеры кластерного анализа и сходства с одним из кластеров - эталоном по минводам приведены на картинках - последнее хоть и сходство тоже кластер, так как если запустить много кластеров - эталонов то получится то же самое. http://
http://cs10506.vkontakte.ru/u98750176/1 ... 7a38dc.jpg
http://cs10951.vkontakte.ru/u98750176/1 ... e7cc4d.jpg
http://cs10951.vkontakte.ru/u98750176/1 ... 313bc4.jpg
Фактор, например калия нужен только для построения единой факторно-кластерной карты. Может быть видно, где "выпирает" калий на первое место. Следует обратить внимание на то, что клетчатая факторно-кластерная карта по типу грида, не является обчным гридом - одной цифрой в одной точкой. Это очень важно понимать. Так как Виндоус 7 приговорила программы типа АркВью (за которую мы в свое время платили сотни тысяч рублей), мне приходится использовать ЛЮБЫЕ программы для анализа геохимпространства. Так вот - это карта символов, которые наследуют всю информацию в атрибутах. При подведении курсора к точке всплывает ВЕСЬ УПОРЯДОЧЕННЫЙ спектр, содержащийся в атрибутах базы, перещитанный по прогрммам типа СОРТКЛАСС, СГЛАД, какой-либо ФАКТАНАЛИЗ и др. Что есть на то и смотрите. Хотя в обычных гридах - например АркВью существует особенность, что их можно преобразвать в шейпы (векторное представление для дальнейшего использования.
Последнее об факт и кластанализе. Ниже приведена карта – картинка, которая отражает второй эшелон кластеризации факторных расчетов полученных СОРТКЛАСС.
Калстерная геохимГеоэк. Карта р-на Ебурга
http://cs10506.vkontakte.ru/u98750176/1 ... 00b08e.jpg
Похоже я несколько подставил фактанализ выбрав всего четыре фактора – хотелось свернуть информацию.
Советую обратить внимание на программку СОРТКЛАСС, которую я ранее называл геоэкол, , а сейчас ясно что это СОРТКЛАСССПЕКТР, потому, что она решает несколько задач: например на основе простой сортировки классифицирует объекты по соотношению значений нормализованных атрибутов (например содержаний элементов) по типу словаря (иерархия – кто первый – например медь, буква и т.д., кто следующий и так до конца по уровням). Также одновременно в дополнительное поле (колонку) она выводит весь УПОРЯДОЧЕННЫЙ спектр нормализованных атрибутов. Обратите внимание на РАВЕНСТВО – имеется внимание перед ЗАКОНОМ распределения, но никак не в точке. Там абсолютное неравенство – антагонизм (единство и борьба противоположностей). Например, медь плюс то марганец и ванадий минус (если это колчедан). В этом весь смысл нормализации. Почти всегда данные не подчиняются какому-либо закону распределения – логнормальному и др. Поэтому, понимая это мы этого, как бы не замечаем.
Главное я не говорил – мой алгоритм и программа СХОДСТВО – классифицирует данные с применением эталонов – как одного, так и неограниченного количества по неограниченному количеству данных примеры в следующий раз. Пока достаточно сказанного.
Главное решение найдено достаточно НОРМИРОВКИ (НОРМАЛИЗАЦИЯ в ЭКСЕЛЕ) и СОРТИРОВКИ. Я вижу свинец Берзовского золотого, медь – Пышминского медно-кобальтого и ртуть центра города Екатеринбурга, хромитовые ядра гипербазитов, никелевые оторочи, титановые поля , при желании полные спектры.
Эта программа законченная с точки зрения простой мощной сортировки-иерархической кластеризации, с выводом спектров в поле для пространственного анализа. Смотри карту кластеров второго эшелона.
Для использования программы нужно, что бы после первого компонента, участвующего в расчете (колонки - поля) не было номинальных шкал – названий пород и все поля нужные для расчета – это сделано для простоты и скорости – решение принято - действуй при расчетах однообразно! Компонентов не должно быть более 15 (хотя можно) – лавина кластеров. Выбрать наиболее значимые!!!
http://cs10597.vkontakte.ru/u98750176/1 ... edbc60.jpg
Здесь (в программе) нет суммы! А они в разных случаях разные. Но в нашем случае мы особо посчитали суммы при НОРМАЛИЗАЦИИ. Эта сумма типа аномальности в геохимии и др. Смотри карту. Необычно, но особо важно подчеркнуть, что вынос элементов (минус) идет в плюс! Почему, а вот почему: мы знаем, например, что марганец и ванадий из колчеданов куда-то выдувает на периферию, толи из-за температуры или кислотности растворов, а это усиливает АНОМАЛЬНОСТЬ ПРОЦЕССА. Мы не видим меди (как пример) но нет ванадия – подозрительно.
Слева яркость – видимо ВЫНОС в плюс – мне не хочется строить карты для анализа ситуации, но все в основном можно понять. И последнее это спектральный анализ – плохонький, но кое-что мы видим.
http://cs10597.vkontakte.ru/u98750176/1 ... 26c0bf.jpg
Много хочется сказать – много наработок не все используются и пока разрозненные, хотя программа КЕМГЕП сдана в МИНГЕО РОССИИ давно на отлично (в большей степени результаты применения)!!! Мной также построены сотни разного типа карт размером до 1000 кмХ600 км по Уралу. И т.д.

[alexandr cherepanov]

И в чем вопрос?

PS
В раздел разное наверное не удалять же столько много буковок

[gamm]

похоже, студенты бот тестируют