Значение параметра в растре & Численность в векторе

[Natalia Novoselova]

Я правильно поняла вашу идею?

нет. Сначала нужно изучить арифметику, потом математику и статистику (хотя бы в объеме средней школы и первых курсов нематематических специальностей), потом разобраться в явлении с предметной точки зрения, и только после этого написать на бумаге, как решать задачу. А уже потом искать кнопки ....

Я уважаю ваше мнение, но в же понимаете, что даете мне хоть и полезный, но не осуществимый совет? Вы обрисовали программу с расчетом на два-три года обучения. У меня нет таких возможностей.

К слову, то, что до "потом" синим - я изучала в свое время. Возможно, это забылось, так как проходилось давно и около 10 лет совсем не использовалось. Это свойство моей памяти, к сожалению, что не использую активно - то быстро забываю. Но также могу и быстро восстановить, когда появляется цель.

Раз, хоть давно, но я это проходила, давайте обсуждать то, что после "потом", то есть начиная с "разобраться в явлении с предметной точки зрения". Так я смогу продвинуться в решении задачи, попутно узнавая заново необходимую теорию (в которой в целом я ориентируюсь).

По вашему совету я изучаю "Регрессионный анализ".

[gamm]

Всё становится интереснее, если зависимость не одна на всю территорию, а есть некоторая локальная изменчивость, а она обычно всегда есть, вопрос только, насколько ей можно пренебречь. Тогда одной только регрессией не отделаться, придётся подключать геостатистику. Это популярный метод, в основе которого лежит предположение, что есть некоторый закон, связывающий изменчивость изучаемых параметров с расстоянием от точек, где они были замерены. Если предположение выполняется — всё в порядке (хотя сейчас модно и не проверять), и такие случаи иногда действительно бывают. Но вот беда — в природе оно часто и не выполняется. В этом случае воздушный замок геостатистики оказывается без фундамента. Поэтому, если есть значимая локальная изменчивость связи параметров, от которой не отделаться, и в то же время значимая локальная изменчивость зависимости их изменчивости от расстояния, не позволяющая без обмана использовать геостатистику — ситуация будет весьма щекотливой. Проще всего, если значимой изменчивости связи параметров не окажется, или, по крайней мере, она будет глобальной — это позволит не трогать геостатистику, а использовать общую зависимость

весьма своебразное представление о геостатистике, даже если ограничиться ее линейным вариантом. Хотя там моделируется на изменчивость (которая дисперсия), а корреляция. Кстати, что такое "изменчивость связи параметров", и как ее измерить?

На самом деле, линейная геостатистика (а речь, судя по всему,идет именно о ней) - достаточно простая вещь, которая всего лишь позволяет работать с зависимой гомоскедастичной выборкой (в регрессионном анализе этот метод называется GLS), и никакого вреда от него в виде "воздушных замков" тут точно нет.

Современная геостатистика (даже ее гауссовский вариант) позволяет включать в модель не только корреляцию, но переменную дисперсию (гетероскедастичность), моделировать изменение корреляции по территории, а многоточечная геостатистика позволяет использовать и не гауссовские модели для непрерывных полей, а индикаторные и пуассоновские методы геостатистики - работать с биномильными и дискретными величинами.

Не говоря уже о том, что моделирование пространственной корреляции нынче включается в современные байесовские модели, начиная от простых SAR/CAR зависимостей в эконометрике и эпидемиологии, и заканчивая весьма общими моделями Матерна, которые не боятся "отсутствия присутствия изменчивости связи параметров" и прекрасно с ней справляются.

[gamm]

По вашему совету я изучаю "Регрессионный анализ".

лучше не по хелпу, а по какой-нибудь книжке для биологов.

[Variant]

что такое "изменчивость связи параметров", и как ее измерить?

Речь об остатках, закономерно не укладывающихся в общую регрессионную модель. Оценить, насколько они случайны можно визуально или вариограммным анализом (приняв гипотезу стационарности). Есть идеи лучше?

На самом деле, линейная геостатистика (а речь, судя по всему,идет именно о ней) - достаточно простая вещь, которая всего лишь позволяет работать с зависимой гомоскедастичной выборкой (в регрессионном анализе этот метод называется GLS), и никакого вреда от него в виде "воздушных замков" тут точно нет.

Ту же гомоскедастичность надо ещё доказать. При этом, даже если и не проверять, то хотя бы помнить про гипотезу стационарности, пускай даже самую мягкую. А то геостатистикой сейчас модно затыкать все дыры, какие есть: и результат сразу вроде как наукообразный, и вроде как это уже не ты, а "машина насчитала", и мало кто сможет придраться, поскольку чтобы придраться нужно понимать, а сейчас модно скорее "нажимать кнопки", тем более, что соответствующие "кнопки" уже куда только можно встроили. Про многоточечную и прочее промолчу - без проверки гипотезы стационарности, это уже не наука, а какой-то фотошоп для исследователя получается. Возможно и есть какие-то передовые подходы, позволяющие строить модели нестационарных систем на абы каких данных без никаких проверок (мне с такими работать не приходилось, так что утверждать что-то насчёт них не стану) - но это явно не то, с чего обычно начинают знакомство с геостатистикой. Поэтому я и предупредил. Сам же геостатистический подход я ни в чём не обвиняю - если применять его к месту, он весьма хорош

[Variant]

Про локальную изменчивость - не очень поняла, что это такое.

Я пытался объяснить проблему простым языком, без специальных терминов, так что если что с моих слов осталось непонятным - сам виноват. Про локальную изменчивость постом выше я постарался ответить

Насчёт геостатистики - если очень хочется её использовать - следует почитать, что такое гипотеза стационарности и какие у неё бывают формы, можно и про гомоскедастичность, если название не пугает

Из материалов на русском, если хочется прямо вот с места и в бой, могу посоветовать пару книжек:

Оливье Дюбрул - Использование геостатистики для включения в геологическую модель сейсмических данных. Названия пугаться не стоит, всё что касается основ метода изложено в самом начале книги, там ничего специфичного ещё нет. Ограничения метода несколько завуалированы (что можно понять, поскольку автор - известный активист геостатистики), зато сам метод показан буквально "на пальцах" - можно хоть школьникам объяснить. Такая геостатистика "в картинках". Картинки разноцветные, красивые. Перевод хороший

Савельев А.А, Мухарамова С.С., Пилюгин А.Г., Чижикова Н.А. - Геостатистический анализ данных в экологии и природопользовании (с применением пакета R). Названия книги пугаться не стоит, всё что касается основ метода изложено в самом начале книги, там ничего специфичного ещё нет. Очень кратко и по делу даны основы подхода, есть и про ограничения. Язык научный, но понятный. Есть электронная версия в свободном доступе

[gamm]

что такое "изменчивость связи параметров", и как ее измерить?

Речь об остатках, закономерно не укладывающихся в общую регрессионную модель. Оценить, насколько они случайны можно визуально или вариограммным анализом (приняв гипотезу стационарности). Есть идеи лучше?

причем здесь идеи? есть наука геостатистика, со своим строгим понятийным аппаратом. А вы изобретаете что-то свое, к этой науке отношения не имеющее. И уж точно, геостатистика - это не про регрессию (даже какую-то общую) и какие-то остатки. Это совсем про другое ...

[Variant]

причем здесь идеи? есть наука геостатистика, со своим строгим понятийным аппаратом. А вы изобретаете что-то свое, к этой науке отношения не имеющее. И уж точно, геостатистика - это не про регрессию (даже какую-то общую) и какие-то остатки. Это совсем про другое ...

Здесь позволю себе не согласиться. Геостатистика это не наука, а всего лишь семейство методов, изначально, раздел математической геологии. Сейчас с ней носятся, как с писанной торбой, пытаются засунуть куда не попадя, но у неё есть известные границы применимости. И уж точно не стоит называть любой анализ пространственных данных геостатистикой. Жорж Матерон вкладывал в этот термин строго определённый смысл

[Natalia Novoselova]

Из материалов на русском, если хочется прямо вот с места и в бой, могу посоветовать пару книжек:

Оливье Дюбрул - Использование геостатистики для включения в геологическую модель сейсмических данных

Савельев А.А, Мухарамова С.С., Пилюгин А.Г., Чижикова Н.А. - Геостатистический анализ данных в экологии и природопользовании (с применением пакета R).

Спасибо за рекомендации! Особенно ценны книги, излагающие простым языком. Савельева "Геостатистический анализ данных в экологии и природопользовании" я как раз и пробовала читать, слишком кратко и не понятно. (( Впрочем, надо еще раз попробовать.

А не могли бы вы дать рекомендации к книге "В. Демьянов, Е. Савельева. Геостатистика. Теория и практика, 2010"

Ее вроде бы тут хвалили, но содержания не знаю. Имеет смысл ее покупать и просить пересылать из России?

Интересно, можно ли ее купить в виде файла.. Так выглядит мне крайне сейчас полезной.

[Natalia Novoselova]

причем здесь идеи? есть наука геостатистика, со своим строгим понятийным аппаратом. А вы изобретаете что-то свое, к этой науке отношения не имеющее. И уж точно, геостатистика - это не про регрессию (даже какую-то общую) и какие-то остатки. Это совсем про другое ...

Здесь позволю себе не согласиться. Геостатистика это не наука, а всего лишь семейство методов, изначально, раздел математической геологии. Сейчас с ней носятся, как с писанной торбой, пытаются засунуть куда не попадя, но у неё есть известные границы применимости. И уж точно не стоит называть любой анализ пространственных данных геостатистикой. Жорж Матерон вкладывал в этот термин строго определённый смысл

Интересно услышать два противоположных мнения.., хотя, полагаю, что оба они отвечают действительности при рассмотрении деталей.
Вооружилась уже книгой Оливье Дюбрул, так что - попробую и сама разобраться.

Но начну по делу, вероятно, с того варианта - вытаскивать данные в таблицу и обрабатывать методами обычной статистики.

[gamm]

Здесь позволю себе не согласиться. Геостатистика это не наука, а всего лишь семейство методов, изначально, раздел математической геологии.

это вас кто-то обманул ... Поскольку это "семейство методов" имеет под собой вполне ясную математическую основу в виде теории случайных полей. Да и область применения геостатистики намного шире, чем написано в хелпе у Аркинфо - можно прочитать вики Geostatistics is a branch of statistics focusing on spatial or spatiotemporal datasets. Может, конечно, и статистика не наука, а я отстал от современных трендов.

Сейчас с ней носятся, как с писанной торбой

носиться с ней перестали уже лет 20 как, как и с нейронными сетями ...

[Variant]

А не могли бы вы дать рекомендации к книге "В. Демьянов, Е. Савельева. Геостатистика. Теория и практика, 2010"

Про эту ничего не могу сказать, у меня этой книжки нет. В обычных магазинах её не продают, а до EAGE-шной лавки пока никак не доберусь. Кстати, только что увидел, что её выложили в открытый доступ, так что теперь перед покупкой можно ознакомиться с полным текстом. По первому впечатлению - книга весьма толковая, основательная, в лучших советских традициях. Наверное, стоит прикупить

[Variant]

это вас кто-то обманул ... Поскольку это "семейство методов" имеет под собой вполне ясную математическую основу в виде теории случайных полей. Да и область применения геостатистики намного шире, чем написано в хелпе у Аркинфо - можно прочитать вики Geostatistics is a branch of statistics focusing on spatial or spatiotemporal datasets. Может, конечно, и статистика не наука, а я отстал от современных трендов.

Много какие методы имеют под собой ясную математическую основу, но всё же это не повод возводить их до статуса наук, это всё же довольно высокий статус. Я понимаю, конечно, любому учёному лестно быть основателем новой науки, а не только нового методического подхода, но это же не повод по каждому чиху науки плодить. Но нет ничего невозможного, если изначально дать методу название, звучащее созвучно названию науки. Дешёвый трюк, но он во многом определил современное отношение к этой "науке". Там, откуда она пришла, это допустимо. Создать новую науку? - что может быть проще! Главное, дать правильное название. Саентология? Гештальт-психология? Может быть, ломография - тоже будущая наука?

носиться с ней перестали уже лет 20 как, как и с нейронными сетями ...

Кстати, сети тоже суют куда не попадя, опять же, умалчивая про имеющиеся ограничения, и никаких спадов в этом процессе я как-то не наблюдаю ни там, ни здесь. Всё цветёт и пахнет. Но сетям не так повезло с названием, так что из них отдельной науки не получилось. Даже "Методы обучения по прецедентам", куда эти сети входят как один из разделов, вроде никто пока отдельной наукой не объявлял. Вот что значит - грамотно подойти к выбору названия

[gamm]

Много какие методы имеют под собой ясную математическую основу, но всё же это не повод возводить их до статуса наук

с вашей позицией все ясно. Обычное дело при незнании предмета (в данном случае, теории случайных полей, которыми и занимался Матерон).

[Variant]

Чтобы со стороны было понятно о чём дискуссия: существуют различные точки зрения, какие методы относятся к геостатистике, а какие нет. Например, вопрос, можно ли относить к геостатистике нестационарные методы, для которых основные условия применимости классической геостатистики не работают, остаётся дискуссионным. Это принципиальный момент, поскольку, в зависимости от принятой точки зрения, на вопрос "Когда можно применять геостатистику?" и "Какие ограничения есть у геостатистики?" разные исследователи дадут существенно разные ответы. Например, в упомянутой выше книге Демьянова и Савельевой рассматривается именно классическая геостатистика в традиционном понимании этого термина. И, кстати, я нигде в ней не нашёл, чтобы геостатистику называли отдельной наукой, она рассматривается в качестве одного из разделов статистики, что при современном уровне развития геостатистики наверное справедливо, поскольку она уже давно обслуживает не одну лишь геологию. Книга, кстати, действительно весьма толковая, могу всем рекомендовать. Но это академическое издание. А на словах геостатистику действительно часто превозносят чуть ли не как царицу наук

Но мы как-то отклонились от основной темы в сторону истории науки, и за всеми нашими словами могла потеряться основная мысль, с которой я и начинал: традиционные методы геостатистики предполагают стационарность распределения моделируемой величины, то есть эргодичность, гомоскедастичность, стационарность функции пространственной корреляции (вариограммы). Выполнение этих требование необходимо и для вариограммного анализа, и для работающих на его основе традиционного кригинга, кригинга с внешним дрейфом, кокригинга, последовательной гауссовой симуляции (у неё ещё дополнительные ограничения есть) - то есть всех основных методов, которые в обычной повседневной речи и понимают под геостатистикой. С этой мыслью, я надеюсь, никто спорить не станет.
При этом на практике даже то, что можно проверить, зачастую не проверяется, а некоторые вещи, например, эргодичность вообще не очень-то и проверишь. Кстати, наверное эргодичность - одно из самых уязвимых мест всего подхода, по которому наверное в дальнейшем и надо будет бить. Вот так. А если предполагаемые допущения не выполняются, результат будет получен, но он будет некорректный. Только это я и хотел донести

Вообще, тема методов анализа пространственных данных очень интересна, но её наверное лучше обсуждать в отдельной ветке. Например, если действительно есть что-то толковое по нестационарным методам - публикации, опыт практического применения - я думаю, это было бы интересно не только мне

[gamm]

Но мы как-то отклонились от основной темы в сторону истории науки, и за всеми нашими словами могла потеряться основная мысль, с которой я и начинал: традиционные методы геостатистики предполагают стационарность распределения моделируемой величины, то есть эргодичность, гомоскедастичность, стационарность функции пространственной корреляции (вариограммы).

это все линейная геостатистика "времен Очаковских и покоренья Крыма"

с тех пор в геостатистике (науке) многое поменялось, и ситуация здесь мало отличается от временных рядов (только размерностью пространства, и отчасти однонаправленностью времени). Взять те же Intrinsic Random Functions of order k, Disjunctive Kriging, спектральные методы, модели корреляции общего вида, моделирование корреляции и дисперсии, зависящей от положения в пространстве, переход к индикаторным функциям, и т.д. вот первое, что под руку попало. Только от требования эргодичности (хотя бы локальной) тяжело избавиться без повторных наблюдений, а с остальным уже научились бороться (это я опять про науку геостатистику - можно хоть последнюю книжку Cressie и Wikle почитать .. правда, она на английском).

другое дело, что народ у нас все это изучает по хелпам, картинкам и на скорострельных курсах, а потом мнит себя специалистом (и болезненно реагирует на любые попытки объяснить, что он на самом деле делает, когда нажимает на кнопки в соответствии с инструкцией)

И, кстати, я нигде в ней не нашёл, чтобы геостатистику называли отдельной наукой, она рассматривается в качестве одного из разделов статистики

так и статистика - раздел математики, значит статистика тоже не наука. Я так и предполагал ...

P.S. Глянул в умные книжки ... Cressie использует термин "геостатистика" как аналог пространственной статистики (науки) для случайных полей и процессов. Ссылок на работы с нестационарными, не гауссовыми моделями у него много, начиная со второй половины 90-х годов. Единственная реальная засада - методы, которые там используются, это в основном байесовские (типа МСМС), а ими у нас практически не пользуются, поскольку в Ёкселе (и других аналогичных программах) их нет. Как-то так. Поэтому у нас используют интерполяцию методом IWD с доказанными наихудшими свойствами. Зато в Ёкселе (и других аналогичных программах) она есть.

P.P.S. небольшое уточнение по терминологии : пространственная статистика (наука) разделяется на (1) геостатистику (непрерывный случай - случайные функции, поля), (2) случайные поля на регулярных/нерегулярных решетках, и (3) точечные процессы.