Стандартный Алгоритм статист. обработки биол. данных

[Natalia Novoselova]

Пытаюсь определиться с методикой изучения (почти не известного мне) поля знаний «Статистика в применении к биологическим задачам».
Мои данные (орнитологический проект) имеют как временной охват, так и пространственный. Но здесь речь именно о статистике, а не геостатистики (по второй намереваюсь сделать вторую часть проекта, основанную на анализе космо-снимков).
Также я могу четко формулировать вопросы, которые хочу решать.


Сейчас я имею цель - выбрать нужные статистические тесты для моих данных . То есть – сориентироваться в том, как и что мне нужно использовать в моих задачах, понимать суть этих тестов, описывать всё на научно приемлемом уровне.

Просто теорию «регрессионный анализ» - читать мне оказалось бесполезно, соотнесения этой теории с моим практическими задачами я понять не могу.
Теперь думаю, что изучения учебников сразу по "R для биостатистики" даст мне больше, по двум причинам – именно в R я и хотела бы провести эти тесты (здесь у нас этот метод пользуется большим уважением, потому хорошо сделать работу хоть частично в нем). И в книгах описано более приближенно к практике.
У меня оказались следующие две книги. Что из них лучше?

Numerical Ecology with R, Borcard et al 2011.
Biostatistics Design and Analysis with R, a Practical Guide, Murray Logan

Помимо них еще три книги уже не в приложении к R:
Underwood, A.J Experiments in ecology, 1997.
Numerical Ecology (Legendre & Legendre 1998)
Design and Analysis of Ecological Experiments, S. Scheiner



И, может быть, люди знающие смогут подсказать какие-то простые шпаргалки, вроде того, какой стат. тест к какой зоологической\экологической задаче применим. Мне бы это помогло – сориентироваться, начать сразу что-то делать и так и освоиться лучше.
Или какие-то еще советы (хотя, все же помимо того, что учить Статистику с азов). Азы я проходила, эти знания помогают мне ориентироваться "в целом". Но никак не помогают понять - что и как я должна сейчас сделать, чтобы провести свою работу.

[Natalia Novoselova]

Определилась с пониманием точнее, что я ищу.

Ищу - понимания о стандартном алгоритме подхода к решению задач стат. обработки данных, общему принципу подхода.

Почему-то нигде этого (базового!) еще не нашла. Всё сразу углубляется в детали конкретного метода или направления, а во введениях тоже говорится не о том.. (( Нет о том - что за чем следует делать, чтобы сделать научно-грамотно.

Например, одна из моих первых задач - понять, есть ли разница в характере суточной активности птиц (т.е. числу зафиксированных птиц в полете на 1 обзор за каждый 15-минутный интервал времени от 8.00 о 17.00 каждый день) между самым холодным месяцем и самым жарким? То есть цель - сравнить 2 выборки между собой. Это очень простая задача, но как подходить к ее решению?
Думаю, сначала по характеру данных понять - использовать непараметрическую статистику или параметрическую. Если данных много и можно использовать методы параметрической статистики - то изучить характер распределения (соотв. нормальному или нет). В зависимости от этого и от поставленной задачи (или формулировки нулевой гипотезы) - выбрать стат. тест. Провести. Объяснить результаты.

Так я очень примерно представляю себе общий алгоритм подхода к решению задачи.

Собственно, сейчас хотелось бы понять для себя этот общий алгоритм точнее и правильней.

[gamm]

Это очень простая задача

это непростая задача, отсюда и

, но как подходить к ее решению?

сначала нужно сформулировать математическую задачу (модель), но для этого нужны хотя бы элементарные знания по математике и статистике. Несколько очевидных моделей для ваших данных так и напрашиваются.

Думаю, сначала по характеру данных понять - использовать непараметрическую статистику или параметрическую.

совершенно все равно, и никак не зависит от характера данных

Если данных много и можно использовать методы параметрической статистики

никакой связи между количеством данных и применением параметрической статистик, зависимость скорее обратная. И т.д.

Собственно, сейчас хотелось бы понять для себя этот общий алгоритм точнее и правильней.

я думал, что поиски философского камня закончились в средние века - ан нет

поскольку философского камня в природе нет, то ищите статью в приличном журнале с аналогичной задачей (не обязательно про птичек, можно про рыбок, например у Зуура).

да, для вашей задачи статья должна содержать слова типа poisson regression model, longitudal count data, correlated count data, и т.д.

[Natalia Novoselova]

поскольку философского камня в природе нет, то ищите статью в приличном журнале с аналогичной задачей (не обязательно про птичек, можно про рыбок, например у Зуура).
да, для вашей задачи статья должна содержать слова типа poisson regression model, longitudal count data, correlated count data, и т.д.

Когда выше я описывала примерный алгоритм, конечно, я и не надеялась попасть точно - это было скорее отображение понимания, что именно я ищу. То есть - что должен быть такой стандартный подход к таким задачам.

Боюсь, что статьи в журналах мне не помогут в нем разобраться, поскольку, следуя современной моде экономить на пространстве текста (за счет, предполагаю, зачастую подсовывания вместо реальной науки - научной лажи, которую просто нельзя распознать) - понять что и как именно автор делал - не представляется возможным. Для меня ли, как новичка в этой сфере знаний, или и вообще. Кроме самых общих наводок, вот да - что нужна некая "regression model,", некое "longitudal count data" и т.д.
Мне - не понять, как ЭТО применить в моем случае из статьи.

Я ищу сейчас - пусть простого и стандартного, но описанного более-менее четкого алгоритма действий.
Можете ли вы мне помочь с этим?


И к слову. Просто.. чтобы показать, что я опять выступаю не только в привычной для меня здесь роли "незнайки", над которым проще насмеяться и услать изучать все азы, но и человека, задающего "странные, неудобные" вопросы, которые "не принято" задавать. А принято - разбираться самому, или же - делать вид, что разобрался и гнать лажу в науке.
Наткнулась сейчас на интересный обзор в книге Новиков Д.А., Новочадов В.В. Статистические методы в медико-биологическом эксперименте (типовые случаи), 2005. Привожу его целиком. Его печальные выводы - иллюстрируют в целом ситуацию, кстати и с отсутствием интереса к созданию отдельного подраздела на форуме ))

Также примечательно, что и автор обзора критически отзывается о моде вместо детальных описаний методов ссылаться на на "стандартные протоколы, которые на деле в этой области знаний нередко отсутствуют". Возможно, он имел в виду именно краткий стиль написания современных статей.

Спойлер

Авторами настоящей работы были исследованы 225 диссерта-
ций (22 докторских и 203 – кандидатских), успешно защищенных в
различных диссертационных советах за последние годы и без
замечаний аттестованных ВАК РФ. Исследования охватывали
большинство медицинских и биологических наук (16 специально-
стей из перечня), и в качестве основной методологии содержали
экспериментальное исследование как инструмент получения новых
знаний и установления новых закономерностей в соответствующей
отрасли знаний.
Главной особенностью работ медико-биологического профиля
является практически 100%-ная декларация статистической обра-
ботки экспериментальных данных (221 работа). Лишь четыре
диссертации не содержали сколько-нибудь приемлемых указаний
на статистические методы, а являлись практически описательными
полуколичественными работами без убедительного анализа дан-
ных, полученных в параллельных исследованиях номинально
сравниваемых групп.
Анализируемые диссертационные работы распределились сле-
дующим образом на пять неравнозначных групп.
1. Работы с декларированным, но некорректно примененным
набором простейших статистических методов («неправильно
обсчитанные»). Эти работы не были многочисленными и состави-
ли 28 из 225, или 12,4%.
2. Диссертации, содержащие правильно примененные про-
стейшие статистические методы, но не содержащие необходимого
набора экспериментальных групп/состояний («неправильно спла-
нированные»). К сожалению, в этой группе оказалось 75 работ
(33,3%), в том числе 6 докторских диссертаций. Никакая статисти-
ка не поможет в формировании научно обоснованных положений
при отсутствии адекватно подобранных условий эксперимента,
подбора групп и измеряемых параметров (см. выше раздел 2).
3. Диссертации, в которых рутинные статистические исследо-
вания соответствуют простой схеме попарно сравниваемых групп
(состояний) и т.п. – см. второй раздел выше. Это группа была
максимально представительной – 84 работы, или 37,3%. Именно
подобная практика в настоящее время составляет «золотой стан-
дарт» техники обработки экспериментальных данных при выпол-
нении диссертационных работ по медицине и биологии.
4. Диссертации, в которых присутствует расширенный стати-
стический анализ выборок, на основании которого не подтвержда-
ются предварительные качественные (прогнозируемые заранее)
выводы, а строятся самостоятельные выводы. Таких работ оказа-
лось 35 (15,6%), они выгодно отличались более продвинутым
математическим аппаратом и содержали обычно более глубокие
положения и результаты. Преимущественно, подобные работы
соответствовали специальностям, близким к цитологии, биохимии,
генетике, молекулярной биологии.
5. Работы, содержащие сложные продвинутые математические
построения с прицелом на создание или реальную разработку
математических моделей. Таких работ оказалось всего три (все –
докторские), или 1,3%. Арсенал применяемых в таких работах
методов выходит далеко за рамки настоящей книги.
Таким образом, при анализе результатов применения стати-
стических методов в экспериментальной биологии и медицине, на
примере диссертационных работ по медико-биологическим специ-
альностям вырисовываются два интересных момента.
Во-первых, только чуть более половины (52,5%) всех диссер-
таций выполнялось с применением статистических методах, адек-
ватных задачам, характеру выбранных параметров и схеме экспе-
римента. Типичной ошибкой в этом случае являлось недостаточно
корректное планирование эксперимента, выводящее статистиче-
ский анализ за рамки достаточности для получения научно обосно-
ванных выводов и положений.

Во-вторых, среди работ с адекватным набором методик пре-
обладали диссертации, выполненные с явно минимальным набо-
ром статистических процедур. Возникает закономерный вопрос:
является ли это данью традициям соответствующих научных школ
или недостаточностью информированностью о возможностях
статистического анализа? Складывалось также впечатление, что в
части работ целеполагание и задачи были явно заужены именно в
результате исходной ущербности статистического аппарата у
исследователя. Если это так, то незнание современных статистиче-
ских методов становится проблемой, оказывающей влияние на
научную сторону исследований, что уж вовсе недопустимо.
Конечно, авторы отдают себе отчет в том, что выполнение
диссертационных работ вовсе не исчерпывает интересы отечест-
венных исследований в области экспериментальной биологии и
медицины, но по математическому аппарату, на наш взгляд –
вполне отражает их спектр. Оно, к тому же, достаточно открыто
анализу, в отличие, например, от столь модных теперь коротких
сообщений со ссылками на стандартный протокол, который на
деле в этой области знаний нередко отсутствует.
Помимо неутешительных выводов, анализ диссертационных
работ по экспериментальной биологии и медицине позволил выде-
лить типовые (для рассматриваемой предметной области) задачи
анализа данных.
1. Описание данных используется в подавляющем большинст-
ве работ. Даже в части работ, не использующих статистические
методы, в иллюстративных целях применялись некоторые произ-
водные показатели – среднее, дисперсия и т.д. Краткое рассмотре-
ние описательной статистики, то есть описания результатов
эксперимента с помощью различных агрегированных показателей
и графиков, приведено в разделе 6.1 ниже.
2. Анализ сходства/различий объектов в рамках схемы экспе-
римента, описанной в разделе 2, встречается примерно в половине
работ. Соответствующие статистические методы подробно рас-
сматриваются в разделе 6.2 настоящей работы.
3. Анализ зависимостей – установление наличия/отсутствия
зависимостей между различными характеристиками объектов, а
также нахождение этих зависимостей – используется примерно в
20-30% работ. Соответствующие статистические методы описаны
в разделе 6.3 настоящей работы.
4. Задачи, требующие использования «продвинутых» стати-
стических методов (в первую очередь – многомерного анализа
[2, 32, 40]). К задачам данного класса (обработки «сложных» дан-
ных) можно отнести задачи выявления существенных признаков,
задачи классификации, прогнозирования и т.д. (см. краткое описа-
ние подобных задач, встречающихся не более чем в 10% статей и
диссертационных работ, в разделах 6.4 и 6.5 ниже).
Завершив анализ использования статистических методов в
статьях и диссертационных исследованиях по медицине и экспе-
риментальной биологии, и выделив типовые задачи, перейдем к
формализации последних.

[gamm]

Я ищу сейчас - пусть простого и стандартного, но описанного более-менее четкого алгоритма действий.

Также примечательно, что и автор обзора критически отзывается о моде вместо детальных описаний методов ссылаться на на "стандартные протоколы, которые на деле в этой области знаний нередко отсутствуют".
Возможно, он имел в виду именно краткий стиль написания современных статей.

нет, автор имел в виду именно использование пусть простого и стандартного, но описанного более-менее четкого алгоритма действий без понимания условий его применения, а не краткий стиль написания статей.

Кроме самых общих наводок, вот да - что нужна некая "regression model,", некое "longitudal count data" и т.д.

- это не общие наводки, а конкретное указание, какую модель нужно использовать.

[Natalia Novoselova]

Gamm, специально для вас, чтобы вы относились к моим вопросам, быть может, иначе..
Еще один отрывок из той же работы.

Что я ищу сейчас - выделено синим.

Анализ статей и диссертационных исследований по биологическим и медицинским наукам (см. четвертый раздел настоящей работы) позволяет констатировать, что на сегодняшний день складывается следующая картина. С одной стороны, большинство исследователей четко представляет, что использование статистических методов необходимо (хотя бы потому, что это является общепринятым требованием в науке), и существует обширная литература по теоретической и прикладной статистике. С другой стороны, статистические методы при планировании и обработке результатов медико-биологического эксперимента либо не используются вообще, либо часто используются некорректно.
Объяснений этому несколько. Во-первых, необходимо признать, что существующая литература в большинстве своем ориентирована на людей, имеющих математическое или техническое образование, и практически недоступна специалистам с медицинским или биологическим образованием (немногочисленные книги по математической статистике для «не-математиков» подавляют своим объемом и, все-таки, наверное, слишком сложны). Во-вторых, класс типовых (наиболее распространенных, массовых) задач (случаев) анализа данных, возникающих в медико-биологических экспериментальных исследованиях, достаточно узок, и для эффективного решения этих задач вовсе не требуется знакомства со всем богатейшим арсеналом статистических методов.Все это приводит к тому, что исследователи боятся использовать статистические методы, а если и используют, то на уровне «шаманских заклинаний», особо не понимая, что и как надо делать,что они делают и какие результаты получают.

[gimran]

Поищите полный текст диссертации:
http://www.dissercat.com/content/obosno ... -gnoino-ne

Обоснование и разработка комплексных методов диагностики, лечения и профилактики гнойно-некротических поражений в области пальцев у крупного рогатого скота
тема диссертации и автореферата по ВАК 16.00.05, доктор ветеринарных наук Гимранов, Валиян Валиуллович

3.СОБСТВЕННЫЕ ИССЛЕДОВАНИЯ.

3.1.Материал и методы исследования.

3.2. Методика контроля процесса заживления.

3.2.1.Методика общеклинического исследования периферической крови.

3.2.2.Методика биохимического исследования периферической крови.

3.2.3.Методика гистологического и гистохимического исследования биопсийного материала.

3.2.4. Методика проведения электронной микроскопии биопсийного и патологического материала.

3.2.5.Методика проведения сканирующей электронной микроскопии биопсийного материала.

3.2.6.Методика проведения исследования состава микро- и макроэлементов в копытном роге.

3.2.7.Методика зоогигиенических исследований.

3.2.8.Методика общеклинического наблюдениями за больными животными.

3.2.9.Методика микробиологических исследований.

[Natalia Novoselova]

Спасибо, Тимур, посмотрю что там. Пороюсь также и в упомянутом источнике, вроде что-то обещает.
Gamm, возможно, немного "укорился" - хорошо, если так. Вышеприведенное в цитатах отвечает моим мыслям, оказывается, это вовсе не дико - так думать.
Очередной пример - сбрасывания шаблона мышления с мозгов - при поверке "общепринятое" оказывается совсем не таким уж и правильным, а то и ровно тому противоположным.
За что меня всегда и пинают - что мыслю и говорю, не так "как принято", не так как большинство.

[gamm]

Gamm, специально для вас, чтобы вы относились к моим вопросам, быть может, иначе..

не читайте до обеда советских газет, и прочей макулатуры ... займитесь, чтением учебников. Найдете там ответы на все ваши вопросы.

хотя даже в цытированной статейке написано

.Все это приводит к тому, что исследователи боятся использовать статистические методы, а если и используют, то на уровне «шаманских заклинаний», особо не понимая, что и как надо делать,что они делают и какие результаты получают.

Вот для того, чтобы этого избежать (а чтение хелпов/википедии/рефераты.ру приводит именно к этому), и существуют учебники.

[Natalia Novoselova]

Gamm, специально для вас, чтобы вы относились к моим вопросам, быть может, иначе..

не читайте до обеда советских газет, и прочей макулатуры ... займитесь, наконец, чтением учебников. Найдете там ответы на все ваши вопросы.

У меня давно уже выработался принцип - вхождения в новую сферу знаний с нуля или низкого уровня знаний об этом. Первое, что тут нужно - это понять общую картину, общую схему данной сферы знаний. Второе - понять общую логику существования этой сферы знаний.. Это будет - остов, на который уже будут нанизываться детали.

Сейчас - я занимаюсь поиском такого остова для решения задачи - "Стандартные приемы стат. обработки зоологических данных".
Моя задача - расписать это (сколь можно подробно) в виде алгоритма по пунктам, из чего состоит эта обработка. Вот, примерно что привела выше.

Когда я это найду, то смогу перейти к более серьезным учебникам - то, что выше привела по R, то есть уже просто понимать, что там изложено и грамотно использовать.

[gimran]

Наталья, R инструмент, гибкий, но требующий знания чего Вы хотите.
Прежде найдите алгоритм или метод, затем алооритмизируйте, а после уж за изучение R. Многие анализы в тетрадках и экселях делались.
Специализированный инструмент требует специалиста. Вот я на данном этапе не рискну его использовать из-за отсутствия представления о его необходимости и достаточных знаний по исследуемой области.
Картинка ради картинки это "Корчеватель", а не наука.
http://lurkmore.to/%D0%9A%D0%BE%D1%80%D ... 0%BB%D1%8C

[ Сообщение с мобильного устройства ]

[Natalia Novoselova]

Вот я на данном этапе не рискну его использовать из-за отсутствия представления о его необходимости и достаточных знаний по исследуемой области.

Для меня вся Наука - это инструмент, которым я хочу научиться пользоваться эффективно. Потому как мои цели - не научные, а научно-практические.
И также эффективным и много-потенциальным (с природоохранных позиций) я рассматриваю инструмент - "язык R"
Но я не могу позволить себе осваивать что-то "просто так", а вот, когда по делу подходит - тогда да..
Потому - хочу попробовать пробиться. Хоть как-то, но сделать часть анализа в нем.

[gimran]

Анализа ЧЕГО?

[ Сообщение с мобильного устройства ]

[gamm]

Анализа ЧЕГО?

как чего - всего Продолжаем искать философский камень, вместо того, чтобы сформулировать задачу. В соответствии с последними трендами, этот камень имеет вид волшебной кнопки

[paleogis]

Коллеги! Прекращайте флудить, иначе закрою тему