Стандартный Алгоритм статист. обработки биол. данных

Вопросы общего характера по ГИС и дистанционному зондированию, не связанные с конкретным ПО.
Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 3020
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 69
Ваше звание: Лиса
Откуда: **
Контактная информация:

Re: Стандартный Алгоритм статист. обработки биол. данны

Сообщение Natalia Novoselova » 06 май 2014, 23:08

gimran писал(а):Анализа ЧЕГО?
Вы про R? Мой интерес - анализ разных зоологических, экосистемных и обще-экологических (связанных с состоянием окруж. среды) данных. Но сейчас я разбираюсь с алгоритмом анализа по проекту "Black Vultures и Аэропорты"
В связи с более точным определением, что я хочу найти, поменяла название темы.

Думаю, причем, что искомый алгоритм стандартного подхода может быть связан и с пространственной обработкой данных (по крайней мере у меня стоят и такие задачи, хотя, возможно, потом буду подходить и методами геостатистики, когда пойдет анализ материалов полученных из космо-снимков)

И в том же источнике - нашла просто изложенную такую схему. Размещаю здесь.
Может быть, кто-то ее дополнит..

Замечу, кстати, что пункт "перехода к математическим моделям биологических систем" (что мне сразу стал советовать ув. Gamm) - начинается, как я поняла, аж после 5-го пункта данного алгоритма и здесь даже не рассматривается. А в статьях, вероятно, описан сразу этот шаг, а все шаги пред - не описаны..

Вот - кстати, тоже, может быть, тема для статьи? (обращаясь к ув. Variantу) Просто показать, как грамотно подходить к стат. обработке (пусть пространственных данных), но методами обычной статистики.
Так как - явно не лежит на поверхности эти базовые (по своей необходимости) знания.

Изображение

gamm
Гуру
Сообщения: 4170
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1107
Ваше звание: программист
Откуда: Казань

Re: Стандартный Алгоритм статист. обработки биол. данны

Сообщение gamm » 07 май 2014, 04:10

Natalia Novoselova писал(а):Замечу, кстати, что пункт "перехода к математическим моделям биологических систем" (что мне сразу стал советовать ув. Gamm) - начинается, как я поняла, аж после 5-го пункта данного алгоритма и здесь даже не рассматривается. А в статьях, вероятно, описан сразу этот шаг, а все шаги пред - не описаны..
вы совершенно неправильно поняли. Переход к математическим моделям начинается задолго до 1-го пункта. Для этого нужно обладать хоть какими-то знаниями о предмете исследования, анализируемом объекте и его "устройстве" и функционировании. И только после того, как модель сформулирована (словами, а не формулами), переходим к остальным пунктам в рамках этой модели. Данный подход не зависит от науки, и в зоологии, и в экономике, им в геологии общая схема сохраняется. В целом описывает этот процесс наука под кодовым названием "Системный анализ" или "Общая теория систем".

А вот если представления о предмете и объекте нет, то начинается бессмысленное жонглирование числами. Квалифицирующем признаком является то, что автор начинает использовать ссылки на фамилии, инструкции, хелп, википедию, и т.д. вместо описания явления, формулирования модели и проверяемых гипотез. Именно об этом написано в цытированной вами статейке.

Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 3020
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 69
Ваше звание: Лиса
Откуда: **
Контактная информация:

Re: Стандартный Алгоритм статист. обработки биол. данны

Сообщение Natalia Novoselova » 07 май 2014, 06:41

gamm писал(а):
Natalia Novoselova писал(а):Замечу, кстати, что пункт "перехода к математическим моделям биологических систем" (что мне сразу стал советовать ув. Gamm) - начинается, как я поняла, аж после 5-го пункта данного алгоритма и здесь даже не рассматривается. А в статьях, вероятно, описан сразу этот шаг, а все шаги пред - не описаны..
вы совершенно неправильно поняли. Переход к математическим моделям начинается задолго до 1-го пункта. Для этого нужно обладать хоть какими-то знаниями о предмете исследования, анализируемом объекте и его "устройстве" и функционировании. И только после того, как модель сформулирована (словами, а не формулами), переходим к остальным пунктам в рамках этой модели. Данный подход не зависит от науки, и в зоологии, и в экономике, им в геологии общая схема сохраняется. В целом описывает этот процесс наука под кодовым названием "Системный анализ" или "Общая теория систем"..
Каждая работа - должна иметь под собой конкретную заданную цель. Вы вот, как кажется, ставите "идеалом" которому непременно нужно соответствовать - разработку математической модели описываемой биологической системы. И приводите в пример тому статьи.
Я не спорю, что это сильные работы на высоком уровне. Но - какова вообще ЦЕЛЬ разработки такой модели?

В разборе 225 докторских и кандидатских диссертаций, приведенном мной выше, работы, содержание "сложные продвинутые математические построения с прицелом на создание или реальную разработку математических моделей" - оказалось всего 1,3%.
Конечно, я не считаю, что эти работы являются эталоном, на который нужно равняться, однако при этом этот же факт говорит о том, что создание мат. модели - не единственный способ использования статистики в биологическом исследовании? А скорее - его "программа максимум".. :roll:
Так - какова конкретная цель?



Моя работа - носит узкий практический характер. Мне нужно, то есть, найти подходы к решению или само решение заданной практической проблемы. По этой причине, мои (на данный момент сформулированные ) вопросы к стат. обработке - носят довольно простой характер. Вот, сравнить две выборки между собой, сравнить все выборки с каким-то эталоном, выявить факторы, влияющие в наибольшей степени на распределение.
Вполне может быть, что создать - мат. модель, которая бы всё это точно описывала - было бы самое лучшее и грандиозно выглядящее. Однако - я предполагаю "цену" всем этим математическим красивостям - это круто на бумаге, но чаще весьма далеко от реальности. Так смысл тогда стараться? И второе - я отнюдь не считаю необходимым для себя идти именно по "программе максимум". Для меня освоение простых, но корректных статистических методов обработки данных - уже достаточно амбициозная задача. Исходя из анализа многих работ - я вижу, что и там делается так же.
Последний раз редактировалось Natalia Novoselova 07 май 2014, 07:12, всего редактировалось 2 раза.

trir
Гуру
Сообщения: 5355
Зарегистрирован: 09 апр 2010, 19:30
Репутация: 1021
Ваше звание: просто мимо прохожу
Откуда: Ё-бург

Re: Стандартный Алгоритм статист. обработки биол. данных

Сообщение trir » 07 май 2014, 07:00

Походу тут проблема в терминологии. В любом случае, в начале должна быть гипотеза, а статистика должна либо подтвердить её или опровергнуть - правило Поппера!
Читать Стёпина

Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 3020
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 69
Ваше звание: Лиса
Откуда: **
Контактная информация:

Re: Стандартный Алгоритм статист. обработки биол. данных

Сообщение Natalia Novoselova » 07 май 2014, 14:52

trir писал(а):Походу тут проблема в терминологии. В любом случае, в начале должна быть гипотеза, а статистика должна либо подтвердить её или опровергнуть
Несомненно. Статистика отвечает на вопрос - верна или не верна принятая гипотеза. И, потому, стат. обработка, глобально, должна слагаться из ряда таких единичных вопросов - гипотез, которые подтверждаются или опровергаются.
Но, говоря иносказательно, - это "кирпичик" строения. А в этой теме речь о способе построения всего здания (анализа данных с поставленными главными целями этого анализа), начиная от фундамента, стен и пр.

Однако, продолжая аналогию, на мой вопрос - какие общие принципы построения здания, мне указали на фотографии красивейших дворцов и сказали, что, мол, эти фотографии - и есть ответ на мой вопрос. Смотрите, мол, и увидите.

Но я не вижу, увы. Более того, и дворец то не намереваюсь строить, мне бы что-то по проще для начала научиться строить.

Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 3020
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 69
Ваше звание: Лиса
Откуда: **
Контактная информация:

Re: Стандартный Алгоритм статист. обработки биол. данны

Сообщение Natalia Novoselova » 07 май 2014, 17:57

gamm писал(а):. Именно об этом написано в цитированной вами статейке.
Это не статья, а книга. Поскольку она найдена в свободном доступе в Интернете, думаю,не будет плохо, если я размещу ее здесь. Тем более авторы ее и создавали с целью - всенародного просвещения, о чем они и пишут.

На мой страждущий до этих знаний взгляд (базовых в любом биологическом исследовании), эта книга по ясности изложения и, в то же время, охвате основного необходимого для фундамента построения стат. анализа - является уникальной. Может быть, кому-то пригодится.


Также и комментарии о сути - было бы полезным услышать.
Вообще, повторюсь, когда и если я освою эти азы, особенно апробирую их на своих работах, вполне "ЗА" написать такую статью (возможно, в соавторстве) для Гис-Лаба в контексте - подготовки данных для стат. обработки. Хотя это, конечно, пока это на будущее, сама еще только пытаюсь разбираться в сути.
Вложения
Novikov_medstat2.pdf
(657.32 КБ) 885 скачиваний

trir
Гуру
Сообщения: 5355
Зарегистрирован: 09 апр 2010, 19:30
Репутация: 1021
Ваше звание: просто мимо прохожу
Откуда: Ё-бург

Re: Стандартный Алгоритм статист. обработки биол. данных

Сообщение trir » 07 май 2014, 19:27

Если говорить метафорический, то статистика - лишь инструмент построения здания, а как строить "здание" вас должны были научить в ВУЗ'е, потому что это не имеет отношения к статистике! Читайте Стёпина - у него всё подробно разобрано!
При планировании и подведении результатов эксперимента
существенную роль играют статистические методы

Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 3020
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 69
Ваше звание: Лиса
Откуда: **
Контактная информация:

Re: Стандартный Алгоритм статист. обработки биол. данных

Сообщение Natalia Novoselova » 07 май 2014, 19:34

trir писал(а):Если говорить метафорический, то статистика - лишь инструмент построения здания, а как строить "здание" вас должны были научить в ВУЗ'е, потому что это не имеет отношения к статистике!
Вы не внимательно читали тему. Мой вопрос - Стандартный Алгоритм статистической обработки биологических данных.

А том - что и где что-то там "должен" был выучить - речь не идет. У меня есть вопрос - я его задала.

trir
Гуру
Сообщения: 5355
Зарегистрирован: 09 апр 2010, 19:30
Репутация: 1021
Ваше звание: просто мимо прохожу
Откуда: Ё-бург

Re: Стандартный Алгоритм статист. обработки биол. данных

Сообщение trir » 07 май 2014, 19:47

Всё зависит от планирования эксперимента!
Нельзя просто ставить опыт, не зная, какие предположительно изменения в
состоянии объекта в ту или другую сторону можно зафиксировать.

bim2010
Гуру
Сообщения: 977
Зарегистрирован: 27 янв 2009, 22:57
Репутация: 258

Re: Стандартный Алгоритм статист. обработки биол. данных

Сообщение bim2010 » 07 май 2014, 19:59

GIS in public health practice
Вебинар по пространствнному анализу в R
http://blogs.esri.com/esri/arcgis/2010/ ... resources/
Regression Analysis for spatial data
http://geodacenter.asu.edu/
http://www.satscan.org/
http://www.uiowa.edu/~gishlth/DMAP4/
http://wwwnc.cdc.gov/eid/pages/about.htm

Работы Ю.Г. Пузаченко.
ГЕОИНФОРМАЦИОННЫЕ СИСТЕМЫ И МНОГОМЕРНЫЕ СТАТИСТИЧЕСКИЕ МЕТОДЫ ПРОСТРАНСТВЕННОГО АНАЛИЗАДЛЯ ИССЛЕДОВАНИЯ ЗАБОЛЕВАЕМОСТИ. Струков Д. Р., Горохов В. Л.

10-ти часовой видеокурс University of Toronto Математическая статистика / Statistics: Making Sense of Data
The course will consist of lecture videos containing integrated quiz questions. There will also be a quiz every week. At the end of weeks 4 and 8 there will be a short homework assignment. Optional extra videos are available for students who wish to learn to do their own statistical analyses using the R statistical computing package (http://www.r-project.org/); however, no computing is required to complete the course.

Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 3020
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 69
Ваше звание: Лиса
Откуда: **
Контактная информация:

Re: Стандартный Алгоритм статист. обработки биол. данных

Сообщение Natalia Novoselova » 07 май 2014, 23:44

bim2010 писал(а):...
Большое спасибо за интересные ссылки!! :) Буду изучать.
бегло просмотрела - действительно, здорово.. какой потенциал на использование в этом контексте..



Надо сказать, что, в целом, размещенная на пост выше книга Новикова- ответила на мой вопрос об общем алгоритме стат. анализа для биологических исследований. Возможно, не охватив всё, но какое-то начальное представление я получила.
То есть теперь - могу пробовать формулировать в этом контексте мои задачи и разбираться, как анализы провести в R и (что по-проще) в EXEL. Если осилю R, то, вероятно, другие стат. программы не буду использовать. Впрочем, как пойдет.

Кстати, именно там удалось лучше понять суть регрессионного анализа и приводимых Gamm регрессионных моделей. В описании автора (со с. 73) - это всё не так "страшно сложно" выглядит. Вроде бы "регрессионная модель" - это всего лишь термин стат. анализа, цель которого - подобрать описывающую функциональную зависимость между переменными (т.е. мат. функцию). Делается это также инструментами. То есть, хоть в целом это семейство методов смотрится сложнее, но это явно не глобальная математическая модель, описывающая всё, а цели, как и прочих анализов, могут быть вполне узкими.

Но вот о моделях в целом, поскольку выше всё же и о них шла речь, согласна с такой цитатой автора.
Вообще - это всё мне очень интересно (не только в плане этого проекта, а, так сказать, для разных витающих в голове идей по другим проектам, конечно, с природоохранными целями):
Статистические методы отчасти дают возможность построить модель исследуемой системы и в результате решения задач регрессионного анализа, классификационного анализа и т.д. в той или иной степени предсказывать реакцию системы на различные воздействия. Но этого мало для нормативного подхода, так как последний требует наличия математических (количественных аналитических или имитационных) моделей, отражающих все существенные свойства исследуемой системы.

На сегодняшний день степень проникновения математики в биологию и медицину, к сожалению, достаточно мала – см. [3, 4,7, 14, 16, 26, 33, 38, 48]. Объясняется это, в первую очередь колоссальной сложностью биологических систем по сравнению с физическими объектами и техническими системами, на успешном описании которых математика заработала сегодняшнюю свою высокую репутацию. Поэтому разработка и исследование математических моделей биологических систем представляется перспективным направлением дальнейших исследований, требующих совместных усилий биологов, медиков и математиков.

gamm
Гуру
Сообщения: 4170
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1107
Ваше звание: программист
Откуда: Казань

Re: Стандартный Алгоритм статист. обработки биол. данных

Сообщение gamm » 08 май 2014, 15:37

Natalia Novoselova писал(а):Надо сказать, что, в целом, размещенная на пост выше книга Новикова- ответила на мой вопрос об общем алгоритме стат. анализа для биологических исследований.
в приведенной таблице перечислены методы, которые решают конкретные задачи в рамках конкретных моделей. Алгоритма стат. анализа "данных вообще" не существует, и существовать не может (как и философского камня).

Сначала формулируется модель явления, затем статистическая гипотеза (в рамках и в терминах этой модели, и соответствующих ей данных), а затем эта гипотеза проверяется методами статистики - вам об этом уже все здесь много раз говорили.

Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 3020
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 69
Ваше звание: Лиса
Откуда: **
Контактная информация:

Re: Стандартный Алгоритм статист. обработки биол. данных

Сообщение Natalia Novoselova » 08 май 2014, 16:44

gamm писал(а): Сначала формулируется модель явления, затем статистическая гипотеза (в рамках и в терминах этой модели, и соответствующих ей данных), а затем эта гипотеза проверяется методами статистики - вам об этом уже все здесь много раз говорили.
Или я не понимаю, что вы имеете в виду под "формулировкой модели", или же это только один из вариантов хода обработки.
Потому как у меня - есть задачи-вопросы к моим данным, по каждому то есть - я могу сформулировать нулевую и альтернативную гипотезу, которую - проверять стат. методами. Но таких вопросов - много, в целом же, все они отвечают двум главным целям Проекта:
1) Поиск факторов среды, которые влияют на характер распределения птиц в полете (и как именно влияют)
2) Поиск практических мер - рекомендаций, направленных на снижение риска столкновений птиц с самолетами. Не на уменьшение активности самих птиц, а именно - на снижение риска столкновений.

Но сейчас - общие "инструменты" поиска ответов на такие единичные вопросы я нашла у Новикова (это я называю "алгоритмом". Теперь буду разбираться с R, там уже пойдет конкретика.

Возлагаю надежды на форум Шипунова, на этот форум также, и на другие ресурсы - себе пока не доверяю, необходимо кому-то знающему показывать результаты и советоваться, правильно ли я делаю.

gamm
Гуру
Сообщения: 4170
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1107
Ваше звание: программист
Откуда: Казань

Re: Стандартный Алгоритм статист. обработки биол. данных

Сообщение gamm » 08 май 2014, 17:00

Natalia Novoselova писал(а):Или я не понимаю, что вы имеете в виду под "формулировкой модели", или же это только один из вариантов хода обработки.
не понимаете, поскольку до "хода обработки" нужно решить чего делать. А для этого нужно что-то понимать в предмете (биологическом), чтобы сформулировать задачу.

Аватара пользователя
Natalia Novoselova
Гуру
Сообщения: 3020
Зарегистрирован: 15 янв 2013, 20:14
Репутация: 69
Ваше звание: Лиса
Откуда: **
Контактная информация:

Re: Стандартный Алгоритм статист. обработки биол. данных

Сообщение Natalia Novoselova » 08 май 2014, 17:05

gamm писал(а):
Natalia Novoselova писал(а):Или я не понимаю, что вы имеете в виду под "формулировкой модели", или же это только один из вариантов хода обработки.
не понимаете, поскольку до "хода обработки" нужно решить чего делать. А для этого нужно что-то понимать в предмете (биологическом), чтобы сформулировать задачу.
Понятно, то есть вы и имеете в виду, вероятно, то, что я называю - "формулировка вопросов-задач к моим данным". Да, конечно, они именно исходят из биологических задач и целей проекта. Да, я знаю, что хочу делать.

Ответить

Вернуться в «Общие вопросы»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 11 гостей