Дисперсионный анализ - это статистический метод, предназначенный для оценки влияния различных факторов на результат эксперимента, а также для последующего планирования аналогичного эксперимента. Этот метод позволяет сравнивать несколько (более двух) выборок по признаку, измеренному в метрической шкале. Общепринятое сокращенное обозначение дисперсионного анализа ANOVA (от англ. ANalysis Of VAriance).
Создателем дисперсионного анализа является выдающийся английский исследователь Рональд Фишер, заложивший основы современной статистики.
Основной целью данного метода является исследование значимости различия между средними. Может показаться странным, что процедура сравнения средних называется дисперсионным анализом. В действительности это связано с тем, что при исследовании статистической значимости различия между средними двух (или нескольких) групп, мы на самом деле сравниваем (то есть анализируем) выборочные дисперсии. Возможно, более естественным был бы термин анализ суммы квадратов или анализ вариации, но в силу традиции употребляется термин дисперсионный анализ.
Переменные, значения которых определяются с помощью измерений в ходе эксперимента (например, балл, набранный при тестировании), называются зависимыми переменными. Переменные, которыми можно управлять при проведении эксперимента (например, методы обучения или другие критерии, позволяющие разделить наблюдения на группы или классифицировать), называются факторами или независимыми переменными.
По числу факторов, влияние которых исследуется, различают однофакторный и многофакторный дисперсионный анализ. Мы будем рассматривать однофакторный дисперсионный анализ.
Основные допущения дисперсионного анализа:
- 1) распределение зависимой переменной для каждой группы фактора соответствует нормальному закону (нарушение данного предположения, как показали многочисленные исследования, не оказывает существенного влияния на результаты дисперсионного анализа);
- 2) дисперсии выборок, соответствующих разным градациям фактора, равны между собой (данное допущение имеет существенное значение для результатов дисперсионного анализа в том случае, если сравниваемые выборки отличаются по численности);
- 3) выборки, соответствующие градациям фактора, должны быть независимы (выполнение данного допущения является обязательным в любом случае). Независимыми называются выборки, в которых объекты исследования набирались независимо друг от друга, то есть вероятность отбора любого испытуемого одной выборки не зависит от отбора любого из испытуемых другой выборки. Напротив, зависимые выборки характеризуются тем, что каждому испытуемому одной выборки поставлен в соответствие по определенному критерию испытуемый из другой выборки (типичный пример зависимых выборок - измерение свойства на одной и той же выборке до и после проведения методики. В этом случае выборки зависимы, поскольку состоят из одних и тех же испытуемых. Еще один пример зависимых выборок: мужья - одна выборка, их жены - другая выборка).
Алгоритм выполнения дисперсионного анализа:
- 1. Выдвигаем гипотезу Н 0 - нет влияния группирующего фактора на результат.
- 2. Находим межгрупповую (факторную) и внутригрупповую (оста- точную) дисперсии (й фтт и D ocm).
- 3. Рассчитываем наблюдаемое значение критерия Фишера - Снедекора:
4. По таблице критических точек распределения Фишера - Снедекора или с помощью стандартной функции MS Excel «ЕРАСПОБР» находим
где: а - заданный уровень значимости, к х и к 2 - число степеней свободы факторной и остаточной дисперсии соответственно.
5. Если F Ha6ji > F Kp , то гипотеза Я 0 отвергается. Это значит, что есть влияние группирующего фактора на результат.
Если F Ha6jl F Kp , то гипотеза # 0 принимается. Это значит, что нет влияния группирующего фактора на результат.
Таким образом, дисперсионный анализ призван установить, оказывает ли существенное влияние некоторый фактор F , который имеет р уровней: F x , F 2 ,..., F p , на изучаемую величину.
- Гмурман В.Е. Теория вероятностей и математическая статистика. С. 467.
Дисперсионный анализ основан на работах знаменитого математика Р.А.Фишера . Несмотря на достаточно солидный «возраст», данный метод до сих пор остается одним из основных при проведении биологических и сельскохозяйственных исследований. Идеи, положенные в основу дисперсионного анализа, широко используются во многих других методах математического анализа экспериментальных данных, а также при планировании биологических и сельскохозяйственных экспериментов.
Дисперсионный анализ позволяет:
1) сравнивать две или несколько выборочных средних;
2) одновременно изучать действие нескольких независимых факторов, при этом можно определить как эффект каждого фактора в изменчивости изучаемого признака, так и их взаимодействие;
3) правильно планировать научный эксперимент.
Изменчивость живых организмов проявляется в виде разброса или рассеяния значений отдельных признаков в пределах, которые определяются степенью биологической выравненности материала и характером взаимосвязей с условиями среды. Признаки, изменяющиеся под воздействием тех или иных причин, называют результативными .
Факторы это любые воздействия или состояния, разнообразие которых может так или иначе отражаться на разнообразии результативного признака. Под статистическим влиянием факторов в дисперсионном анализе понимается отражение в разнообразии результативного признака того разнообразия изучаемых факторов, которое организовано в исследовании.
Под разнообразием будем понимать наличие неодинаковых значений каждого признака у разных особей, объединенных в группу. Разнообразие группы особей по изучаемому признаку может иметь разную степень, которая обычно измеряется показателями разнообразия (или изменчивости): лимитами, средним квадратическим отклонением, коэффициентом вариации. В дисперсионном анализе степень разнообразия индивидуальных и средних значений признака измеряется и сравнивается особыми способами, составляющими специфику этого общего метода.
Организация факторов заключается в том, что каждому изучаемому фактору придается несколько значений. В соответствии с этими значениями каждый фактор разбивается на несколько градаций; для каждой градации подбирается по принципу случайной выборки несколько особей, у которых впоследствии и измеряется величина результативного признака.
Для того, чтобы выяснить степень и достоверность влияния изучаемых факторов, надо измерить и оценить ту часть общего разнообразия, которая вызывается этими факторами.
Факторы, влияющие на степень варьирования результативного признака, делятся на:
1)регулируемые
2) случайные
Регулируемые (систематические) факторы вызываются действием изучаемого в эксперименте фактора, который имеет в опыте несколько градаций. Градация фактора – это степень его воздействия на результативный признак. В соответствии с градациями признака выделяется несколько вариантов опыта для сравнения. Поскольку эти факторы предварительно обусловлены, их называют регулируемыми в исследованиях, т.е. заданными, зависящими от организации опыта. Следовательно, регулируемые факторы – факторы, действие которых изучается в опыте, именно они и обусловливают различия между средними выборочными разных вариантов–межгрупповую (факториальную) дисперсию.
Случайные факторы определяются естественным варьированием всех признаков биологических объектов в природе. Это неконтролируемые в опыте факторы. Они оказывают случайное влияние на результативный признак, обусловливают экспериментальные ошибки и определяют внутри каждого варианта разброс (рассеяние) признака. Этот разброс носит название внутригрупповой (случайной) дисперсии .
Таким образом, относительная роль отдельных факторов в общей изменчивости результативного признака характеризуется дисперсией и может быть изучена с помощью дисперсионного анализа или анализа рассеяния
Дисперсионный анализ основан на сравнении межгрупповой и внутригрупповой дисперсий . Если межгрупповая дисперсия не превышает внутригрупповую, значит, различия между группами имеют случайный характер. Если межгрупповая дисперсия существенно выше, чем внутригрупповая, то между изучаемыми группами (вариантами) существуют статистически значимые различия, обусловленные действием изучаемого в опыте фактора.
Из этого следует, что при статистическом изучении результативного признака при помощи дисперсионного анализа следует определить его варьирование по вариантам, повторениям, остаточное варьирование внутри этих групп и общее варьирование результативного признака в опыте. В соответствии с этим различают три вида дисперсий :
1) Общую дисперсию результативного признака (S y 2);
2) Межгрупповую, или частную, между выборками (S y 2);
3) Внутригрупповую, остаточную (S z 2).
Следовательно, дисперсионный анализ – это расчленение общей суммы квадратов отклонений и общего числа степеней свободы на части или компоненты, соответствующие структуре эксперимента, и оценка значимости действия и взаимодействия изучаемых факторов по F-критерию. В зависимости от числа одновременно исследуемых факторов различают двух-, трех-, четырехфакторный дисперсионный анализ.
При обработке полевых однофакторных статистических комплексов, состоящих из нескольких независимых вариантов, общая изменчивость результативного признака, измеряемая общей суммой квадратов (С y), расчленяется на три компонента: варьирование между вариантами (выборками) – С V , варьирование повторений (варианты связаны между собой общим контролируемым условием – наличием организованных повторений) – С p и варьирование внутри вариантов С z . В общей форме изменчивость признака представлена следующим выражением:
С y = С V +С p + С z .
Общее число степеней свободы (N -1) также расчленяется на три части:
степени свободы для вариантов (l – 1);
степени свободы для повторений (n – 1);
случайного варьирования (n – 1) × (l – 1).
Суммы квадратов отклонений, по данным полевого опыта – статистического комплекса с вариантами – l и повторениями – n, находят следующим образом. Сначала с помощью исходной таблицы определяют суммы по повторениям – Σ P , вариантам – Σ V и общую сумму всех наблюдений - Σ X.
Затем вычисляют следующие показатели:
Общее число наблюдений N = l × n;
Корректирующий фактор (поправку) С кор = (Σ X 1) 2 / N;
Общую сумму квадратов Cy = Σ X 1 2 – C кор;
Сумму квадратов для повторений C p = Σ P 2 / (l –C кор);
Сумму квадратов для вариантов C V = Σ V 2 / (n – 1);
Сумму квадратов для ошибки (остаток) C Z = C y - C p - C V .
Полученные суммы квадратов C V и C Z делят на соответствующие им степени свободы и получают два средних квадрата (дисперсии):
Вариантов S v 2 = C V / l – 1;
Ошибки S Z 2 = C Z / (n – 1)×(l – 1).
Оценка существенности разностей между средними. Полученные средние квадраты используют в дисперсионном анализе для оценки значимости действия изучаемых факторов путем сравнения дисперсии вариантов (S v 2) с дисперсией ошибки (S Z 2) по критерию Фишера (F = S Y 2 / S Z 2). За единицу сравнения принимают средний квадрат случайной дисперсии, который определяет случайную ошибку эксперимента.
Применение критерия Фишера позволяет установить наличие или отсутствие существенных различий между выборочными средними, но не указывает конкретных различий между средними.
Проверяемой H o – гипотезой является предположение - все выборочные средние являются оценками одной генеральной средней и различия между ними несущественны. Если F факт = S Y 2 / S Z 2 ≤ F теор , то нулевая гипотеза не отвергается. Между выборочными средними нет существенных различий, и на этом проверка заканчивается. Нулевая гипотеза отвергается при F факт = S Y 2 / S Z 2 ≥ F теор Значение F- критерия для принятого в исследовании уровня значимости находят в соответствующей таблице с учетом степеней свободы для дисперсии вариантов и случайной дисперсии. Обычно пользуются 5%-ным уровнем значимости, а при более строгом подходе 1% - ным и даже 0,1%-ным.
Для выборки объема n выборочная дисперсия вычисляется как сумма квадратов отклонений от выборочного среднего, деленная на n-1 (объем выборки минус единица). Таким образом, при фиксированном объеме выборки n дисперсия есть функция суммы квадратов (отклонений), обозначаемая, для краткости, SS(от английского Sum of Squares – Сумма квадратов). Далее слово выборочная мы часто опускаем, прекрасно понимая, что рассматривается выборочная дисперсия или оценка дисперсии. В основе дисперсионного анализа лежит разделение дисперсии на части или компоненты.:
SS ошибок и SS эффекта. Внутригрупповая изменчивость (SS ) обычно называется остаточной компонентой или дисперсией ошибки. Это означает, что обычно при проведении эксперимента она не может быть предсказана или объяснена. С другой стороны, SS эффекта (или компоненту дисперсии между группами) можно объяснить различием между средними значениями в группах. Иными словами, принадлежность к некоторой группе объясняет межгрупповую изменчивость, т.к. нам известно, что эти группы обладают разными средними значениями.
Основная логика дисперсионного анализа. Подводя итоги, можно сказать, что целью дисперсионного анализа является проверка статистической значимости различия между средними (для групп или переменных). Эта проверка проводится с помощью разбиения суммы квадратов на компоненты, т.е. с помощью разбиения общей дисперсии (вариации) на части, одна из которых обусловлена случайной ошибкой (то есть внутригрупповой изменчивостью), а вторая связана с различием средних значений. Последняя компонента дисперсии затем используется для анализа статистической значимости различия между средними значениями. Если это различие значимо , нулевая гипотеза отвергается и принимается альтернативная гипотеза о существовании различия между средними.
Зависимые и независимые переменные. Переменные, значения которых определяется с помощью измерений в ходе эксперимента (например, балл, набранный при тестировании), называются зависимыми переменными. Переменные, которыми можно управлять при проведении эксперимента (например, методы обучения или другие критерии, позволяющие разделить наблюдения на группы или классифицировать) называются факторами или независимыми переменными.
Множество факторов. Мир по своей природе сложен и многомерен. Ситуации, когда некоторое явление полностью описывается одной переменной, чрезвычайно редки. Например, если мы пытаемся научиться выращивать большие помидоры, следует рассматривать факторы, связанные с генетической структурой растений, типом почвы, освещенностью, температурой и т.д. Таким образом, при проведении типичного эксперимента приходится иметь дело с большим количеством факторов. Основная причина, по которой использование дисперсионного анализа предпочтительнее повторного сравнения двух выборок при разных уровнях факторов с помощью серий t- критерия, заключается в том, что дисперсионный анализ существенно более эффективен и, для малых выборок, более информативен.
Вывод. Дисперсионный анализ разработан и введен в практику сельскохозяйственных и биологических исследований английским ученым Р. А. Фишером. Сущность дисперсионного анализа заключается, в разложении общей изменчивости признака и общего числа степеней свободы на составляющие части, соответствующие структуре полевого опыта, также в оценке действующего фактора по критерию Фишера.
Где Общая изменчивость признака, обусловленная действием изучаемого вопроса, неоднородностью почвенного плодородия и случайными ошибками в опыте.
Варьирование урожаев по повторениям полевого опыта.
Варьирование урожаев по вариантам опыта, связанное с действием изучаемого вопроса.
Варьирование урожаев, связанное со случайными ошибками в опыте.
Вывод в дисперсионном анализе делается согласно следующим правилам:
1. В опыте есть существенные различия, если Fфактическое ≥Fтеоритическое. В опыте нет существенных различий, если Fфактическое 2. НСР – Наименьшая существенная разность, используестся для определения разности между вариантами. Если разность d≥ НСР, то различия между вариантами существенные. Если d< НСР, то различия между вариантами не существенные. Группы
вариантов. 1. Если разница d– существенная, и указывает на повышение урожайности, то варианты относятся к 1 группе. 2. Если разница d– не существенная, то варианты относятся ко 2 группе. 3. Если разница d– существенная, но указывает на снижение урожайности, то варианты относятся к 3 группе. Выбор формулы
дисперсионного анализа зависит от методов размещения вариантов в опыте: 1. Для организованных повторений: 2. Для неорганизованных повторений. Рассмотренная
схема дисперсионного анализа
дифференцируется в зависимости: а)
от характера признака, по которому
совокупность подразделена на группы
(выборки;) ;б) от числа признаков, по
которым совокупность подразделяется
на группы (выборки) ; в) от способа
формирования выборок. Значения
признака. который подразделяет
совокупность на группы могут представлять
собой генеральную или близкую к ней
по численности совокупность. В этом
случае схема проведения дисперсионного
анализа соответствует выше рассмотренной.
Если же значения признака, который
формирует разные группы представляют
собой выборку из генеральной
совокупности, то меняется постановка
нулевой и альтернативной гипотез. В
качестве нулевой гипотезы выдвигается
предположение, что между группами
присутствуют различия, то есть групповые
средние обнаруживают некоторую
вариацию. В качестве альтернативной
гипотезы выдвигается предположение,
что колеблемость отсутствует. Очевидно,
что при такой постановке гипотез нет
оснований проводить конкретизацию
результатов сопоставления дисперсий. При
увеличении числа группировочных
признаков, например, до 2-х во- первых
возрастает число нулевых и соответственно
альтернативных гипотез. В этом случае
первая нулевая гипотеза говорит об
отсутствии различий между средними
по группам первого группировочного
признака, вторая нулевая гипотеза
говорит об отсутствии различий в
средних по группам второго группировочного
признака и наконец третья нулевая
гипотеза говорит об отсутствии так
называемого эффекта взаимодействия
факторов (группировочных признаков). По
эффектом взаимодействия понимается
такое изменение значения результативного
признака, которое не может быть объяснено
суммарным действием двух факторов.
Для проверки трех выдвинутых пар
гипотез необходим расчет трех
фактических значений критерия F-
Фишера, что в свою очередь предполагает
следующий вариант разложения общего
объема вариации
Необходимые
для получения F-
критерия дисперсии получают известным
способом поделив объемы вариации на
число степеней свободы. Как
известно, выборки могут быть зависимыми
независимыми. Если выборки зависимые, то в общем объеме вариации следует
выделить так называемую вариацию по
повторностям
Вопросы для
повторения
17-1.В чем состоит
конкретизация результатов дисперсионного
анализа? 17-2.
В каком случае для конкретизации
используется критерий Q-Тьюки? 17-3.Что представляют
собой разницы первого, второго и так
далее порядков? 17-4.
Как найти фактическое значение
критерия Q-Тьюки? 17-5.Какие гипотезы
выдвигается относительно каждой разницы? 17-6.
От чего зависит табличное значение
критерия Q-Тьюки? 17-7. Какова будет
нулевая гипотеза, если уровни
группировочного признака представляют
собой выборку? 17-8.Как раскладывается
общий объем вариации при группировке
данных по двум признакам? 17-9.
В каком случае выделяется вариация по
повторностям ( Резюме
Рассмотренный
механизм конкретизации результатов
дисперсионного анализа позволяет
придать ему законченный вид. Следует
обратить внимание на ограничения при
использовании критерия Q-Тьюки.
В материале были изложены также
основные принципы классификации
моделей дисперсионного анализа.
Необходимо подчеркнуть, что это всего
лишь принципы. Детальное изучение
особенностей каждой модели требует
отдельного более глубокого изучения. Тестовые задания
к лекции
Относительно
каких статистических характеристик
выдвигаются гипотезы при дисперсионном
анализе? Относительно
двух дисперсий Относительно
одной средней Относительно
нескольких средних Относительно
одной дисперсии В чем состоит
содержание альтернативной гипотезы
при дисперсионном анализе? Сравниваемые
дисперсии не равны между собой Все сравниваемые
средние не равны между собой Хотя бы две
генеральные средние не равны между
собой Межгрупповая
дисперсии больше дисперсии
внутригрупповой Какие
уровни значимости наиболее часто
используемы при дисперсионном анализе Если
внутригрупповая вариация больше
вариации межгрупповой, следует ли
продолжать дисперсионный анализ или
сразу согласиться с Н0
либо с НА? 1. Следует
продолжить, определив необходимые
дисперсии? 2.
Следует согласиться с
Н0 3.
Следует согласиться с НА Если
внутригрупповая дисперсия оказалась
равной межгрупповой, каковы должны
последовать действия, проводящего
дисперсионный анализ? Согласиться с
нулевой гипотезой о равенстве
генеральных средних Согласиться
с альтернативной гипотезой о наличии
хотя бы пары средних неравных между
собой Какая
дисперсия всегда должна быть в
числителе при расчете критерия F-Фишера? Только
внутригрупповая В любом случае
межгрупповая Межгрупповая,
если она больше внутригрупповой Каково
должно быть фактическое значение
критерия F-Фишера? Всегда меньше 1 Всегда больше 1 Равным или больше
1 От
чего зависит табличное значение
критерия F-Фишера? 1.От принятого
уровня значимости 2. От числа степеней
свободы общей вариации 3. От числа степеней
свободы межгрупповой вариации 4. От числа степеней
свободы внутригрупповой вариации 5.
От величины фактического значения
критерия F-Фишера? Увеличение
числа наблюдений в каждой группе при
равенстве дисперсий повышает
вероятность принятия …… 1.Нулевой гипотезы 2.Альтернативной
гипотезы 3.Не
влияет на принятие как нулевой,так
и альтернативной гипотезы В
чем смысл конкретизации результатов
дисперсионного анализа? Уточнить верно
ли проведены расчеты дисперсий Установить
какие из генеральных средних
оказались равными между собой Уточнить какие
из генеральных средних не равны между
собой Верно
ли высказывание: « При конкретизации
результатов дисперсионного анализа
все средние генеральные оказались
равными между собой» Может быть верным
и неверным Не верно, это
может иметь место вследствие
допущенных ошибок в расчетах Можно
ли при конкретизации дисперсионного
анализа прийти к выводу, что все
генеральные средние не равны между
собой? 1. Вполне возможно 2. Возможно в
исключительных случаях 3. Невозможно в
принципе. 4. Возможно только
при допущении ошибок в расчетах Если
по критерию F-Фишера
была принята нулевая гипотеза
требуется ли конкретизация
дисперсионного анализа? 1.Требуется 2.Не требуется 3.По усмотрению
проводящего дисперсионный анализ В
каком случае для конкретизации
результатов дисперсионного анализа
используется критерий Тьюки.? 1. Если число
наблюдений по группам (выборкам)
одинаково 2. Если число
наблюдений по группам (выборкам)
разное 3.Если имеются
выборки как с равными,так и с
неравными чис- ленностями Что
представляет собой НСР при конкретизации
результатов дисперсионного анализа
на основе критерия Тьюки? 1.Произведение
средней ошибки на фактическое значение
критерия 2.
Произведение средней ошибки на табличное
значение критерия 3.
Отношение каждой разницы между
выборочными средними к средней
ошибке 4. Разность между
выборочными средними Если выборочная
совокупность разбита на группы по 2-
признакам на сколько источников как
минимум должна быть разбита общая
вариация признака? Если
наблюдения по выборкам (группам)
являются зависимыми, на сколько
источников должна быть разбита общая
вариация (группировочный признак
один) ? Каков
источник (причина) межгрупповой
вариации? Игра случая Совместное
действие игры случая и фактора Действие фактора
(факторов) Выяснится после
проведения дисперсионного анализа Каков источник
(причина) внутригрупповой вариации? 1.Игра случая 2.Совместное
действие игры случая и фактора 3.Действие фактора
(факторов) 4. Выяснится
после проведения дисперсионного
анализа Какой
способ преобразования исходных данных
используется, если значения признака
выражены в долях? Логарифмирование Извлечение корня Фи- преобразование Лекция
8 Корреляция
Аннотация
Важнейшим
методом изучения связи между признаками
является метод корреляции. В данной
лекции раскрывается содержание этого
метода, подходы к аналитическому
выражению этой связи. Особое внимание
уделяется таким специфическим
показателям, как показатели тесноты
связи Ключевые слова
Корреляция.
Метод наименьших квадратов. Коэффициент
регрессии. Коэффициенты детерминации
и корреляции. Рассматриваемые
вопросы
Связь функциональная
и корреляционная Этапы
построения корреляционного уравнения
связи. Интерпретация коэффициентов
уравнения Показатели тесноты
связи Оценка
выборочных показателей связи Модульная
единица 1 Сущность корреляционной
связи. Этапы построения корреляционного
уравнения связи, интерпретация
коэффициентов уравнения.
Цель
и задачи изучения модульной единицы 1
состоят в
уяснении особенностей корреляционной
связи. освоении алгоритма построения
уравнения связи, уяснении содержания
коэффициентов уравнения. Сущность
корреляционной связи
В
природных и общественных явлениях
имеют место два типа связей – связь
функциональная и связь корреляционная.
При функциональной связи каждому
значению аргумента соответствуют
строго определенные (одно или несколько) значений функции. Примером
функциональной связи может служить
связь между длиной окружности и
радиусом, которая выражается уравнением 1.2
Этапы
построения корреляционного уравнения
связи
. Как
и функциональная связь, корреляционная
связь выражается уравнением связи.
Для его построения необходимо
последовательно пройти следующие шаги
(этапы). Вначале
следует уяснить причинно-следственные
связи, выяснить соподчиненность
признаков, то есть какие из них являются
причинами (факторными признаками) , а
какие следствием (признаками
результативными). Причинно- следственные
отношения между признаками
устанавливаются теорией того предмета, где используется метод корреляции.
Например, наука «анатомия человека»
позволяет сказать каков источник
взаимосвязи между весом и ростом,
какой из этих признаков является
фактором, какой результатом, наука
«экономика» раскрывает логику
взаимосвязи цены и предложения,
устанавливает что и на каком этапе
является причиной, а что следствием.
Без такого предварительного
теоретического обоснования интерпретация
полученных в дальнейшем результатов
затруднена, а иногда может привести
к абсурдным выводам. Установив
наличие причинно- следственных
отношений, далее следует эти отношения
формализовать, то есть выразить с
помощью уравнения связи, при этом
сначала надо выбрать вид уравнения.
Для выбора вида уравнения можно
рекомендовать ряд приемов. Можно
обратиться к теории того предмета, где
используется метод корреляции, скажем
наука «агрохимия» возможно уже
получила ответ на вопрос каким уравнением
следует выразить связь: урожайность
– удобрения. Если такого ответа нет, то для выбора уравнения следует
воспользоваться некими эмпирическими
данными соответствующим образом их
обработав. Сразу следует сказать, что
выбрав вид уравнения на основе
эмпирических данных, надо ясно
представлять, что этот вид уравнения
может быть использован для описания
связи использованных данных. Основным
приемом обработки этих данных является
построение графиков, когда на оси
абсцисс откладываются значения
факторного признака, а на оси ординат
возможные значения признака
результативного. Поскольку по определению
одному и тому же значению факторного
признака соответствует множество
неопределенных значений признака
результативного, в результате указанных
выше действий мы получим некоторую
совокупность точек которая получила
название корреляционного поля. Общий
вид корреляционного поля позволяет
в ряде случаев высказать предположение
о возможном виде уравнения.. При
современном развитии вычислительной
техники одним из основных приемов
выбора уравнения является перебор
различных видов уравнений, при этом в
качестве наилучшего выбирают то
уравнение, которое обеспечивает самый
высокий коэффициент детерминации,
речь о котором пойдет ниже. Прежде чем
перейти к расчетам надо проверить
насколько привлекаемые для построения
уравнения эмпирические данные
удовлетворяют неким требованиям.
Требования относятся к факторным
признакам и к совокупности данных.
Факторные признаки, если их несколько,
должны быть независимыми друг от друга.
Что касается совокупности то она должна
быть во- первых однородна (понятие однородности рассматривалось
ранее), а во- вторых достаточно большой.
На каждый факторный признак должно
приходится не менее чем 8-10 наблюдений. После
выбора уравнения следующим шагом
является расчет коэффициентов уравнения.
Расчет коэффициентов уравнения чаще
всего производится на основе метода
наименьших квадратов. С точки зрения
корреляции использование метода
наименьших квадратов состоит в
получении таких коэффициентов уравнения, чтобы
Решая
эту систему относительно a
и b
,
получим
необходимые значения коэффициентов.
Правильность расчета коэффициентов
проверяется равенством
Как было уже отмечено, дисперсионный метод тесно связан со статистическими группировками и предполагает, что изучаемая совокупность подразделена на группы по факторным признакам, влияние которых должно быть изучено. На основе дисперсионного анализа производится:
1.
оценка достоверности различий в групповых средних по одному факторному признаку или нескольким; 2.
оценка достоверности взаимодействий факторов; 3.
оценка частных различий между парами средних. В основе применения дисперсионного анализа лежит закон разложения дисперсий (вариаций) признака на составляющие. Общая вариация D о результативного признака при группировке может быть разложена на следующие составные части:
1.
на межгрупповую
D м связанную с группировочным признаком; 2.
на остаточную
(внутригрупповую) D B , не связанную с группировочным признаком. Соотношение между этими показателями выражается следующим образом: D о = D м + D в. (1.30) Рассмотрим применение дисперсионного анализа на примере. Допустим, требуется доказать, влияют ли сроки посева на урожайность пшеницы. Исходные опытные данные для дисперсионного анализа представлены в табл. 8. Таблица 8 В данном примере N = 32, K = 4, l = 8. Определим общую суммарную вариацию урожайности, которая представляет собой сумму квадратов отклонений индивидуальных значений признака от общей средней: где N – число единиц совокупности; Y i – индивидуальные значения урожайности; Y o – общая средняя урожайности по всей совокупности. Для определения межгрупповой суммарной вариации, определяющей вариацию результативного признака за счет изучаемого фактора, необходимо знать средние значения результативного признака по каждой группе. Эта суммарная вариация равна сумме квадратов отклонений групповых средних величин от общей средней величины признака, взвешенной на число единиц совокупности в каждой из групп: Внутригрупповая суммарная вариация равна сумме квадратов отклонений индивидуальных значений признака от групповых средних по каждой группе, суммированной по всем группам совокупности. Влияние фактора на результативный признак проявляется в соотношении между D м и D в: чем сильнее влияние фактора на величину изучаемого признака, тем больше D м и меньше D в. Для проведения дисперсионного анализа нужно установить источники варьирования признака, объем вариации по источникам, определить число степеней свободы для каждой компоненты вариации. Объем вариации уже установлен, теперь необходимо определить число степеней свободы вариации. Число степеней свободы
– это число независимых отклонений индивидуальных значений признака от его среднего значения. Общее число степеней свободы, соответствующее общей сумме квадратов отклонений в дисперсионном анализе, разлагается по составляющим вариации. Так, общей сумме квадратов отклонений D о соответствует число степеней свободы вариации, равное N – 1 = 31. Групповой вариации D м соответствует число степеней свободы вариации, равное K – 1 = 3. Внутригрупповой остаточной вариации соответствует число степеней свободы вариации, равное N – K = 28. Теперь, зная суммы квадратов отклонений и число степеней свободы, можно определить дисперсии для каждой составляющей. Обозначим эти дисперсии: d м – групповые и d в – внутригрупповые. После вычисления этих дисперсий приступим к установлению значимости влияния фактора на результативный признак. Для этого находим отношение: d M /d B = F ф, Величина F ф, называемая критерием Фишера
, сравнивается с табличным, F табл. Как уже было отмечено, если F ф > F табл, то влияние фактора на результативный признак доказано. Если F ф < F табл то можно утверждать, что различие между дисперсиями находится в пределах возможных случайных колебаний и, следовательно, не доказывает с достаточной вероятностью влияние изучаемого фактора. Теоретическая величина связана с вероятностью, и в таблице ее значение приводится при определенном уровне вероятности суждения. В приложении имеется таблица, позволяющая установить возможную величину F при вероятности суждения, наиболее часто используемой: уровень вероятности «нулевой гипотезы» – 0,05. Вместо вероятностей «нулевой гипотезы» таблица может быть названа таблицей для вероятности 0,95 существенности влияния фактора. Повышение уровня вероятности требует для сравнения более высокого значения F табл. Величина F табл зависит также от числа степеней свободы двух сравниваемых дисперсий. Если число степеней свободы стремится к бесконечности, то F табл стремится к единице. Таблица значений F табл построена следующим образом: в столбцах таблицы указаны степени свободы вариации для большей дисперсии, а в строках – степени свободы для меньшей (внутригрупповой) дисперсии. Величина F находится на пересечении столбца и строки соответствующих степеней свободы вариации. Так, в нашем примере F ф = 21,3/3,8 = 5,6. Табличное же значение F табл для вероятности 0,95 и степеней свободы, соответственно равных 3 и 28, F табл = 2,95. Значение F ф полученное в опыте, превышает теоретическое значение даже для вероятности 0,99. Следовательно, опыт с вероятностью более 0,99 доказывает влияние изучаемого фактора на урожайность, т. е. опыт можно считать надежным, доказанным, а значит, сроки посева оказывают существенное влияние на урожайность пшеницы. Оптимальным сроком посева следует считать период с 10 по 15 мая, так как именно при этом сроке посева получены наилучшие результаты урожайности. Нами рассмотрена методика дисперсионного анализа при группировке по одному признаку и случайному распределению повторностей внутри группы. Однако часто бывает так, что опытный участок имеет какие-то различия в плодородии почвы и т. д. Поэтому может возникнуть такая ситуация, что большее число делянок одного из вариантов попадет на лучшую часть, и его показатели будут завышены, а другого варианта – на худшую часть, и результаты в этом случае, естественно, будут хуже, т. е. занижены. Чтобы исключить варьирование, которое вызывается не относящимися к опыту причинами, надо из внутригрупповой (остаточной) дисперсии вычленить дисперсию, рассчитанную по повторностям (блокам). Общая сумма квадратов отклонений подразделяется в этом случае уже на 3 составляющие: D о = D м + D повт + D ост. (1.33) Для нашего примера сумма квадратов отклонений, вызванная повторностями, будет равна: Стало быть, собственно случайная сумма квадратов отклонений будет равна: D ост = D в – D повт; D ост = 106 – 44 = 62. Для остаточной дисперсии число степеней свободы будет равно 28 – 7 = 21. Результаты дисперсионного анализа представлены в табл. 9. Таблица 9 Поскольку фактические значения F-критерия для вероятности 0,95 превышают табличные, то влияние сроков посева и повторностей на урожайность пшеницы следует считать существенным. Рассмотренный способ построения опыта, когда участок предварительно делится на блоки с относительно выровненными условиями, а проверяемые варианты распределяются внутри блока в случайном порядке, называется способом рендомизированных блоков. С помощью анализа дисперсионным методом можно изучить влияние не только одного фактора на результат, а двух и более. Дисперсионный анализ в этом случае будет называться многофакторным дисперсионным анализом
. Двухфакторный дисперсионный анализ
отличается от двух однофакторных тем, что он может ответить на следующие вопросы:
1.
1каково влияние обоих факторов вместе? 2.
какова роль сочетания этих факторов? Рассмотрим дисперсионный анализ опыта, в котором следует выявить влияние не только сроков посева, но и сортов на урожайность пшеницы (табл. 10). Таблица 10. Данные опыта по влиянию сроков посева и сортов на урожайность пшеницы – это сумма квадратов отклонений индивидуальных значений от общей средней. Вариация по совместному влиянию сроков посева и сорта – это сумма квадратов отклонений средних по подгруппам от общей средней, взвешенных на число повторностей, т. е. на 4. Вычисление вариации по влиянию только сроков посева: Остаточная вариация определяется как разность между общей вариацией и вариацией по совместному влиянию изучаемых факторов: D ост = D о – D пс = 170 – 96 = 74. Все расчеты можно оформить в виде таблицы (табл. 11). Таблица 11. Результаты дисперсионного анализа Результаты дисперсионного анализа показывают, что влияние изучаемых факторов, т. е. сроков посева и сорта, на урожайность пшеницы существенно, так как F-критерии фактические по каждому из факторов значительно превышают табличные, найденные для соответствующих степеней свободы, и при этом с достаточно высокой вероятностью (р = 0,99). Влияние же сочетания факторов в данном случае отсутствует, так как факторы независимы друг от друга. Анализ влияния трех факторов на результат ведется по такому же принципу, что и для двух факторов, только в этом случае будет три дисперсии по факторам и четыре дисперсии по сочетанию факторов. С увеличением числа факторов резко увеличивается объем расчетных работ и, кроме того, становится затруднительно оформлять исходную информацию в комбинационную таблицу. Поэтому вряд ли целесообразно изучать влияние многих факторов на результат с использованием дисперсионного анализа; лучше взять меньшее их число, но выбрать наиболее существенные факторы с точки зрения экономического анализа. Нередко исследователю приходится иметь дело с так называемыми непропорциональными дисперсионными комплексами, т. е. такими, в которых не соблюдается пропорциональность численностей вариантов. В таких комплексах вариация суммарного действия факторов не равна сумме вариации по факторам и вариации сочетания факторов. Она отличается на величину, зависящую от степени связей между отдельными факторами, возникающих вследствие нарушения пропорциональности. В этом случае возникают трудности при определении степени влияния каждого фактора, так как сумма частных влияний не равна суммарному влиянию. Одним из способов приведения непропорционального комплекса к единой структуре является способ его замены пропорциональным комплексом, в котором частоты усреднены по группам. Когда такая замена произведена, задача решается по принципам пропорциональных комплексов. Дисперсионный анализ
(от латинского Dispersio – рассеивание / на английском Analysis Of Variance - ANOVA) применяется для исследования влияния одной или нескольких качественных переменных (факторов) на одну зависимую количественную переменную (отклик). В основе дисперсионного анализа лежит предположение о том, что одни переменные могут рассматриваться как причины (факторы, независимые переменные): , а другие как следствия (зависимые переменные). Независимые переменные называют иногда регулируемыми факторами именно потому, что в эксперименте исследователь имеет возможность варьировать ими и анализировать получающийся результат. Основной целью дисперсионного анализа
(ANOVA) является исследование значимости различия между средними с помощью сравнения (анализа) дисперсий. Разделение общей дисперсии на несколько источников, позволяет сравнить дисперсию, вызванную различием между группами, с дисперсией, вызванной внутригрупповой изменчивостью. При истинности нулевой гипотезы (о равенстве средних в нескольких группах наблюдений, выбранных из генеральной совокупности), оценка дисперсии, связанной с внутригрупповой изменчивостью, должна быть близкой к оценке межгрупповой дисперсии. Если вы просто сравниваете средние в двух выборках , дисперсионный анализ даст тот же результат, что и обычный t-критерий для независимых выборок (если сравниваются две независимые группы объектов или наблюдений) или t-критерий для зависимых выборок (если сравниваются две переменные на одном и том же множестве объектов или наблюдений). Сущность дисперсионного анализа заключается в расчленении общей дисперсии изучаемого признака на отдельные компоненты, обусловленные влиянием конкретных факторов, и проверке гипотез о значимости влияния этих факторов на исследуемый признак. Сравнивая компоненты дисперсии друг с другом посредством F-критерия Фишера , можно определить, какая доля общей вариативности результативного признака обусловлена действием регулируемых факторов. Исходным материалом для дисперсионного анализа служат данные исследования трех и более выборок : , которые могут быть как равными, так и неравными по численности, как связными, так и несвязными. По количеству выявляемых регулируемых факторов дисперсионный анализ может быть однофакторным
(при этом изучается влияние одного фактора на результаты эксперимента), двухфакторным
(при изучении влияния двух факторов) и многофакторным
(позволяет оценить не только влияние каждого из факторов в отдельности, но и их взаимодействие). Дисперсионный анализ относится к группе параметрических методов и поэтому его следует применять только тогда, когда доказано, что распределение является нормальным . Дисперсионный анализ используют, если
зависимая переменная измеряется в шкале
отношений, интервалов или порядка, а
влияющие переменные имеют нечисловую
природу (шкала наименований). В задачах, которые решаются
дисперсионным анализом, присутствует отклик
числовой природы, на который воздействует
несколько переменных, имеющих
номинальную природу. Например, несколько видов
рационов откорма скота или два способа их
содержания и т.п. Пример 1:
В течение недели в трех разных
местах работало несколько аптечных
киосков. В дальнейшем мы можем оставить
только один. Необходимо определить,
существует ли статистически значимое отличие
между объемами реализации препаратов в
киосках. Если да, мы выберем киоск с
наибольшим среднесуточным объемом
реализации. Если же разница объема реализации
окажется статистически незначимой, то
основанием для выбора киоска должны быть
другие показатели. Пример 2:
Cравнение контрастов групповых средних. Семь политических пристрастий упорядочены от крайне либеральные до крайне консервативные, и линейный контраст используется для проверки того, есть ли отличная от нуля тенденция к возрастанию средних значений по группам - т. е. есть ли значимое линейное увеличение среднего возраста при рассмотрении групп, упорядоченных в направлении от либеральных до консервативных. Пример 3:
Двухфакторный дисперсионный анализ. На количество продаж товара, помимо размеров магазина, часто влияет расположение полок с товаром. Данный пример содержит показатели недельных продаж, характеризуемые четырьмя типами расположения полок и тремя размерами магазинов. Результаты анализа показывают, что оба фактора - расположение полок с товаром и размер магазина -влияют на количество продаж, однако их взаимодействие значимым не является. Пример 4:
Одномерный ANOVA: Рандомизированный полноблочный план с двумя обработками. Исследуется влияние на припек хлеба всех возможных комбинаций трех жиров и трех рыхлителей теста. Четыре образца муки, взятые из четырех разных источников, служили в качестве блоковых факторов.Необходимо выявить значимость взаимодействия жир-рыхлитель. После этого определить различные возможности выбора контрастов, позволяющих выяснить, какие именно комбинации уровней факторов различаются. Пример 5:
Модель иерархического (гнездового) плана с смешанными эффектами. Изучается влияние четырех случайно выбранных головок, вмонтированных в станок, на деформацию производимых стеклянных держателей катодов. (Головки вмонтированы в станок, так что одна и та же головка не может использоваться на разных станках). Эффект головки обрабатывается как случайный фактор. Статистики ANOVA показывают, что между станками нет значимых различий, но есть признаки того, что головки могут различаться. Различие между всеми станками не значимо, но для двух из них различие между типами головок значимо. Пример 6:
Одномерный анализ повторных измерений с использованием плана расщепленных делянок. Этот эксперимент проводился для определения влияния индивидуального рейтинга тревожности на сдачу экзамена в четырех последовательных попытках. Данные организованы так, чтобы их можно было рассматривать как группы подмножеств всего множества данных ("всей делянки"). Эффект тревожности оказался незначимым, а эффект попытки - значим. Данные состоят из нескольких рядов наблюдений (обработок), которые рассматриваются как реализации независимых между собой выборок. Исходная гипотеза говорит об отсутствии различия в обработках, т.е. предполагается, что все наблюдения можно считать одной выборкой из общей совокупности: Данные представляют собой двухкратные повторные наблюдения: Откуда произошло название дисперсионный анализ
? Может показаться странным, что процедура сравнения средних называется дисперсионным анализом. В действительности, это связано с тем, что при исследовании статистической значимости различия между средними двух (или нескольких) групп, мы на самом деле сравниваем (анализируем) выборочные дисперсии. Фундаментальная концепция дисперсионного анализа предложена Фишером
в 1920 году. Возможно, более естественным был бы термин анализ суммы квадратов или анализ вариации, но в силу традиции употребляется термин дисперсионный анализ.
Первоначально дисперсионный анализ был разработан для обработки данных, полученных в ходе специально поставленных экспериментов, и считался единственным методом, корректно исследующим причинные связи. Метод применялся для оценки экспериментов в растениеводстве. В дальнейшем выяснилась общенаучная значимость дисперсионного анализа для экспериментов в психологии, педагогике, медицине и др.
. Если ее не выделить, то эта вариация
может существенно увеличить вариацию
внутригрупповую (
),
что может исказить результаты
дисперсионного анализа.
)
?
.
Каждому значению радиусаr
соответствует
единственное значение длины окружности
L
.
При
корреляционной связи каждому значению
факторного признака соответствует
несколько не вполне определенных
значений результативного признака.
Примерами корреляционной связи может
служить связь между весом человека
(результативный признак) и его ростом
(признак факторный), связь между
количеством внесенных удобрений и
урожайностью, между ценой и количеством
предлагаемого товара. Источником
возникновения корреляционной связи
является то обстоятельство, что,как
правило, в реальной жизни значение
результативного признака зависит от
множества факторов, в том числе имеющих
случайный характер своего изменения.
Например, тот же вес человека зависит
от возраста, пола., питания, рода занятий
и множества других факторов. Но вместе
с тем, очевидно, что в целом решающим
фактором является именно рост. Ввиду
указанных обстоятельств корреляционную
связь следует определить как связь
неполную, которую можно установить и
оценить только при наличии большого
числа наблюдений, в среднем.
=min,
то есть чтобы сумма квадратов отклонений
фактических значений результативного
признака (
) от расчетных по уравнению (
)
была величиной минимальной. Это
требование реализуется построением
и решением известной системы так
называемых нормальных уравнений. Если
в качестве уравнения корреляционной
связи междуy
и x
выбрано
уравнение прямой
,
где система нормальных уравнений,
как известно будет такой:
Примеры задач
Перечень методов
История
Литература
Ссылки