То, что люди предпочитают игнорировать информацию о вероятности и судить о других людях в соответствии с собственными стереотипами, еще полбеды. Гораздо хуже, что они пытаются анализировать ситуацию в соответствии с вероятностными законами, при этом абсолютно их не понимая. Канеман и Тверски задавали вопрос:
«Какова вероятность того, что в роддоме на десять коек и в роддоме на тысячу коек в данный конкретный день родится 60 % мальчиков».
Испытуемые называли одинаковые цифры, хотя, согласно статистическому закону больших чисел, чем больше число независимых наблюдений, тем меньше вероятность отклонения от среднего. То есть из 10 младенцев шестеро вполне могут оказаться мальчиками, а 600 из тысячи - уже вряд ли.
Тем не менее люди склонны судить о единичных событиях так, будто имеют дело с большими выборками. Канеман и Тверски назвали эту особенность психологическим законом малых чисел (Tversky & Kahneman, 1971). В соответствии с этим законом очень часто поступают люди, играющие в азартные игры со случайным исходом. Проиграв один раз, человек рассуждает так: «По теории вероятностей, в следующий раз я должен выиграть». Но никакая теория вероятностей этого не утверждает. Она лишь утверждает, что если бросать монету бесконечное число раз, в половине случаев выпадет орел, а в половине - решка. А что выпадет в данную конкретную минуту, не знает никто.
Другое следствие закона малых чисел - мы видим закономерности там, где их нет. Например, если в течение двух лет подряд один торговый агент показывает более высокие результаты, чем другие, его обычно награждают премией и ставят в пример остальным. Впоследствии у этого агента вполне может случиться неудачный год и его результаты окажутся несколько хуже средних показателей. Но начальник обычно игнорирует случайные колебания. Он думает: «Ну вот, я его перехвалил». И начинает ругать подчиненного, после чего его показатели, вполне вероятно, вернутся к средним значениям. Это произойдет не в результате усилий продавца и не благодаря мудрому руководству начальника, а в соответствии со статистическим законом возврата к среднему.
Д. Канеман и Э. Тверски показали, что в тех видах деятельности, где велика роль случайности, мы обычно чувствуем себя наказанными за поощрение других и поощренными за их наказание. Действительно, похвалив агента за успехи, менеджер раскается, когда дела у агента пойдут хуже. А отругав за неудачи, через некоторое время убедится, что был прав, так как его результаты вернутся к среднему уровню. Этому «мудрому» правилу часто следуют школьные учителя и воспитатели, по опыту зная, что, если ученик получает одни пятерки, рано или поздно он на чем-нибудь срежется. А тот, кто учится на двойки, вполне может иногда получить и более высокую оценку. Придерживаясь правила «вовремя отругать отстающего и не перехвалить отличника», они почти всегда убеждаются в своей правоте.

Мое сотрудничество с Амосом в 1970-е годы началось с дискуссии об утверждении, что люди обладают интуитивным статистическим чутьем, даже если их статистике не обучали. На семинаре Амос рассказал нам об исследователях из Мичиганского университета, которые в целом оптимистично относились к интуитивной статистике. Меня эта тема очень волновала по личным причинам: незадолго до того я обнаружил, что я – плохой интуитивный статистик, и мне не верилось, что я хуже других.
Для психолога-исследователя изменчивость выборки – не просто странность, это неудобство и помеха, которая дорого обходится, превращая любое исследование в игру случая. Предположим, вы хотите подтвердить гипотезу, что словарный запас шестилетних девочек в среднем больше, чем словарный запас мальчиков того же возраста. В объеме всего населения гипотеза верна, у девочек в шесть лет словарный запас в среднем больше. Однако девочки и мальчики бывают очень разными, и можно случайно выбрать группу, где за метной разницы нет, а то и такую, где мальчики набирают больше баллов. Если вы – исследователь, такой результат вам дорого обойдется, поскольку, потратив время и усилия, вы не подтвердите правильность гипотезы. Риск снижается только использованием достаточно большой выборки, а те, кто работает с маленькими выборками, отдают себя на волю случая.
Риск ошибки в каждом эксперименте оценивается при помощи довольно простой операции, однако психологи не пользуются вычислениями для определения размера выборки, а принимают решения в соответствии с собственным, зачастую ущербным, пониманием. Незадолго до дискуссии с Амосом я прочитал статью, прекрасно иллюстрирующую типичные ошибки исследователей. Автор отмечал, что психологи сплошь и рядом используют настолько маленькие выборки, что рискуют не подтвердить верные гипотезы с вероятностью 50 %! Ни один разумный исследователь не примет такой риск. Правдоподобным объяснением казалось то, что решения психологов относительно разм ера выборок отражали господствующие интуитивные заблуждения о диапазоне изменчивости.
Меня поразили содержащиеся в статье объяснения, проливающие свет на проблемы с моими собственными исследованиями. Как и большинство психологов, я постоянно использовал слишком маленькие выборки и часто получал бессмысленные, странные результаты, оказывавшиеся артефактами, которые порождал сам метод моих исследований. Мои ошибки были тем постыднее, что я преподавал статистику и умел вычислять размер выборки, необходимый для снижения риска неудачи до приемлемого уровня. Но я никогда этим не занимался при планировании экспериментов и, подобно другим исследователям, верил традиции и собственной интуиции, не задумываясь о проблеме всерьез. К моменту, когда Амос посетил мой семинар, я уже осознал, что моя интуиция не работает, а во время самого семинара мы быстро пришли к выводу, что ошибаются и оптимисты из Мичиганского университета.
Мы с Амосом решили выяснить, есть ли среди исследователей такие же наивные глупцы, как я, и допускают ли те же ошибки ученые, обладающие математическими знаниями. Мы разработали опросник с описанием реалистичных исследований и успешных экспериментов. Опрашиваемые должны были определить размеры выборок, оценить связанные с этими решениями риски и дать советы гипотетическим аспирантам, планирующим научно-исследовательскую работу. На конференции Общества математической психологии Амос провел опрос присутствующих (включая авторов двух учебников по статистике). Результаты оказались очевидны: я был не одинок. Почти все респонденты повторили мои ошибки. Выяснилось, что даже эксперты недостаточно внимательны к размеру выборки.
Первая статья, написанная мной в соавторстве с Амосом, называлась «Вера в закон малых чисел». В ней шутливо пояснялось, что «…интуитивная оценка размера случайных выборок, похоже, удовлетворяет закону малых чисел, гласящему, что закон больших чисел с тем же успехом применим и к малым». Также мы включили в статью настойчивую рекомендацию для исследователей относиться к своим «статистическим предчувствиям с недоверием и при любой возможности заменять впечатления вычислениями».

Исследование частоты рака почки, проведенное в 3141 округе США, выявило удивительную закономерность: самый низкий уровень заболеваемости обнаружен в сельских, малонаселенных округах, расположенных в традиционно республиканских штатах на Среднем Западе, Юге и Западе. Что вы думаете по этому поводу?
Ваш разум в последние несколько секунд был очень активен, причем работала преимущественно Сист ема 2. Вы планомерно искали в памяти информацию и формулировали гипотезы. Вам понадобились некоторые усилия: у вас расширились зрачки, измеримо участилось сердцебиение. Но и Система 1 не бездельничала: работа Системы 2 полагалась на факты и предложения, извлеченные из ассоциативной памяти. Вы, вероятно, отвергли мысль о том, что республиканские политические взгляды защищают от рака почки. Скорее всего, в итоге вы сосредоточились на том факте, что округа с низким уровнем заболеваемости в основном сельские. Остроумные статистики Говард Вейнер и Харрис Цверлинг, приводя в пример это исследование, прокомментировали: «Очень легко и соблазнительно сделать вывод, что низкий уровень заболеваемости – прямое следствие здоровой сельской жизни: воздух чистый, вода тоже, еда свежая и без добавок». Очень разумно.
Рассмотрим теперь округа с самым высоким уровнем заболеваемости раком почки. Эти нездоровые округа в основном сельские, малонаселенные и расположены в традиционно респ убликанских штатах на Среднем Западе, Юге и Западе. Вейнер и Цверлинг в шутку комментируют: «Легко предположить, что высокий уровень заболеваемости – прямое следствие бедности сельской жизни: хорошая медицина далеко, пища жирная, злоупотребление алкоголем и табаком». Конечно же, что-то не так. Сельская жизнь не может служить одновременным объяснением и для высокого, и для низкого уровня заболеваемости раком почки.
Основной фактор здесь – не то, что округа сельские или в основном республиканские. Все дело в том, что население сельских округов малочисленно. Главный урок, который нужно усвоить, касается не эпидемиологии, а сложных отношений между нашим разумом и статистикой. Система 1 отлично приспособлена к одной форме мышления – она автоматически и без усилий опознает каузальные связи между событиями, иногда даже в тех случаях, когда связи не существует. Услышав об округах с высоким уровнем заболеваемости, вы немедленно заключили, что они чем-то отличаются, что у э той разницы есть объяснение. Однако, как мы увидим, Система 1 не слишком способна управляться с «чисто статистическими» фактами, которые меняют вероятность результатов, но не заставляют их случаться.
Случайное событие – по определению – не подлежит объяснению, но серии случайных событий ведут себя чрезвычайно регулярным образом. Представьте себе сосуд, наполненный небольшими шариками. Половина из них – красные, половина – белые. Затем представьте очень терпеливого человека (или робота), который вслепую достает по четыре шарика, записывает число красных, бросает их обратно и повторяет так много-много раз. Если обобщить результаты, то обнаружится, что сочетание «два белых, два красных» появляется почти в шесть раз чаще, чем «четыре белых» или «четыре красных». Это соотношение – математический факт. Результат многократного извлечения шариков из урны можно предсказать с той же точностью, как результат удара молотком по яйцу. Предсказать, как именно разлетятся осколки скорлупы, вы не сможете, но в целом вы уверены в результате. Впрочем, есть одно различие: удовлетворенное ощущение причинной связи, которое вы испытываете, думая о молотке и яйце, в случае с шариками напрочь отсутствует.
С этим связан и другой статистический факт, относящийся к примеру о раке. Из одного и того же сосуда два очень терпеливых экспериментатора по очереди достают шарики. Джек в каждой попытке вытаскивает по 4 штуки, а Джилл – по 7. Они оба делают отметку каждый раз, когда им достаются шарики одного цвета, все белые или все красные. Если достаточно долго этим заниматься, то Джек будет наблюдать такие результаты примерно в 8 раз чаще Джилл (ожидаемый процент составляет 12,5 и 1,56 % соответственно). И вновь ни молотка, ни причины, просто математический факт: наборы из 4 шариков чаще дают однородные результаты, чем наборы из 7.
А теперь представьте население США шариками в огромном сосуде, причем некоторые шарики помечены буквами «Р П», что говорит о раке почки. Вы извлекаете наборы шариков и по очереди населяете каждый округ. Выборки в сельских местностях меньше остальных. Как и в игре Джека и Джилл, экстремумы – то есть очень высокие и/или очень низкие уровни заболеваемости раком – с большей вероятностью окажутся в малонаселенных округах. Вот и вся история.
Мы начали с факта, который требует объяснения: уровень заболеваемости раком почки сильно меняется в зависимости от округа, и в этих изменениях есть закономерность. Я предложил статистическое объяснение: экстремумы (высокие и низкие показатели) вероятнее появятся в маленьких выборках, чем в больших. Это – не причина. Маленькое население округа не порождает рак и не спасает от него. Оно просто позволяет уровню заболеваемости быть намного выше (или намного ниже), чем в более многочисленной популяции. Истина состоит в том, что объяснять здесь нечего. На самом деле уровень заболеваемости раком не выше и не ниже нормы; если в округе маленькое население, она лишь кажется такой в отдельно взятом году из-за случайности выборки. Если повторить анализ на следующий год, мы заметим, что в целом ситуация с экстремумами в малых выборках та же, но округа, где в предыдущем году было много случаев рака, необязательно и на этот раз покажут высокий уровень заболеваемости. Если так, то разница между плотно населенными и сельскими округами не считается, это просто артефакты, то есть явления, порожденные исключительно каким-то аспектом метода исследования, в данном случае – различиями в размере выборки.
Вы, может, и удивились моему рассказу, но не восприняли его как откровение. Вам давно известно, что результаты исследований надежнее на больших выборках, и о законе больших чисел слышали даже те, кто статистики совершенно не знает. Но просто «знать» недостаточно, и, возможно, вы обнаружите, что в отношении вас справедливы следующие утверждения:

Вы не придали значения признаку «малонаселенный» , когда читали историю об исследовании частоты заболеваний раком.
Вы сильно удивились, узнав о разнице между выборками в 4 и 7 шариков.
Даже сейчас вам требуются определенные умственные усилия, чтобы понять, что следующие два утверждения означают совершенно одно и то же:
– Большие выборки дают более точный результат, чем маленькие.
– Маленькие выборки чаще больших дают экстремумы.

Первое утверждение кажется истинным, но нельзя считать, что вы его поняли, пока интуиция не приняла второе.
Итак, вы знали, что результаты на больших выборках точнее, но сейчас вы, наверное, понимаете, что знали это не очень хорошо. Вы не одиноки. Наше с Амосом первое совместное исследование показало, что даже у опытных исследователей плохая интуиция и зыбкое представление о значении объема выборки.

Закон малых чисел: неоправданные заключения на основе недостаточной информации. Читайте дальше, чтобы проверить свои навыки логического мышления, ответив на загадку о больницах, и выяснить, как графики могут ввести в заблуждение и что можно сделать во избежание убытков при размещении ставок с использованием статистических данных.

Загадка о больницах

В 1974 г. два психолога Даниэль Канеман (Daniel Kahneman) и Амос Тверски (Amos Tversky) провели эксперимент, в котором испытуемым описывали некую ситуацию и задавали вопрос. Вот эта ситуация. В одном городе работают две больницы. В большой больнице каждый день рождается примерно 45 младенцев, а в маленькой больнице – примерно 15 младенцев.

Известно, что около 50 % всех новорожденных – мальчики. Однако точное соотношение меняется изо дня в день. Иногда мальчиков рождается больше 50 %, иногда меньше. В течение одного года в обеих больницах отмечали дни, когда количество новорожденных мальчиков превышало 60 %. В какой больнице, по-вашему, таких дней больше?

• В большой больнице.
• В маленькой больнице.
• Примерно одинаково (разница не более 5 %).

Если верить теории биномиального распределения, то количество дней, когда рождалось как минимум на 4–6 мальчиков больше, чем девочек, будет почти в три раза больше в маленькой больнице только за счет более ярко выраженной волатильности показателей рождаемости. Распределение в большой выборке, скорее всего, будет реже отклоняться от 50 %. Тем не менее только 22 % респондентов дали правильный ответ.

Что такое эвристика?

Канеман и Тверски объяснили, что подобное ошибочное представление обусловлено верой людей в закон малых чисел. Если говорить в общем, то выводы, сделанные на основании данных малых выборок, часто неверно считаются репрезентативными для более широкой совокупности. Например, малая выборка, которая, как представляется, распределена по случайному закону, укрепит убежденность в том, что более широкая совокупность, к которой она относится, так же будет распределена случайным образом.

Загадка о больницах: распределение в большой выборке, скорее всего, будет реже отклоняться от 50 %. Тем не менее только 22 % респондентов дали правильный ответ.

С другой стороны, малая выборка, позволяющая выявить кажущиеся очевидными закономерности (например, выпадение девяти «орлов» в серии из 10 бросков монеты) даст наблюдателю основания полагать, что такая же тенденция будет прослеживаться и в совокупности. В этом случае можно предположить, что монета «предвзята», то есть исходы ее бросков не могут считаться справедливыми. Восприятие, заключающееся в способности видеть закономерности в случайных или бессмысленных данных, называется апофенией.

Вера в закон малых чисел относится к более широкой группе ментальных приемов, к которым люди прибегают при принятии решений в условиях неопределенности. Канеман и Тверски назвали эти приемы эвристикой. Обобщения, сделанные на основании малых выборок, являются примером эвристики репрезентативности, когда люди оценивают вероятность того или иного события, ориентируясь исключительно на обобщение данных о предыдущих подобных событиях, которые сразу приходят на ум.

Другим примером эвристики репрезентативности является ложный вывод азартного игрока. Действительно, такая предвзятость возникает из-за веры в закон малых чисел. Канеман и Тверски говорили следующее:

«Суть проблемы ложного вывода азартного игрока заключается в неверном представлении о справедливости законов случайности». Игрок считает, что в случае с монетой закон справедливости будет действовать таким образом, что отклонение от ожидания выпадения одной стороны монеты в скором времени будет устранено за счет отклонения от ожидания в отношении выпадения другой стороны монеты. Люди действуют так, как будто каждый элемент случайной последовательности позволяет реально оценить истинную пропорцию совокупности; если последовательность отклонилась от пропорции генеральной совокупности, следует ожидать, что произойдет корректирующее смещение в обратном направлении.

Чтение графиков для выборок неравных размеров

Игроки, делающие ставки на спорт, особенно подвержены ошибкам при выявлении закономерностей по причине необоснованной веры в закон малых чисел. Неправильная оценка рентабельности на основании результата анализа малой выборки ставок и его восприятие как репрезентативного показателя отклонения от случайности и подтверждения прогностических умений может привести к неприятным финансовым последствиям в долгосрочной перспективе. Рассмотрим приведенный ниже график гипотетической рентабельности 100 ставок на разницу в счете игр NFL. Все ставки сделаны с коэффициентом 1,95. Впечатляет, не так ли?

А как вы отреагируете, если узнаете, что это график составлен по данным о ставках известного спортивного гандикапера из США? Ваша доверчивость вполне понятна, ведь динамика достаточно хорошая, а доход составляет 15 %. Но это, конечно же, неправда. На самом деле, следующий график по 1000 ставок позволяет получить более полное представление о ситуации.

В действительности долгосрочная рентабельность полностью отсутствовала. Причина заключается в том, что эти данные были получены с помощью генератора случайных чисел, который позволил определить, что вероятность индивидуальной победы равна 50 %, а ожидание прибыли –2,5 %. На первом графике просто представлены первые 100 ставок второго графика.

Но даже во второй более длительной серии ставок положительная динамика рентабельности сохранялась в течение нескольких сотен ставок. Кроме того, несмотря на то что наблюдается общая убыточность, закономерность, присущая элементам этой временной последовательности, не является случайной и имеет в меру стабильную волнообразную динамику.

Однако, как признали Канеман и Тверски, люди гораздо более склонны считать, что последовательности похожих результатов неслучайны, даже если для этого нет никаких оснований. Какая из двух приведенных ниже двоичных последовательностей выглядит случайной, а какая неслучайной?

0, 0, 0, 0 1, 1, 1, 1, 0, 0, 1, 1, 0, 0, 1, 1, 1, 1, 1, 1

0, 1, 1, 0, 1, 0, 0, 0, 1, 1, 0, 0, 1, 0, 1, 0, 0, 1, 1, 1

Большинство людей выберет вторую последовательность. На самом деле, первая последовательность сгенерирована случайным образом в Excel, а вторая была специально сформирована таким образом, чтобы отрезки с «1» и «0» были короче. Если попросить людей сформировать случайные последовательности, которые были бы похожи на приведенные выше примеры, многие будут чередовать «1» и «0» или наоборот, если им покажется, что одна из цифр встречается слишком часто.

Теперь рассмотрим приведенную ниже диаграмму по 1000 ставок. Все они были сгенерированы случайным образом. Широкий диапазон возможных исходов позволяет получить некоторое представление о том, насколько легко быть одураченным закономерностями, кажущимися очевидными.


Не забывайте, что эта серия включает 1000, а не 100 ставок. Рассмотрим средний график. Кажется очевидным, что ставки делал профессиональный игрок или типстер: доход составляет 5 %, а устойчивый рост прибыли наблюдается на протяжении всей серии ставок – только лучшие гандикаперы способны демонстрировать такие показатели в течение длительного времени. И все же это результат случайности.

С помощью биномиального распределения мы можем определить вероятность получения прибыли после нескольких раундов ставок, даже если ожидание равно –2,5%.

Даже несмотря на то что это не более чем случайность, шансы на получение прибыли после серии из 1000 ставок по-прежнему остаются и оцениваются как 1 к 5. Если бы мы делали по одной ставке с форой на каждую игру NFL, это заняло бы почти четыре сезона. Нужно много времени для того, чтобы мы поверили, что только удача помогала нам.

Насколько малыми должны быть малые числа?

Закон малых чисел – это когнитивное искажение, заключающееся в том, что люди склонны полагать, что относительно небольшое число наблюдений точно отражает свойства генеральной совокупности. Кроме того, как показало это упражнение, малое иногда бывает довольно большим. Это явление существует по причине того, что неопределенности, невежеству, ассоциативности, неупорядоченности и случайности люди предпочитают уверенность, обоснованность, причинность, закономерность и навыки (в особенности те, что ориентированы на достижение личных целей). Неспособность реально оценить его значение может дорого стоить игрокам, делающим ставки на спорт.