Элизер Юдковский
Singularity Institute for Artificial Intelligence Palo Alto, CA

При всех прочих равных, не много людей предпочли бы уничтожить мир. Даже безликие корпорации, лезущие не в свои дела правительства, безрассудные учёные и прочие агенты погибели нуждаются в мире, чтобы достигать в нём своих целей наживы, порядка, владения, или других мерзостей. Если наше истребление будет происходить достаточно медленно для того, чтобы успело произойти ужасное осознание этого процесса, деятели, запустившие его, будут, вероятно, ошеломлены пониманием того, что они, в действительности, уничтожили мир. Поэтому я предполагаю, что, если земля будет всё-таки уничтожена, то произойдёт это, вероятно, по ошибке.

Введение

При всех прочих равных, не много людей предпочли бы уничтожить мир. Даже безликие корпорации, лезущие не в свои дела правительства, безрассудные учёные и прочие агенты погибели нуждаются в мире, чтобы достигать в нём своих целей наживы, порядка, владения, или других мерзостей. Если наше истребление будет происходить достаточно медленно для того, чтобы успело произойти ужасное осознание этого процесса, деятели, запустившие его, будут, вероятно, ошеломлены пониманием того, что они, в действительности, уничтожили мир. Поэтому я предполагаю, что, если земля будет всё-таки уничтожена, то произойдёт это, вероятно, по ошибке.

Систематическое экспериментальное исследование повторения ошибок в человеческих рассуждениях, и того, что эти ошибки говорят о предшествующих им ментальных процессах, известно как программа иследований моделей рассуждений и погрешностей в когнитивной психологии.

Эта программа сделала открытия, очень существенные для экспертов по рискам глобальных катастроф. Допустим, вы беспокоитесь о рисках некой субстанции Р, взрывчатого вещества, способного разрушить всю планету, которое взорвётся, если подвергнется досточно сильному радиосигналу.

К счастью, имеется знаменитый эксперт, который открыл субстанцию Р, потратил 30 лет, работая с ней, и знает её лучше, чем любой другой на земле. Вы звоните эксперту и спрашиваете, как силён должен быть радиосигнал, чтобы взорвать вещество. Эксперт отвечает, что критический порог находится, вероятно, на уровне 4.000 тераватт. «Вероятно?» — спрашиваете вы. «Можете ли вы мне дать интервал 98 процентной уверенности?» — «Конечно, — отвечает экспрет. – Я на 99 процентов уверен, что критический порог больше 500 тераватт, и на 99 процентов уверен, что он меньше 80.000 тераватт.» «А как насчёт 10 терватт?» – спрашиваете вы. «Невозможно» — отвечает эксперт.

Приведённая выше методология опроса эксперта выглядит совершенно резонной, такой, какой её любой компетентный работник должен делать, когда сталкивается с подобной проблемой. И в действительности, эта методология была использована в исследовании безопасности реакторов (Rasmussen 1975), ныне считающемся в качестве первой большой попытки вероятностной оценки рисков.

Но исследователь моделей рассуждений и погрешностей может распознать по крайней мере два больших недостатка в этом методе, — не логических слабых места, а обстоятельства, чрезвычайно уязвимых к человеческой ошибке.

(Сноска: Я благодарю Michael Roy Ames, Nick Bostrom, Milan Cirkovic, Olie Lamb, Tamas Martinec, Robin Lee Powell, Christian Rovner, и Michael Wilson за их комментарии, предложения и критику. Нет необходимости говорить, что все отсавшиеся ошибки в этой работе – мои.)

Иследования моделей рассуждений и погрешностей открыли результаты, которые могут напугать и привести в уныние неподготовленного учёного. Некоторые читатели, впервые встречающие экспериментальные результаты, цитруемые здесь, могут удивиться и спросить: «Это действительно экспериментальные результаты? Действительно ли люди так плохо предполагают? Может быть, эксперименты были плохо организованы, и результаты уйдут, если сделать такие-то и такие-то манипуляции?» Не имея досточно места для объяснений, я могу только призвать читателя проконсультироваться с основополагающей литературой. Очевидные манипуляции уже испробывались, и результаты были устойчивыми.

1. Доступность информации

Предположим, вы возьмёте случайное слово из трёх или более букв из английского текста. Что более вероятно: что слово начинается с буквы R («rope»), или что его третья буква R («park»)?

Основная идея исследований моделей рассуждений и погрешностей состоит в том, что человеческие существа используют методы мышления – эвристику – которые дают хорошие средние ответы в большинстве случаев, но это так же приводит к увеличению системных ошибок, называемых погрешностями (bias). Примером эвристики является суждение о частоте или вероятности события по его информационной доступности (availability), то есть лёгкости, с которой примеры этого события приходят на ум. «R» появляется в качестве третьей буквы в большем числе английских слов, чем на первом месте, но гораздо легче вспомнить слова, которые начинаются на букву R. Таким образом, большинство респондентов предполагают, что слова, начинающиеся на букву R, встречаются чаще. (Tversky and Kahneman 1973.)

Погрешности, основанные на эвристике доступности, влияют на оценки риска.

Пионерское исследование Lichtenstein (1978) описывает абсолютную и относительную достоверность суждений о риске. Люди в общих чертах представляют, какие риски причиняют большее число смертей, и какие – только немного смертей. Однако, когда их просят посчитать риски точнее, люди сильно переоценивают частоты редких причин смерти, и сильно недооценивают частоты обычных причин смерти.
Другие повторяющиеся ошибки тоже были очевидными: аварии считались причиняющими столько же смертей, сколько болезни (на самом деле болезни причиняют в 16 раз больше смертей, чем аварии). Убийство неверно считалось как более частая причина смерти, чем диабет или рак желудка.

Последующее исследование Combs and Slovic (1979) провело подсчёт сообщений о смерти в двух газетах и обнаружило высокую корреляцию между суждениями о достоверности и выборочностью репортажей в газетах (0,85 и 0,89).

Люди отказываются покупать страховку от наводнений, даже если она мощно субсидируется и оценена гораздо ниже своей справедливой цены. Kunreuther (1993) предполагает, что слабая реакция на угрозы наводнений может происходить из неспособности индивидов представить себе наводнение, которое никогда не случалось. Люди на затапливаемых равнинах выглядят как пленники своего опыта.

Недавно пережитые наводнения, по-видимому, устанавливают границу потерь, начиная с которой хозяева верят, что должны быть обеспокоены. Burton (1978) сообщает, что когда дамбы и насыпи построены, они уменьшают частоту наводнений, такие образом, видимо, создают фальшивое чувство безопасности, ведущее к уменьшению предосторожности. В то время как строительство дамб уменьшает частоту наводнений, ущерб от каждого наводения настолько возрастает, что среднегодовой ущерб увеличивается.

Кажется, что люди не экстраполируют с пережитых малых опасностей на возможности более серьёзных рисков; наоборот, прошлый опыт малых опасностей устанавливает ощущаемую верхнюю границу для рисков. Общество, хорошо защищённое против малых опасностей, не будет предпринимать никаких действий по отношению к большим рискам. (Строительство на затапливаемых равнинах после того, как регулярные малые наводнения устранены). Общество, подверженное регулярным малым опасностям, будет считать эти малые опасности в качестве верхней границы размеров возможных рисков (защищаясь от регулярных малых наводнений, но не от неожиданных больших наводнений).

Риск человеческого истребления может быть недооценен, поскольку, очевидно, человечество никогда не сталкивалось с этим событием. (2)

Сноска 2: Milan Cirkovic указывает на то, что сверхизвержение вулкана Toba (73 000 лет до Р.Х.) может считаться как событие, едва не приведшее к истреблению людей. Взрыв и последующая зима убила большую часть человечества; генетические свидетельства предполагают, что было только несколько тысяч выживших, или даже меньше. (Ambrose 1998.) Отметьте, что это событие отсуствует в нашей исторической памяти – оно предшествует возникновению письменности.

2. Интеллектуальная ошибка, связанная со знанием «задним числом». (Hindsight bias)

Интеллектуальная ошибка, связанная со знанием «задним числом» происходит, когда субъект, узнав окончательный итог, даёт гораздо большую оценку предсказуемости этого итога, чем субъекты, которые предсказывают итог без знания результата. Эта ошибка иногда называется «я-всё-это-время-чувствовал-что-так-оно-и-есть».

Fischhoff и Beyth (1975) представили студентам исторические отчёты о малоизвестных событиях, таких, как конфликт между гурками и англичанами в 1814 году. Пять групп студентов, получивших эту информацию, были опрошены в отношении того, что бы они предсказали в качестве степени достоверности для каждого из четырёх итогов: победа англичан, победа гурков, патовая ситуация с мирным соглашением или пат без соглашения. Четырём экспериментальным группам было соотвественно сообщено, что четыре возможных итога были в действительности историческими итогами. А пятой, котрольной группе не было сообщено никакого исторического итога. В каждом случае группа приписала сообщённому ей итогу гораздо большую достоверность, чем любая другая группа или контрольная группа.

Эффект знания задним числом важен в суде, где судья или присяжные должны определить, действительно ли обвиняемый имел законные основания быть неспособным предсказать опасность. (Sanchiro 2003).
В эксперименте, основанном на реальном деле, Kamin and Rachlinski (1995) попросили две группы оценить вероятность ущерба от наводнения, причинённый закрытием принадлежащего городу разводного моста. Контрольной группе сообщили только базовую информацию, бывшую известной городу, когда он решил не нанимать мостового смотрителя.

Экспериментальной группе была дана эта же информация, плюс сведения о том, что наводнение действительно случилось. Инструкции устанавливают, что город проявляет халатность, если поддающаяся предвидению вероятность наводнения больше 10 процентов. 76 % контрольной группы заключили, что наводнение было настолько маловероятным, что никакие предосторожности не были нужны. 57% экспериментальной группы заключили, что наводнение было настолько вероятно, что неспособность принять меры предосторожности была преступной халатностью. Третьей группе сообщили итог и ещё ясным образом инструктировали избегать оценки задним числом, что не привело ни к каким результатам: 56% заключили, что город был преступно халатен. Судьи не могут просто инструктировать присяжных, чтобы избежать эффекта знания задним числом: меры против эффекта предвзятости (debiasing manipulation) не работают.

Рассматривая историю сквозь линзы нашего последующего знания, мы сильно недооцениваем стоимость предотвращения катастрофы. В 1986 году шаттл Челенджер взорвался по причинам, которые, в конце концов, были определены, как связанные с тем, что кольцевой уплотнитель потерял гибкость при низкой температуре (Rogers, 1986). Были предупреждающие сигналы о проблемах, связанных с кольцевым уплотнителем. Но предотворащение катастрофы Челенджера должно было потребовать не только уделение внимания проблемам с кольцевым уплотнителем, но и озабоченности каждым предупреждающим сигналом, который бы казался столь же серьёзным, как проблема уплотнителей, без преимущества последующего знания.

3. Чёрные лебеди. (Black Swans). 

Taleb (2005) предположил, что ошибки последующего знания и доступности несут первостепенную отвественность за нашу неспособность защититься от того, что Taleb назвал Чёрными Лебедями. Чёрные лебеди являются особенно трудной версией проблемы мощных последствий: иногда большая часть вариативности процесса происходит из исключительно редких, исключительно больших событий. Предствать себе финансовый инструмент, который зарабатывает $10 с 98% вероятностью, но теряет $1000 с 2% вероятностью. В конечном счёте расход перевешивает доход, но инструмент выглядит как устойчиво выиграшный. Taleb (2001) приводит пример трейдера, чья стратегия работала 6 лет без единого убыточного квартала, принося около $80 миллионов – и затем он потерял $300 миллионов в одной катастрофе.

Другим примером является Long-Term Capital Management, хедж-фонд, в чьи основатели входили два Нобелевских лауреата по экономике. В течение Азиатского кризиса и российского дефолта 1998 года рынки вели себя совершенно беспрецендентным образом, имевшим пренебрежимо малую вероятность по исторической модели, использованной LTCM. В результате LTCM начал терять по $100 миллионов в день, день за днём. В один день в 1998 году он потерял более $500 миллионов. (Taleb, 2005)

Основатели LTCM позже назвали рыночные условия 1998 года очень маловероятным событием с вероятным оклонением в десять дельта. Но очевидно, что оно не было столь невероятным. Ошибочно веря, что прошлое предсказуемо, люди заключили, что будущее тоже предсказуемо. Как пишет Fischhoff (1982):

«Когда мы пытаемся понять прошлые события, мы косвеным образом проверяем гипотезы или правила, которые мы используем, чтобы интрпретировать и воспринимать мир вокруг нас. Если, благодаря последующему знанию, мы систематически недооцениваем сюрпризы, которые прошлое имело и имеет для нас, мы подвергаем эти гипотезы ненадлежаще слабым тестам и, вероятно, не находят никаких оснований для их изменений.»

Урок истории состоит в том, что такие неприятности, как чёрные лебеди, случаются. Люди бывают удивлены катастрофам, которых они не ожидали, которые лежат за пределами их исторически вероятных распределений. Но почему мы бываем так ошеломлены, когда Чёрные Лебеди случаются? Почему LTCM заняло $125 миллиардов под $4.72 миллиарда собственности, практически гарантируя, что любая крупная неприятность их обанкротит?

По причине ошибки из-за последующего знания, мы выучиваем очень специфические уроки. После 11 сентября американское управление авиации запретило ножи для разрезания бумаги на самолётах. В ретроспективе это событие выглядит слишком предсказуемым, позволяя разъярённым жертвам считать случившееся результатом халатности – такой, как неспособность разведывательных агенств различить предупреждения об активности Аль-Каеды среди тысяч других предупреждений. Мы научились не позволять захваченным самолётам летать над нашими городами. Но мы не выучили урок: «Чёрные Лебеди случаются. Делай, что можешь, чтобы приготовиться к неожиданному».

Taleb (2005) пишет: Трудно мотивировать людей предотвращать «Чёрных Лебедей»… Защита с трудом воспринимается, измеряется и вознаграждается; это обычно тихое и неблагодарное занятие. Представьте себе, что некая дорогостоящая мера была предпринята, чтобы предотвратить такое явление. Легко вычислить стоимость этих мер, тогда как результат трудно измерим. Как мы можем говорить об эффективности, когда есть два альтернативных варианта объяснения: или принятые меры были эффективны, или просто ничего существенного не случилось. Оценка качества работы в таких случаях не просто сложна, но искажена наблюдением «актов героизма». В исторических книгах не пишут о героических превентивных мерах.

4. Ошибки в ситуациях с «логическим И». (The conjunction fallacy.) 

Линде 31 год, она холостая, искреняя и оптимистичная девушка. В колледже она специализировалась на философии. Как студент, она была глубоко озабочена проблемами дискриминации и социальной справедливости, а также участвовала в антиядерных демонстрациях.

Расположите следующие утверждения в порядке уменьшения их дстоверности.

1. Линда – учитель в начальной школе.
2. Линда работает в книжном магазине и занимается йогой.
3. Линда – актвистка феминистского движения
4. Линда – социальный работник в области психиатрии
5. Линда – член общества женщин, имеющих право голоса.
6. Линда – кассир в банке
7. Линда – страховой агент
8. Линда – кассир в банке и актвистка феминистского движения

89% из 88 студентов посчитали пукт (8) как более веротяный, чем пункт (6). (Tversky и Kahneman 1982.) Поскольку выбранное описание Линды похоже на описание феминистки, а не банковского кассира, (8) в большей мере характерно для описания Линды. Однако, ставя (8) как более вероятное, чем (6), мы нарушаем закон суммирования вероятностей, который утверждает, что p(A p(A). Представьте себе выборку из 1000 женщин. Наверняка в этой выборке больше женщин — банковских кассиров, чем женщин-феминсток и одновременно банковских кассиров.

Может быть, ошибка от логического И связана с субъектами, воспринимающими экспериментальные инструкции неправильно? Быть может, субъекты полагали, что под словом «достоверно» имеется в виду достоверность описания Линды данными утверждениями (6) и (8), а не достоверность (6) и (8) в отношении описания Линды? Или возможно субъекты интерпретировали (6) как означающее «Линда — кассир и не феминисткая активистка»?
Хотя много интересных альтернативных гипотез было предложенно чтобы объяснить склонность к этой логической ошибке, она пережила все экспериментальные попытки её опровергнуть (см. обзор Sides 2002.)

Например, следующий эксперимент исключает обе альтернативные гипотезы, предложенные выше.

Представьте себе правильный 6-сторонний кубик с 4 зелёными сторонами и 2 красными. Кубик будет брошен 20 раз и последовательность выпадения зелёных (G) и красных (R) сторон будет записана. Вы должны выбрать одну последовательность из трёх предложенных, и вы выиграйте $25, если выбранная вами последовательность выпадет в серии бросков кубика. Вот эти три последовательности, выберите одну из них.

1. RGRRR
2. GRGRRR
3. GRRRRR

125 студентов в Стэнфордском университете играли в эту игру с реальными ставками. 65% из них выбрали последовательность (2). (Tversky and Kahneman 1983.) Последовательность (2) наиболее типична (representative) для игральной кости, поскольку кость большей частью зелёная и последовательность (2) содержит наибольшую пропорцию зелёных сторон. Однако, последовательность (1) превосходит последовательность (2), поскольку (1) полностью входит в (2). Чтобы получилось (2), у вас должна выпасть последовательность (1) и зелёная грань кости перед ней.

В приведённой выше задаче студенты могли вычислить точные вероятности каждого события. Однако вмето того, чтобы тратить время на арифметические вычисления, 65% студентов, по видимому, полагались на интуицию, исходя из того, что казалось более типичным для игральной кости. Когды мы называвем это умозаключением по типичности, мы не настаиваем на том, что студенты нарочно решили, что они будут оценивать вероятность, исходя из типичности. Скорее, умозаключение по типичности является как раз тем, что создаёт интуитивное чувство, что последовательность (2) более вероятна, чем последовательность (1). Другими словами, умозаключение по типичности является встроенной характеристикой мозга, предназначенной, чтобы давать быстрые достоверные суждения, а не сознательно выбранной процедурой. Мы не осознаём подмены суждением о типичности суждения о достоверности.

Ошибки в ситуациях с «логическим И» подобным же образом происходят в футурологических прогнозах. Две независимых группы профессиональных аналитиков на Втором Межународном Конгрессе по Предвидению будущего были опрошены, соотвественно, о вероятности «Полного разврыва дипломатических отношений между СССР и США в 1983 году» и «Русского вторжения в Польшу, и последующего полного разврыва дипломатических отношений между СССР и США в 1983 году». Вторая группа аналитиков сообщила о значительно более высокой вероятности. (Tversky and Kahneman 1983.)

В исследовании Johnson (1993), группа студентов MBA из Уортона должна была отправиться в Бангкок в качестве части своей образовательной программы. Несколько подгрупп студентов было опрошено на тему, как много они готовы заплатить за антитеррористическую страховку. Первой группе был задан вопрос, сколько она готова заплатить за антитеррористическую страховку, покрывающую перелёт из Таиланда в США. Вторую группу студентов спросили, сколько она готова заплатить за страховку, покрывающую перелёт туда-обратно. А третьюю — о страховке, которая бы покрывала всё путешествие. Эти три группы окзались в среднем готовы заплатить $17.19, $13.90, и $7.44 соотвественно.

С точки зрения теории вероятностей, добавление дополнительной детали к истории делает её менее вероятной. Менее вероятно, что Линда является кассиром-феминисткой, чем просто кассиром, покольку все кассиры-феминистки по определению являются кассирами. Но с точки зрения человеческой психологии добавление каждой новой детали делает историю всё более достоверной.

Люди могут предпочесть заплатить больше за международную дипломатию, направленную на предотвращение нанотехнологической войны с Китаем, чем за инженерный проект, предназначенный, чтобы защитить от нанотехнологической атаки с любой возможной стороны. Второй сценарий угрозы выглядит менее зрелищным и побуждающим, но технологическая защита будет более полезной по причине своей многосторонности (vague). Более ценными выглядят стратегии, которые уменьшают вероятности истребления человечества без жёсткой зацикленности только на нанотехнологических угрозах, — такие, как колонизация космического пространства или искусственый интеллект (см. работы автора на эту тему). Bruce Schneier заметил (и до, и после урагана 2005 года в Новом Орлеане), что правительство Соединённых Штатов защищало отдельные объекты на территории страны от террористических угроз в стиле киносценариев, ценой отвлечения ресурсов из средств гражданской обороны, которые могли бы быть использованы в любой ситуации. (Schneier 2005.)

Сверхдетальные заверения также могут создать ложное ощущение безопасности «Х не является риском существованию, и вы не должны заботиться о нём, потому что A, B, C, D, и E». В то время как ошибка в любом из предположений является потенциально гибельной для человеческого рода. «Мы не должны беспокоиться о нанотехнологической войне, потому что комиссия ООН в начале разовьёт эту технологию и предотвратит её распространение до тех пор, пока не будет разработана активная защита, способная защитить от всех случайных или злонамереных проявлений, которые современная нанотехнология способна породить, и это условие будет выполняться всегда.» Яркие, чётко определённые сценарии могут увеличить нашу вероятностную оценку безопасности, равно как и неправильно направить инвестиции в безопасность с учётом излишне суженных или невероятно детализованных сценариев рисков.

В целом, людям свойственно переоценивать вероятность совпадений всех событий в серии и недооценивать вероятность хотя бы одного события из серии. (Tversky and Kahneman 1974.) То есть людям свойственно переоценивать вероятность того, что, например, семь событий, с вероятностью 90 процентов каждое, все вместе совпадут. Наоборот, людям свойственно недооценивать вероятность того, что хотя бы одно событие из семи, имеющих каждое вероятность 10 процентов, таки случится. Некто, оценивающий, стоит ли, например, открыть новую компнию, должен вычислить вероятность того, что в множестве отдельных событий они все вместе произойдут нужным образом (что будет достаточное финансирование, компетентные рабочие, покупатели будут хотеть товар), учитывая также вероятность того, что по крайней мере одна критическая неприятность случится (банк откажется дать ссуду, главный проект закончится неудачей, ведущий учёный умрёт). Это может объяснить, почему только 44% предприятий (3) выживают в течение 4 лет(Knaup 2005.)

Ссылка 3: отметьте, что показатель 44% относится ко всем видам бизнеса, включая маленькие рестораны, а не только к, допустим, дот-ком стартапам.

Dawes (1988): адвокаты в своих речах предпочитают избегать выводов, основанных на истинности по крайней мере одной из нескольких посылок («либо одно, либо другое, либо третьее должно было случится и каждый из этих вариантов приводит к одому и тому же выводу»), в пользу выводов, основанных на совпадении сразу нескольких посылок. С рациональной точки зрения первые случаи гораздо более вероятны, чем вторые.

Истребление человечества в следующем столетии может произойти в случае истинности хотя бы одной из многих причин. Оно может случится по причине любого риска выживанию, обсуждённого в этой книге, или по какой-нибудь другой причине, которую никто из нас не предвидел. Даже для футурологов, описания в духе «или то, или другое, или третьее» неудобны и пророчества, с помощью них сформулированные, звучат непоэтично.

5. Ошибочность рассуждений, вызванная эффектом подтверждения. (Confirmation bias).

В 1960 году Peter Wason провёл ныне классический эксперимент, известный как задача ’2-4-6′ (Wason, 1960.) Испытуемые должны были обнаружить правило, известное экспериментатору, но не самому испытуемому – так, как оно бывает при научном исследовании. Испытуемые писали три числа, таких как ’2-4-6′ или ’10-12-14′ на карточках, и экспериментатор говорил, соотвествует ли тройка чисел правилу или нет. Изначально субъектам была выдана тройка чисел 2-4-6 и сказано, что она соответсвует правилу. Испытуемые могли продолжать испытывать тройки до тех пор, пока они не чувствовали себя уверенными, что знают правило экспериментатора, и тогда испытуемые объявляли правило.

Хотя испытуемые обычно выражали высокую уверенность в своих догадках, только 21 процент из них в эксперименте Wason правильно угадали правило, и при повторениях этого эксперимента уровень успеха обычно составлял 20 процентов. Вопреки совету Карла Поппера, испытуемые в задачу Уосона пытались подтвердить свои гипотезы, а не их опровергнуть. Таким образом, те, кто сформулировали гипотезу «Номера увеличиваются каждый раз на два» проверяли тройки 8-10-12 или 20-22-24, слышали, что они подходят, и уверенно объявляли правило. Во всех случаях истинное правило было одно и тоже: три номера должны следовать один за другим по возрастающей. В некоторых случаях испытуемые выдумывали, «тестировали» и объявляли правила, гораздо более сложные, чем действительные.

Задача Уосона 2-4-6 является «прохладной» формой интеллектуальной ошибки, связанной с подтверждением: люди предпочитают подтверждающие, а не опровергающие свидетельства. «Прохладный» означает, что задача 2-4-6 является аффективно нейтральным случаем интеллектуальной ошибки подтверждения: вывод подтверждается логикой, а не эмоциями. «Горячий» случай имеет место, когда вера эмоционально заряжена, например, в случае политических рассуждений.

Неудивительно, что «горячая» ошибочность сильнее – больше по размаху и более устойчивая к изменениям. Активная, полная усилий склонность к подтверждению обычно называется мотивировнным мышлением (motivated cognition) (обычно известным как «рационализация»). Как отмечает Brenner (2002) в «Заметках к теории одобрения»:

Очевидно, что во многих обстоятельствах желаемость уверенности в гипотезе может заметно повлиять на воспринимаемую степень её подтверждения… Kunda (1990) обсуждает, как люди, нацеленные на то, чтобы достичь определённых выводов, пытаются сконструировать (в ошибочной маннере) убедительный случай для своей любимой гипотезы, который мог бы убедить беспристрастную аудиторию. Gilovich (2000) предполагает, что выводы, в которые человек не хочет верить, рассматриваются гораздо требовательнее, чем те, в которые он хочет верить. В первом случае человек требует, чтобы свидетельство с необходимостью заставляло придти к данному выводу, а во втором – спрашивает, позволяет ли некоторое свидетельство придти к данному выводу.

Когда люди подвергают те свидетельства, которые противоречат их точке зрения, более пристрастному анализу, чем те, которые её подтверждают, это называется мотивированный скептицизм или интеллектуальная ошибка несогласия (disconfirmation bias). Ошибка несогласия особенно деструктивна по двум причинам: во-первых, два подверженных этой ошибке спорщика, рассматривая один и тот же поток свидетельств, могут изменить свою веру в противоположных направлениях – обе стороны выборочно принимают только привлектальные для них свидетельства. Накопление большего числа свидетельств не приведёт этих спорщиков к согласию. Во вторых, люди, которые являются более опытными скептиками – которые знают больший набор логических нестыковок – но применяют этот навык избирательно, могут изменять свою точку зрения гораздо медленее, чем неопытные спорщики.

Taber and Lodge (2000) исследовали изначальное отношение и изменение отношения у студентов, под воздействием прочтения политической литературы за и против конроля и выдачи разрешений на оружие. Это исследование проверило шесть следующих гипотез в двух экспериментах:

1. Эффект изначального отношения. (Prior attitude effect.) Испытуемые, имевшие изначальную точку зрения на проблему, — даже когда их поощряли в том, чтобы они были объективными, — находили поддерживающие аргументы более охотно, чем опровергающие.
2. Систематическая ошибка опровержения. Испытуемые тратили больше времени и умственных усилий, очерняя опровергающие аргументы, чем поддерживающие.
3. Систематичекая ошибка подтверждения. Испытуемые, свободные выбирать источники информации, скорее искали подтверждающие, чем опровергающие источники.
4. Поляризация отношения. Предъявление субъектам очевидно уравновешенного набора аргументов за и против приводило к увеличению изначальной поляризации их мнений.
5. Эффект силы мнения (Attitude strength effect). Испытуемые, имеющие более ярко выраженное мнение, были более подвержены вышеназванным склонностям к ошибке.
6. Эффект усложнения. (Sophistication effect) Более искушённые в политике испытуемые, по причине обладания более тяжёлым воружением для опровержения противных фактов и доводов, были более подвержены вышеприведённым систематическим ошибкам.

Забавно, что эксперименты Taber and Lodge подтвердили все шесть изначальных гипотез авторов. Вы можете сказать: «Вероятно, эти эксперименты только отражают верования, на которые опирались их авторы, и это как раз пример систематической ошибки подтверждения». Если так, то, сделав вас более опытным спорщиком, а именно, научив вас ещё одной систематической ошибке, в которой можно обвинить людей, — я в действительности навредил вам: я ослабил вашу реакцию на новую информацию. Я дал вам ещё один шанс всякий раз терпеть неудачу, когда вы сталиваетесь с возможностью изменить свой стиль мышления.

Модели рассуждения и систематические ошибки широко рапространены в человеческих размышлениях. Их знание позволяет нам замечать большое разнообразие логических ошибок, которые, в противном случае, были бы недоступны для нашего наблюдения. Но, как и любая способность обнаруживать ошибки в рассуждениях, это знание должно применяться обоюдосторонне: как к нашим собственным идеям, так и к идеям других; к идеям, которые нам нравятся, и которые нам не нравятся. Знание человеческой склонности ошибаться – это опасное знание, если вы напоминаете себе об ошибочности тех, кто не согласен с вами. Если я избирателен в отношении тех аргументов, которые я исследую на предмет ошибок, или даже того, насколько серьёзно я исследую эти ошибки, тогда каждый новый закон логики, каждая новая логическая несообразность, которую я научаюсь обнаруживать, делает меня глупее. Ум, чтобы быть полезным, должен быть использован не для того, чтобы дурачить самого себя.

Нельзя рационализировать то, что не рационально с самого начала – как если ложь назвать «правдизацией». Нельзя сделать утверждение более истинным посредством взяточничества, лести или даже страстной аргументации – можно заставить больше людей верить в утверждение, но нельзя сделать его вернее. Для того, чтобы сделать наши верования более истинными, мы должны изменить сами верования. Не каждое изменение – это улучшение, но каждое улучшение – это изменение по определению.

Наши верования гораздо более подвижны, чем мы привыкли думать. Griffin and Tversky (1992) осторожно опросили 24 своих коллег на тему выбора между двумя предложениями по работе и попросили их оценить вероятность того, что они его выберут, для каждого из предложений. Средняя вероятность выбора, высказанная в отношении более привлекательного предложения, составила умеренные 66 процентов. Но только один из 24 опрошенных выбрал в конечном счёт вариант, которому он приписал в начале более низкую вероятность, увеличив общую точность предсказания до 96 процентов. (Это – один из немногих известных примеров, когда имеет место не «сверх-уверенность», а «недо-уверенность».)

Мораль в том, что как только вы начинаете догадываться, каков будет ваш ответ – как только вы приписываете большую вероятность тому, что вы ответите так, а не иначе, — вы, на самом деле, уже решили. И если вы будете честны с самим собой, вы должны признать, что вы обычно догадываетесь об окончательном ответе через секунды после того, как услышите вопрос. Мы меняем наши мнения гораздо реже, чем мы думаем. Насколько скоротечен этот короткий незаметный момент, когда мы даже не можем догадаться, каков будет наш ответ, малюсенькое хрупкое мгновение, которое нам отведенно, чтобы на самом деле подумать – как в вопросах выбора, так и в вопросах установления фактов.

Шенкель (Shenkel) говорил: «Нет необходимости в вере, пока ситуация может быть легко рассмотрена тем или другим образом.»

Норман Майер (Norman R. F. Maier): «Не предлагайте решения, до тех пор, пока проблема не будет исследована так тщательно, как это только возможно».

Робин Доуз (Robyn Dawes), комментриуя Майера: «Я часто предлагал это правило на группах, которые я вёл, в частности, когда они сталкивались с особенно трудной проблемой – типичная ситуация, когда члены группы особенно склонны предлагать мгновенные решения».

В компьютерной безопасности «система, которой доверяют» (trusted system) — это та, которой вы на самом деле доверяете, а не та, которая достойна доверия. «Система, которой доверяют» — это система, которая, будучи скомпрометированной (untrustworthy), способна вызвать ошибку. Когда вы читаете статью, утверждающую, что глобальная катастрофа невозможна, или имеет определённую годовую вероятность, или может быть преодолена с использованием определённой стратегии, — вы доверяете рациональности авторов. Вы доверяете способности авторов переходить от удобных выводов к неудобным, даже в случае отсутствия сногсшибательных экспериментальных свидетельств, опровергающих любимую гипотезу. Вы доверяете авторам в том, что они не искали немного более усиленно ошибок в тех уравнениях, которые указывали на неверный, с их точки зрения, путь, до того, как к вам попал окончательный вариант статьи.

И если власти вводят закон, по которому даже мельчайший риск существованию человечества достаточен для того, чтобы закрыть проект; или если становится нормой де факто политики, что ни одно возможное вычисление не может перевесить груз однажды высказанного предположения, то тогда ни один учёный не рискнёт больше высказывать предположения. Я не знаю, как решить эту проблему. Но я думаю, что тем, кто оценивает глобальные риски, следует иметь общие представления о человеческих моделях рассуждений и систематических ошибках при рассуждениях, и об ошибке неподтверждения в частности.

6. Якорение, настройка и наложение. (Anchoring, adjustment, and contamination) 

Экспериментатор крутит у вас на глазах рулетку, и она указывает на, в первом случае, 65, а во втором – на 15. Экспериментатор затем спрашивает вас, больше или меньше процент африканских стран в ООН этого числа. Затем экспериментатор спрашивает вас о вашей оценке процента африканских стран в ООН.

Tversky и Kahneman (1974) продемонстировали, что испытуемые, которых в начале попросили оценить, находится ли искомое число выше или ниже 15, затем давали значительно более низкие оценки процента африканских стран в ООН, чем те испытуемые, которых в начале просили оценить, выше или ниже этот процент 65. Средняя оценка по группе была в первом случае 25, во втором – 45 процентов. Это поисходило несмотря на то, что испытуемые видели, что номера генерируются очевидно случайным образом, рулеткой, и потому могли быть уверены, что эти номера не имеют никакого отношения к реальному проценту африканских стран в ООН. Денежные выплаты за точность не изменили интесивность этого эффекта. Tversky and Kahneman предположили, что этот эффект вызван якорением и настройкой; испытуемые принимали изначальное неинформативное число за точку отсчёта, или якорь, и затем увеличивали или уменьшали это число, до тех пор, пока не достигали результата, который выглядил убедительно для них; тогда они прекращали подстройку. Этот результат был недооценкой, связанной с данным якорем.

В примере в начале статьи мы вначале попросили эксперта по субстанции P предположить точное значение силы радиосигнала, который приведёт к взрыву субстанции P, и только затем попросили оценить верхние и нижние границы для этого параметра. Этот метод опроса заставляет людей подстраивать свой ответ о верхней и нижней границе к изначальной оценке, до тех пор, пока они не достигают значений, которые звучат невероятно и прекращают подстройку. Это приводит к недооценке и слишком узким границам интервала уверенности.

После статьи Tversky и Kahneman 1974 года стало накапливаться всё больше свидетельств всё более широкого круга эффектов якорения и псевдо-якорения. Якорение происходило, даже когда якорь давал абсолютно невероятный ответ на вопрос, например, при опросе студентов относительно года первого визита Эйнштейна в США, после рассмотрения якорей 1215 или 1992. Эти недостоверные якоря создавали эффект якорения такой же силы, как и более достоверные якоря, такие как 1905 и 1939. (Strack and Mussweiler 1997.)
Допустим, вы идёте по супермаркету и видете стойку с банками консерваированной томатной пасты с надписью: «Только 12 штук в руки». Заставляет ли это людей на самом деле покупать больше томатной пасты? Соглсано экспериментальным данным, заставляет. (Wansink et. al. 1998.)

Более общая форма этого феномена стала известна как эффект наложения (contamination effect), поскольку оказалось, что почти любая информация может повлиять на интеллектуальное суждение. (Chapman and Johnson 2002.) Предпринимались попытки ослабить эффект наложения путём выплаты испытуемым вознаграждения за правильные ответы (Tversky and Kahneman 1974), инструктирования испытуемых о необходимости избежать якорения изначальным показателем (Quattrone et. al. 1981) или же обращения испытуемых к проблемам реального мира (Wansink et. al. 1998). Эти действия не уменьшили, или уменьшили только в незначительной степени, интенсивность эффектов якорения и наложения. Более того, субъекты, спрошенные о том, были ли они подвергнуты действию эффекта наложения, обычно не верили, что он на них повлиял, хотя эксперименты показывали обратное. (Wilson et. al. 1996.)

Действия, существенно увеличивающие эффект наложения – это действия, помещающие субъектов в интеллектуально трудные условия, такие как непрерывное прослушивание последовательности слов в процессе работы (Gilbert et. al. 1988), или требование от субъектов быстрых ответов (Gilbert and Osborne 1989). Gilbert et. al. (1988) связывает это с тем, что дополнительная задача влияет на способность отстроиться (adjust away) от якоря; иначе говоря, в интеллектуально загруженных условиях происходит меньшая корректировка. Этот эффект уменьшения корректировки, а значит, увеличения недокорректировки, известен как якорение.

Суммируя: явно нерелевантная информация по-прежнему якорит суждения и накладывается на догадки. Когда люди начинают с информации, про которую заранее известно, что она нерелевантная, и затем производят подстройку, пока не достигают убедительно звучащего ответа, они обычно недооценивают. Люди недооценивают в гораздо большей степени в ситуациях интеллектуальной нагрузки и других воздействий, что делает проблему более серьёзной. Люди отрицают, что были заякоренны и неооценивали, даже когда эксперименты показывают противоположное. Эти эффекты не ослабляются, или ослабляются незначительно, при финансовом вознаграждении, явных инструкциях избежть наложения и в ситуациях из реальной жизни.

А теперь вспомните, сколько историй из лент новостей об Искусственном Интеллекте ссылаются на фильмы о «Терминаторе», как если бы они были документальными, и как много медийных историй о взаимодействии мозга и компьютера упоминают Борга из «Стар Трека». Если даже короткая демонстрация якоря оказывает существенное воздействие на испытуемых, насколько больший эффект мы можем ожидать от чтения целой книги или просмотра остросюжетного телевизионного шоу? Во времена предков не было фильмов – всё, что вы видели своими глазами, было правдой. Людям следует осознавать, в той мере, в какой осознанные мысли принимаются в рассчёт, что фантастика есть фантастика. Журналистские упоминания о Терминаторе обычно не рассматривают сценарий Камерона в качестве пророчества или установленной правды. Вместо этого репортёр как будто бы считает видения Камерона в качстве чего-то, уже однажды имевшего место в прошлом и вполне могущего случиться опять – фильм вспоминается (информационно доступен) как если бы был иллюстрирующим историческим случаем. Я называю эту смесь якорения и доступности для восприятия – логической ошибкой генерализации на основании художественного вымысла.