Russian
| English
"Куда идет мир? Каково будущее науки? Как "объять необъятное", получая образование - высшее, среднее, начальное? Как преодолеть "пропасть двух культур" - естественнонаучной и гуманитарной? Как создать и вырастить научную школу? Какова структура нашего познания? Как управлять риском? Можно ли с единой точки зрения взглянуть на проблемы математики и экономики, физики и психологии, компьютерных наук и географии, техники и философии?"

«СИСТЕМАТИЧЕСКИЕ ОШИБКИ В РАССУЖДЕНИЯХ, ПОТЕНЦИАЛЬНО ВЛИЯЮЩИЕ НА ОЦЕНКУ ГЛОБАЛЬНЫХ РИСКОВ» 
Элизер Юдковский

(Похожей концепцией является систематическая ошибка «хорошей истории», предложенная Bostrom (2001). Художественные свидетельства часто состоят из «хороших историй» в бостромском смысле. Отметьте, что не все хорошие истории представлены в литературе.)

Рассказчики историй соблюдают строгие правила повествовательности, не имеющие отношения к реальности. Драматическая логика – это не логика. Вдохновлённые писатели знают, что правда — не извинение: нельзя заставить поверить в невероятное событие из вашего произведения путём цитирования примеров из реальной жизни. Хорошая история раскрашена яркими деталями, расцвечена цветущими метафорами; расказчик историй должен быть конкретным, твёрдым и точным, как камень. Но в предвидении будущего каждая добавленная деталь является дополнительной нагрузкой! Правда – это тяжёлая работа, и не для расказчиков историй. Мы должны избегать не только одурачевания фантастикой, в виде нашей неспособности совершить ментальное усилие, чтобы разувериться в ней, — но так же того, чтобы фантастика наложилась на наше мышление и стала точкой отсчёта для наших суждений. И мы должны осознавать, что мы не всегда осознаём это наложение. Отнюдь не необыкновенны в дискуссиях о глобальных рисках категории, выборы, последствия и стратегии, пришедшие из фильмов, книг и телевизионных шоу. Бывают изысканные поражения, но это – откровенная сдача.

7. Рассуждения, обусловленные аффектом. (The affect heuristic.) 

Рассуждения, обусловленные аффектом, возникают, когда субъективные представления о хорошем и плохом выступают в качестве метода рассуждений и способны порождать быстрые, основанные на непосредственном восприятии, суждения, а также систематические ошибки.

В исследовании Slovic (2002) две группы испытуемых рассматривали такой сценарий: аэропорт должен решить, следует ли ему потратить деньги на новое оборудование, или на другие аспекты системы безопасности. Шкала ответов ранжирована от 0 (никакой поддержки) до 20 (очень сильная поддержка). Оказалось, что мероприятие, описанное как «Спасти 150 жизней» получило среднюю поддержку 10,4, в то время как мероприятие, описанное как «Спасти 98% от 150 жизней» имело среднюю поддержку в 13,6. Даже предложение «спасти 85% от 150 жизней» имело большую поддержку, чем «спасение 150 жизней». Гипотеза, лежащая в основе этого эксперимента, состояла в том, что «спасение 150 жизней» звучит довольно расплывчато и потому имеет небольшую ценность, в то время как спасение 98% чего-нибудь это очень хорошо, потому что это очень близко к верхней гранце процентной шкалы.

Finucane (2000) исследовал, объединяют ли люди свои оценки возможных преимуществ от некой технологии, такой как ядерная энергетика, со своими оценка возможных рисков, в едином хорошем или плохом ощущении по поводу этой технологии. Он тестировал эту гипотезу, предлагая испытуемым 4 разных сообщения, которые должны были увеличить или ослабить воспринимаемые риски и воспринимаемые преимущества. Не было никакой логической связи предоставленной информацией (о рисках) и независимой переменной (то есть о преимуществах). В каждом случае изменяемая информация оказывала противоположный эффект на эмоционально противоположную характеристику. Информация, которая увеличивала восприятие риска, ослабляла восприятие преимуществ.
Информация, которая ослабляла восприятие преимуществ, увеличивала восприятие рисков. Finucane обнаружил, что нехватка времени обычно усиливает отрицательную взаимосвязь между воспринимаемыми рисками и воспринимаемыми преимуществами, — предположительно, потому что эта нехватка усиливает преобладание эмоциональных моделей рассуждений над аналитическим анализом.

Ganzach (2001) обнаружил тот же эффект в царстве финансов: аналитики делают прогнозы рисков и доходов незнакомых активов на оснвании в целом эмоционального отношения. Акции, воспринимавшиеся как «хорошие», были определены как имеющие низкий риск и высокий доход; акции, воспринимавшиеся как «плохие», определялись как имеющие высокий доход и низкий риск. Таким образом, для незнакомых акций, воспринимаемый риск и воспринимаемый доход имели отрицательную корреляцию, в соотвествии с эмоциональной логикой. (Отметьте, что в этом эксперименте нехватка информации играет ту же роль, что занятость ума или нехватка времени в усилении эффекта эмоциональной логики.) Для знакомых акций, воспринимаемый риск и воспринимаемый доход имели позитивную корреляцию, как и предсказывается в норме экономической теорией. (Если акции безопасны, покупатель платит премию за их безопасность и они являются более дорогими, что уменьшает ожидаемый доход.)

Люди обычно имеют недостаточную информацию о будущих технологиях. Поэтому неудивительно, что их отношение эмоционально поляризовано. Когда я только начал думать об этих материях, я считал, что биотехнология имеет относительно меньше достоинств сравнительно с нанотехнологией, и я больше боялся сконструированных супервирусов, чем вредоносного применения нанотехнологий. Искусственый интеллект, от которого я ожидал наибольших выгод, нисколько не беспокоил меня. Позже, когда я исследовал проблему гораздо более детально, моя оценка относительных преимуществ осталась относительно такой же, но мои тревоги стали противоположными: более мощные технологии, с большими ожидаемыми выгодами, теперь выглядят имеющими соотвественно большие риски. С ретроспективной точки зрения это вполне предсказуемо. Но анализ, основанный на недостаточной информации, склонен оценивать технологии эмоционально, в результате чего информация о преимуществах имеет тенденцию смягчать воспринимаемый риск.

8. Пренебрежение масштабом (Scope neglect). 

(2,000 / 20,000 / 200,000) перелётных птиц тонут каждый год в незакрытых нефтехранилищах, которые птицы по ошибке принимают за пруды с водой. Эти смерти могут быть предотвращены путём накрывания хранилищ сетями. Сколько денег вы были бы готовы заплатить за установку таких сетей?

Три группы испытуемых, рассматривавших этот вопрос, были спрошены о том, какое увеличение налога они были бы готовы принять, чтобы спасти 2.000, 20.000 ил 200.000 птиц. Ответ, названный Установленная Готовность Платить (УГП) – был в среднем $80 за 2.000 птиц, $78 за 20.000 и $88 за 200.000 птиц. (Desvousges 1993.) Этот феномен известен как нечувствительность к масштабу или пренебрежение масштабом.

Подобные исследовании показали, что жители Торонто готовы заплатить только немногим больше, чтобы очистить все озёра Онтарио, чем чтобы очистить загрязённые озёра только части штата (Kahneman 1986); и что жители четырёх западных штатов в США готовы заплатить только на 28% больше, чтобы защитить все 57 уголков дикой природы в этих штатах, чем чтобы защитить только один такой уголок. (McFadden и Leonard, 1995).

Наиболее широко распространённое объяснение эффекта пренебрежения масштабом апеллирует к эмоциональной логике. Kahneman (1999) пишет:

«История о птицах из опытов Desvouges, вероятно, вызывает у многих читателей ментальное представление о неком событии, возможно, образ истощённой птицы с намоченными чёрной нефтью крыльями, неспособной спастись. Гипотеза об оценке по первоначальному образу утверждает, что эмоциональное влияние этого образа будет доминировать над отношением к проблеме, — включая готовность платить за решение. Оценка по первоначальному образу автоматически означает пренебрежение к остальным деталям ситуации».

Две другие гипотезы о пренебрежении масштабом включают в себя покупку морального удовлетворения (Kahneman и Knetsch, 1992) и пожертвование монетки ради доброго дела (Harrison, 1992). Гипотеза о моральном удовлетворении предполагает, что люди тратят достаточно денег, чтобы создать ощущение «внутренней теплоты» в себе, и требующийся на это объём денег зависит от человеческой психологии и не имеет ничего общего с птицами. Гипотеза о «монетке на благотворительность» предполагает, что люди готовы выделить определённую сумму «на экологию» и любой вопрос о проблемах окружающей среды просто проявляет это количество.

Пренебрежение масштабом было продемонстрировано и по отношению к человеческим жизням. Carson and Mitchell (1995) сообщают, что информации об увеличении риска, связанного с питьём хлорированной воды с 0.004 до 2.43 на 1000 смертей в год (то есть в 600 раз) увеличивает индекс готовности платить с $3.78 до $15.23 (то есть 4 раза). Baron and Greene (1996) обнаружили, что изменение числа спасённых жизней в 10 раз, не оказывает никакого эффекта на этот индекс.

Fetherstonhaugh (1997), в статье, озаглавленной «Нечувствительность к ценности человеческой жизни: исследование психологического восприятия чисел», обнаружил свидетельства того, что наше восприятие человеческих смертей и ощущение ценности человеческих жизней следует закону Вебера – это значит, что мы используем логарифмическую шкалу. И действительно, исследования эффекта пренебрежения масштабом, в которых количественные изменения были достаточно велики, чтобы вызвать хотя бы какую-то чувствительность, показали небольшие линейные изменения Готовности-платить соответствующие экспоненциальным изменениям масштаба. Kahneman (1999) интерпретирует это, как дополнительный эффект эмоциональной реакции на масштаб к реакции на первоначальный образ – первоначальный образ вызывает большую часть эмоции, а масштаб вызывает меньшую часть эмоции, которая добавляется (но не умножается) к первоначальному количеству.

Albert Szent-Gyrgyi говорит: «На меня производят сильное впечатление страдания одного человека, и я готов рисковать своей жизнью ради него. Но я могу говорить совершенно отстранённо о заражении наших больших городов с сотнями миллионов погибших. Я не способен умножить страдания одного на сто миллионов.» Человеческие эмоции возникают внутри аналогового ума. Человеческий мозг неспособен выработать достаточно нейротрансмиттеров, чтобы почувствовать эмоцию в 1000 раз более сильную, чем горе на похоронах. Увеличение возможного риска с 10.000.000 смертей до 100.000.000 не увеличивает в десять раз нашу решимость не допустить этого. Это просто добавление ещё одного нолика на бумагу у нас перед глазами, что имеет столь не большой эффект, что обычно необходимо перейти на несколько порядков величины, чтобы заметить разницу экспериментально.

9. Калибровка и сверхуверенность. (Calibration and overconfidence). 

Насколько люди уверены в своих ошибочных оценках? В первой секции этой статьи, посвящённой эффекту доступности информации, мы обсудили эксперимент по восприятию риска, в котором испытуемые переоценивали типичные для сообщений средств массовой информации причины смерти в пропорции, коррелирующей с избирательными сообщениями в газетах. Slovic (1982) также отмечает:

Одним из пагубных аспектов моделей рассуждений является то, что люди обычно имеют очень большую уверенность в суждениях, основанных на них. В другом обзоре исследований по поводу причин смерти, людей просили сделать ставки на то, что они правы в своём выборе более частой среди двух причин смерти. (Fischoff, Slovic, и Lichtenstein, 1977). В эксперименте N1 испытуемые были довольно точны, когда делали ставки 1:1, 1.5:1, 2:1, и 3:1. То есть процент правильных ответов был близок к значению, даваемому этими ставками. Однако, по мере увеличения ставок от 3:1 к 100:1 почти никакого прироста точности не происходило. Только 73% ответов, на которые сделали ставки 100:1, были верны (вместо 99.1%). Точность возросла до 81% при ставках 1000:1 и до 87% при 10.000:1. Для ответов, на которые ставили 1.000.000:1, точность составляла 90%, то есть соответствующий уровень доверия должен был бы порождать ставки 9:1. В итоге, испытуемые часто ошибались даже при высочайших уровнях ставок. Более того, они были склонны делать очень высокие ставки. Более чем половина их ставок была более чем 50:1. Почти четверть – более, чем 100:1. 30% респондентов в эксперименте N1 сделали ставку 50:1 на неверное утверждение, что убийства более часты, чем самоубийства.

Этот кажущийся удивительным результат вполне обычен в литературе, посвящённой моделям рассуждений и систематическим ошибкам в мышлении, где он известен как сверхуверенность. Допустим, я попрошу вас сделать наилучшее возможное предположение насчёт неизвестного числа, такого, как количество «Врачей и хирургов» в жёлтых страницах бостонской телефонной книге, или о суммарной продукции яиц в США в миллионах штук. Вы дадите в ответ некую величину, которая наверняка не будет совершенно точной; подлинная величина будет больше или меньше, чем вы предположили. Затем я попрошу вас назвать нижнюю границу этого показателя, такую, что вы уверенны на 99%, что подлинная величина лежит выше этой границы, и верхнюю границу, по отношению к которой вы на 99% уверены, что искомая величина лежит ниже неё. Эти две границы образуют ваш интервал 98% уверенности (confidence interval). Если вы хорошо откалиброваны (well-calibrated) , то на 100 подобных вопросов у вас будет только примерно 2 выпадения за границы интервала.

Alpert и Raiffa (1982) задали испытуемым 1000 вопросов по общеизвестным темам, подобных приведённым выше. Оказалось, что 426 подлинных значений лежали за пределами 98% интервалов уверенности, данных испытуемыми. Если бы испытуемые были правильно настроены, было бы только 20 сюрпризов. Иными словами, события, которым испытуемые приписывали вероятность 2%, случались в 42.6%.

Другая группа из 35 испытуемых была попрошена оценить 99.9% верхние и нижние границы уверенности. Они оказались неправы в 40% случаев. Другие 35 субъектов были опрошены о максимальных и минимальных значениях некого параметра и ошиблись в 47% случаев. Наконец, четвёртая группа из 35 субъектов должна была указать «невероятно малое» и «невероятно большое» значение параметра; они ошиблись в 38% случаев.

Во втором эксперименте новой группе испытуемых был предоставлен первый набор вопросов вместе с ответами, рейтингом оценок, с рассказом о результатах экспериментов и разъяснением концепции калибровки – и затем их попросили дать 98% интервалы уверенности для новой группы вопросов. Прошедшие подготовку субъекты ошиблись в 19% случаях, что являет собой значительное улучшение их результата в 34% до подготовки, но всё ещё весьма далеко от хорошо откалиброванного результата в 2%.

Подобные уровни ошибок были обнаружены и у экспертов. Hynes и Vanmarke (1976) опросили семь всемирно известных геотехников на предмет высоты дамбы, которая вызовет разрушение фундамента из глинистых пород, и попросили оценить интервал 50% уверенности вокруг этой оценки. Оказалось, что ни один из предложенных интервалов не включал в себя правильную высоту. Christensen-Szalanski и Bushyhead (1981) опросили группу врачей на предмет вероятности пневмонии у 1531 пациента с кашлем. В наиболее точно указанном интервале уверенности с заявленной достоверностью в 88%, доля пациентов, действительно имевших пневмонию, была менее 20%.

Говоря словами Alpert и Raiffa (1982): «Ради Бога, расширяйте свои крайние оценки! Будьте честны с собой! Допустите, что вы не знаете!»

Lichtenstein (1982) производит обзор 14 исследований на основании 34 экспериментов выполненных 23 исследователями, изучавшими особенности оценки достоверности собственных выводов людьми. Из них следовал мощнейший вывод о том, что люди всегда сверхуверены. В современных исследованиях на сверхуверенность уже не обращают внимания; но она продолжает попутно проявляться в почти каждом эксперименте, где субъектам позволяется давать оценки максимальных вероятностей.

Сверхуверенность в большой мере проявляется в сфере планирования, где она известна как ошибочность планирования. Buehler (1994) попросил студентов-психологов предсказать важный параметр – время сдачи их дипломных работ. Исследователи подождали, когда студенты приблизились к концу своих годичных проектов и затем попросили их реалистично оценить, когда они сдадут свои работы, а также, когда они сдадут свои работы, если всё пойдёт «так плохо, как только может». В среднем, студентам потребовалось 55 дней, чтобы завершить свои дипломы, на 22 дня больше, чем они ожидали, и на 7 дней больше, чем они ожидали в худшем случае.

Buehler (1995) опросил студентов о времени, к которому студенты на 50% уверены, на 75% уверены и на 99% уверены, что они закончат свои академические проекты. Только 13% участников закончили свои дипломы к моменту, которому приписывали 50% вероятность, только 19% закончили к моменту 75% оценки и 45% закончили к 99% уровню. Buehler et. al. (2002) пишет «результаты выхода на уровень 99% достоверности особенно впечатляющи. Даже когда их попросили сделать наиболее консервативное предсказание, в отношении которого они чувствовали абсолютную уверенность, что его достигнут, всё равно уверенность студентов в их временных оценках намного превосходила их реальные результаты».

Newby-Clark et. al. (2000) обнаружили, что опросы испытуемых об их предсказаниях, основанных на реалистичной «наилучшей догадке», и опросы испытуемых о их надеждах в самом лучшем случае давали неразличимые результаты. Будучи спрошены о наиболее вероятном стечении обстоятельств, люди имели тенденцию предполагать, что всё пойдёт так, как планировалось, без неожиданных задержек и непредвиденных катастроф: то есть так же, как в наилучшем случае. Реальность, как оказалось, зачастую преподносит результаты, худшие, чем самый наихудший случай.

В этой статье мы обсуждаем сверхуверенность после обсуждения систематической ошибки подтверждения и частного случая – систематической ошибки неподтверждения. Знание об эффекте калибровке – это опасное знание – поскольку очень соблазнительно применять его избирательно. «Насколько глуп мой оппонент, чтобы быть уверенным в своих аргументах. Знает ли он, как часто люди ошибаются в том, в чём они уверены?» Если вы обнаруживаете, что мнения эксперта имеют гораздо меньше значения, чем вы раньше думали, вам стоит также понять, что ваши собственные мысли тоже гораздо слабее, чем вы думали раньше: и тогда потребуется меньше усилий, чтобы увлечь вас в сторону от ваших любимых верований. В противном случае вы станете медленнее реагировать на новые свидетельства. Вы оказываетесь в гораздо более худшем положении, чем если бы вы никогда не слышали о калибровке. По этой причине – часто несмотря на значительное искушение – я избегаю обсуждения исследований по калибровке, до того как я обсужу систематическую ошибку подтверждения, с тем, что я могу сделать такое же предупреждение.

Отметьте так же, что оценка эксперта, сильно уверенного в своём мнении, принципиально отличается от вычислений, сделанных исключительно на основе статистических данных, или исключительно на основе от адекватной, точно подтверждённой модели. Во всех случаях, когда эксперт утверждает, даже на
основании точных вычислений, что событие имеет вероятность 10-6, , он наверняка ошибается чаще, чем один раз на миллион. Но если бы комбинаторика не могла точно предсказать, что лотерейный билет имеет 10-8 шанс выиграть, то продавцы билетов бы разорились.

10. Апатия прохожего. (Bystander apathy). 

Последняя рассматриваемая мной систематическая ошибка относится не к области моделей рассуждений, но к области социальной психологии. В ныне знаменитой серии экспериментов Latane и Darley (1969) открыли эффект прохожего, известный также как апатия прохожего, который состоит в том, что в больших группах люди менее склонны реагировать на чрезвычайные ситуации – не только индивидуально, но и коллективно. 75% испытуемых, будучи одни в комнате и заметив дым из-под двери, выходят, чтобы сообщить об этом. Когда в комнате находятся трое, не знающих об условиях опыта испытуемых, о дыме сообщают только в 38% случаев. Испытуемый, находясь в компании двух подсадных уток, нарочно не реагирующих на дым, выходит, чтобы сообщить о дыме только в 10% случаев. Студент колледжа, изображавший эпилептический припадок, получил помощь от единственного свидетеля в 85% случаев и только в 31% случаев в присутствии пятерых свидетелей.

Эффект прохожего обычно объясняется как происходящий из рассеяния ответственности (diffusion of responsibility) и игнорирования из-за неопределённости ситуации (pluralistic ignorance). Нахождение в группе уменьшает индивидуальную ответственность. Каждый надеется, что кто-то другой разберётся с проблемой вместо них, и это ослабляет личную напряжённость каждого по поводу того, что никто ничего не делает. Подтверждением этой гипотезы являются опыты, в которых испытуемые верили, что жертва особенно зависит от них: это ослабляло или полностью устраняло эффект равнодушия прохожего.

Cialdini (2001) рекомендует человеку, оказавшемуся в чрезвычайной ситуации, выделить одного одинокого прохожего и попросить его о помощи – таким образом преодолевая рассеяние ответственности.

Игнорирование из-за неопределённости ситуации является более тонким эффектом. Cialdini (2001) пишет:

«Часто чрезвычайная ситуация далеко не очевидна. Является ли человек, лежащий в парке, жертвой сердечного приступа или спящим пьяным? В случае такой неопределённости естественным поведением является посмотреть вокруг на действия других людей для подсказки. Мы можем понять из поведения других свидетелей, является ли событие чрезвычайной ситуацией или нет. Однако легко забыть при этом, что все остальные свидетели события тоже ищут социального подтверждения. Поскольку все мы предпочитаем выглядеть уравновешенными и сохраняющими самообладание, мы будем искать это подтверждение скрытно, бросая короткие взгляды на людей вокруг нас. Поэтому каждый увидит каждого скорее всего спокойным и ничего не делающим».

Эффект прохожего не связан с индивидуальным эгоизмом или нечувствительностью к страданиям других. По одиночке испытуемые обычно действуют. Игнорирование из-за неопределённости ситуации может объяснить, в отличие от индивидуального эгоизма, почему субъекты не реагируют на наполнение комнаты дымом. В экспериментах, где была явная опасность как для других, так и для себя, испытуемые часто бросали взгляды на нереагировавших подсадных уток.

Я время от времени спрашиваю: «если «глобальный риск Х» реален, почему не много людей делают что-нибудь в связи с этим?» Есть много возможных ответов, части которых я коснулся здесь. Люди могут быть сверхуверены и сверхоптимистичны. Они могут быть сосредоточены на каких-то одних сценариях будущего, исключая при этом все остальные. Они могут не помнить ни одного случая всеобщего истребления. Они могут переоценивать предсказуемость прошлого, и за счёт этого недооценивать сюрпризы будущего. Они могут не осознавать трудности подготовки к чрезвычайным ситуациям без преимуществ знания задним числом. Они могут предпочитать филантропические игры с высокой вероятностью выигрыша, пренебрегая величиной ставки. Они могут уравнивать позитивную информацию о преимуществах некой технологии с негативной информацией о её риске. Они могут быть отравлены кинофильмами, в которых мир, в конце концов, бывает спасён. Они могут получить моральное удовлетворение гораздо проще, давая деньги на другие виды благотворительности. Или же чрезвычайно неприятная перспектива человеческого вымирания может побудить их искать доводы в пользу того, что человечество не вымрет, без столь же интенсивного поиска причин, по которым это может произойти.

Но если вопрос таков: «Почему не так много людей делают что-нибудь в связи с этим?», один возможный момент может быть в том, что люди, задающие этот самый вопрос, рыщут глазами вокруг, чтобы посмотреть, есть ли ещё кто-нибудь, реагирующий на опасность, и одновременно стараются выглядеть уравновешенными и сохраняющими самообладание. Если вы хотите узнать, почему другие не реагируют на опасность, перед тем, как среагировать самому, вы уже возможно ответили на свой вопрос.

Последнее предупреждение. 

Любая достоверная идея, которая вас раздражает, по-видимому, задевает в вас модель хотя бы одной психологической ошибки.

Robert Pirsig сказал: «Самый глупый человек в мире может сказать, что солнце светит, и это не заставит его погаснуть». Если вы подозреваете кого-то в психологической ошибке, продемонстрируйте свою компетентность вначале, вскрыв его фактические ошибки. И если фактических ошибок нет, какое значение имеет психология? Соблазн психологии в том, что, немного зная её, мы можем вмешиваться в споры, в которых мы не являемся техническими экспертами, мудро анализируя психологию дискутирующих.

Если кто-то написал роман об астероиде, уничтожающем современную цивилизацию, то можно критиковать этот роман как экстремистский, антиутопичный, апокалипсический; симптоматичный для наивной неспособности автора взаимодействовать со сложным технологическим обществом. Мы должны распознать здесь литературную критику, а не научную; это о хороших или плохих романах, не о хороших или плохих гипотезах. Для того, чтобы вычислить годовую вероятность астероидного удара в реальности, нужно изучать астрономию и поднять исторические записи: никакая литературная критика никак не влияет на это число. Garreau (2005), по-видимому, утверждает, что сценарий постепенного усиления искусственного ума является более зрелым и обдуманным (sophisticated), чем сценарий очень быстрого развития искусственного интеллекта. Но это вопрос техники, а не предпочтений; никакой объём психологического анализа не даст точное значение наклона кривой.

Обвиняя кого-нибудь в ошибке наложения, необходимо привести список специфических деталей, которые, с вашей точки зрения, являются лишней нагрузкой и уменьшают суммарную достоверность.
Даже в этом случае, не теряйте связь с фактами первостепенной важности, не позволяйте спору стать спором о психологии.

Несмотря на все опасности и соблазны, лучше знать о психологических систематических ошибках, чем не знать их. В противном случае мы попадём прямо во вращающиеся вертолётные лопасти жизни. Но будьте очень осторожны, не проявляйте слишком много рвения в обвинении других в систематических ошибках мышления. Таким путём вы станете профессиональным спорщиком – тем, кто, встретив любой не нравящийся ему аргумент, находит в нём систематическую ошибку. Тот, за кем вы должны следить в наибольшей мере – это вы сами.

Jerry Cleaver сказал: «То, что вас побеждает – это не ошибка в применении высокоуровневой, сложной, навороченной техники. Это – упускание из виду чего-то основного. Не следить за мячом, например».

Анализ должен быть сконцентрирован на проверяемых утверждениях о реальном мире. Не отрывайте своих глаз от мяча.

Заключение. 

Почему должен быть единый подход в мышлении о глобальных рисках? Падающие астероиды не похожи на сконструированных супервирусов; физические катастрофы – на нанотехнологические войны. Почему бы не рассмотреть каждую из этих проблем по отдельности?

Если кто-то предполагает физическую катастрофу, тогда комитет, собранный для анализа этой проблемы, должен, очевидно, включать в себя физиков. Но кто-то в этом комитете должен знать, как ужасающе опасно иметь в своей голове ответ до того, как ты кончил задавать вопрос. Кто-то в этом комитете должен помнить ответ Энрико Ферми на предположение Лео Сциларда о том, что цепная реакция деления может быть использована для производства ядерного оружия. (Ответ был: «Бред!» — Ферми считал эту перспективу столь отдалённой, что она не стоила исследований.) Необходимо помнить историю ошибок в физических расчетах: ядерное испытание в Кастель Браво вызвало взрыв в 15 мегатонн, вместо 4-8, по причине не учтённой реакции на литии-7. Они правильно решили неверное уравнение, забыв подумать обо всех условиях, которые должны быть включены, и в результате по крайней мере один человек погиб в расширившемся радиусе выпадения радиоактивных осадков. Также следует помнить аккуратное доказательство Лорда Кельвина с использованием множества независимых вычислений на основании хорошо установленных теорий, о том, что Земля существует не более, чем 40 миллионов лет. Следует знать, что когда эксперт заявляет, что вероятность составляет «один к миллиону» без использования статистических данных и точных расчетов на основании совершенной модели, реальное соотношение, скорее всего, около двадцати к одному (хотя это и не точное соответствие).

Любой глобальный риск порождает проблемы, общие со всеми остальными глобальными рисками, дополнительно к специальным знаниям, связанным с этим конкретным риском. Кто-то в комитете по проблемам физических катастроф должен знать, что термин «глобальный риск» означает; должен обладать всеми навыками, которые область знания, связанная с глобальными рисками, располагает. Для максимальной безопасности этот учёный должен быть также психологом. Высокий уровень знаний в конкретной области и относительно области глобальных рисков должен быть объединён в одном человеке. Я не верю, что специалист по моделям мышления и заблуждениям, неспособный прочесть физическое уравнение, способен проверить работу физика, который ничего не знает о психологии заблуждений.

Когда-то, давным-давно, я написал несколько сверхдетальных сценариев, не осознавая, что каждая добавленная деталь является дополнительной нагрузкой. Когда-то, давным-давно, я действительно думал, что я могу сказать, что имеется 90 процентная вероятность появления искусственного интеллекта между 2005 и 2025, с пиком в 2018 году. Это заявление кажется мне теперь полностью абсурдным. С какой стати я мог думать, что я могу определить точное вероятностное распределение для проблемы вроде этой?

Профессиональные исследователи, скажем, молекулярной нанотехнологии или искусственного интеллекта, не обладают автоматически дополнительными навыками, необходимыми для анализа глобальных рисков, связанных с их профессией.
Никто не сказал мне, когда я начал исследовать вызовы, связанные с искусственным интеллектом, что для такого человека, как я, необходимо заниматься изучением систематических ошибок мышления. Я не помню, как я впервые заинтересовался проблематикой систематических ошибок мышления, но я помню, что это было описание ситуации сверхувернности – обычное описание, в Интернете, без ссылок. Меня это настолько удивило, что я списался с автором, чтобы узнать, был ли это действительно реальный экспериментальный результат. (Он направил меня к изданию «Суждения в условиях неопределённости».)

Я не должен был наткнуться на эту ссылку случайно. Кто-то должен был предупредить меня, как я предупреждаю вас, что это знание необходимо для изучающего глобальные риски. Должен быть круг людей, как мы, а также список навыков, необходимых нам дополнительно к узкопрофессиональным. Я не физик, но я знаю немного – возможно, недостаточно – об истории ошибок в физике, и биолог, думающий о супервирусе, тоже должен это знать.

Однажды я встретил адвоката, который вывел свою собственную физику. Я сказал ему, вы не можете изобрести свою собственную физику без знания математики и многих лет обучения; физика трудна. Он ответил: но если вы действительно понимаете физику, вы можете объяснить её своей бабушке, как сказал Ричард Фейман. И я спросил его: «Вы бы посоветовали своему другу защищать самого себя в суде?» И тут он замолчал. Он знал теоретически, что физику сложна, но он никогда не отдавал отчёта себе, что физика так же сложна, как юриспруденция.

Одна из ошибок мышления, которую мы не обсудили, состоит в незнании того, чего именно мы не знаем. Когда наниматель в отделе кадров некой компании оттачивает своё мастерство, он вспоминает качества кандидатов, которых он нанял, многие их которых оказались в последствии превосходными. Таким образом, рекрутёр имеет высокую оценку своих способностей. Но рекрутрёр никогда не видит работу тех кандидатов, которых он не нанял. Поэтому я должен предупредить, что эта статья затрагивает только малую часть моделей рассуждения и систематических ошибок. И когда вы захотите узнать, насколько много вы знаете, вы вспомните несколько предубеждений, упоминаемых в этой статье, а не множество тех, которые не упомянуты. Короткий обзор не может создать ощущения целостной области знаний, — объёмного понимания, которое сплетает серию памятных экспериментов посредством единой интерпретации. Множество очень уместных систематических ошибок, таких как потребность в завершении (need for closure), я даже не упомянул. Целью этой статьи было не обучить знанию, необходимому изучающему глобальные риски, но заинтриговать вас узнать больше. Мышление о глобальных рисках подвержено всем тем же видам ошибочности, что и мышление вообще. Но ставки гораздо, гораздо больше. Типичный результат в исследованиях систематических ошибок состоит в том, что предложение денег или другой стимул не устраняет систематическую ошибку (Kachelmeier and Shehata (1992) предлагали жителям КНР эквивалент трёхмесячной зарплаты.) Испытуемые в этих экспериментах не совершали ошибки нарочно – они делали ошибки потому, что не знали, как сделать лучше. Даже если вы скажете им, что выживание человечества является ставкой, они в силу этого всё равно будут неспособны сделать лучше. (Это может усилить их потребность в завершённости дискуссии, заставляя их давать худшие результаты.) Это ужасающе пугающее обстоятельство, но люди не становятся умнее, только потому речь идёт о выживании человечества.

В дополнение к стандартным систематическим ошибкам, я лично проанализировал то, что выглядит как вредоносные модели мышления в вопросах глобальных рисков. Грипп испанка в 1918 году убил 25-50 миллионов человек. Вторая мировая война убила 60 миллионов. 107 – таков порядок крупнейших катастроф в человеческой письменной истории. Значительно бОльшие числа, такие как 500 миллионов смертей, и особенно качественно другие сценарии, по-видимому, запускают другой режим мышления – оно переходят в другой регистр. Люди, которые и подумать не могут о том, чтобы навредить ребёнку, говорят по поводу рисков глобальных катастроф: «Возможно, человеческий вид вовсе не заслуживает выживания».

В науке о заблуждениях есть поговорка, что люди обдумывают не сами события, а описания событий – что называется «непродолженным» мышлением (non-extensional reasoning). Продолжение мысли о гибели человечества включает в себя вашу смерть, ваших друзей, вашей семьи, ваших любимых, вашего города, вашей страны, ваших политических единомышленников.
И даже люди, которые бы яростно протестовали предложениям вроде стереть Британию с лица земли, убить всех членов Демократической партии в США, превратить Париж в песок, — которые бы очень боялись услышать, что доктор скажет им, что у их ребёнка рак, — эти люди будут обсуждать истребление человечества с абсолютным спокойствием. «Истребление человечества», как слова на бумаге, появляющиеся в фантастических романах или философских книгах, — относятся к другому контексту, чем грипп Испанка. Мы мыслим описаниями событий, а не их последствиями. Клише «конец света» вызывает в памяти пласт, связанный с мифами и снами, пророчествами и апокалипсисом, романами и кино. Вызов глобальных рисков для здравого смысла состоит в том, что это катастрофы столь большого масштаба, что люди переключаются в другой режим мышления. Человеческие смерти внезапно уже не плохи, и детальные предсказания вдруг перестают требовать необходимой компетентности, и счастливый или грустный конец истории – это только вопрос личного вкуса по отношению к историям.

Но это только моё частное наблюдение. Я бы предпочёл, чтобы эта статья фокусировалась на ошибках, подробно описанных в литературе – в общей литературе по когнитивной психологии, поскольку пока что нет экспериментальной(литературы, посвящённой психологии глобальных рисков. А она должна быть.

В математическом представлении Байесовой теории решений имеется концепция ценности информации (information value) – ожидаемой полезности некого знания. Ценность информации происходит из ценности того, о чём эта информация. Если вы удваиваете ставки, вы удваиваете и ценность информации об этих ставках. Ценность рационального мышления определяется подобным образом – ценность вычислений, охватывающих некие данные, определяется на основе самих данных. (Good 1952; Horvitz et. al. 1989.)

Я способен по-настоящему оценить ценность ясного мышления о глобальных рисках не более, чем Albert Szent-Gyrgyi способен умножить страдания одного человека на сто миллионов. Пренебрежение масштабом – естественная опасность для биологического человека, работающего на аналоговом уме; мозг не способен умножать на 6 миллиардов. Но ставки глобальных рисков простираются далеко за пределы 6 миллиардов людей, живущих сейчас – они простираются ко всем звёздам и ко всем галактикам, которые люди и их потомки могут однажды достичь. И весь этот огромный потенциал вращается вокруг нашего выживания здесь, сейчас, в те дни, когда царство человечества – это одна планета, вращающаяся вокруг одной звезды. Я не могу почувствовать наше будущее. Всё, что я могу – это защищать его.

Рекомендуемое чтение:

  • «Суждение в условиях неопределённости: эвристика и систематические ошибки». Judgment under uncertainty: Heuristics and biases. (1982.) Edited by Daniel Kahneman, Paul Slovic, and Amos Tversky. Этот сборник помогает разобраться в основных понятиях данной области знаний и рассчитан на внешнего к данной теме академического читателя. Следующее издание даёт обобщённое, подробно разработанное и детальное объяснение феноменов, рассмотренных в первом издании, но основные результаты остаются неизменными.
  • «Выборы, ценности и рамки». Choices, Values, and Frames. (2000.) Edited by Daniel Kahneman and Amos Tversky. «Эвристика и систематические модели мышления». Heuristics and Biases. (2003.) Edited by Thomas Gilovich, Dale Griffin, and Daniel Kahneman. Эти два сборника статей дают обзор современного состояния науки об эвристики и систематических ошибках. Они в меньшей мере доступны для неподготовленного читателя.
  • «Рациональный выбор в неопределённом мире: психология интуитивного суждения». Rational Choice in an Uncertain World: The Psychology of Intuitive Judgment by Robyn Dawes. First edition 1988 by Dawes and Kagan, second edition 2001 by Dawes and Hastie. Эта книга предназначена, чтобы ввести в тему систематических ошибок мышления широкую аудиторию образованных читателей. (Например, теорема Байеса объясняется, хотя и не доказывается, но объяснение занимает только несколько страниц.) Хорошая книга, чтобы быстро охватить поле исследований.