Ник Бостром — Ph.D., is Director of Oxford University’s new Future of Humanity Institute

По причине ускорения технологического прогресса, человечество, возможно, быстро приближается к критической точке в своём развитии. В дополнение к хорошо известным угрозам, вроде ядерного холокоста, перспективы быстро развивающихся технологий, таких как наносистемы и машинный интеллект, преподносят нам беспрецедентные возможности и риски. Наше будущее, и то, будет ли у нас вообще будущее, зависит от того, как мы справимся с этими вызовами

По причине ускорения технологического прогресса, человечество, возможно, быстро приближается к критической точке в своём развитии. В дополнение к хорошо известным угрозам, вроде ядерного холокоста, перспективы быстро развивающихся технологий, таких как наносистемы и машинный интеллект, преподносят нам беспрецедентные возможности и риски. Наше будущее, и то, будет ли у нас вообще будущее, зависит от того, как мы справимся с этими вызовами. В связи с быстро развивающимися технологиями, нам нужно лучшее понимание динамики перехода от человеческого к «пост-человеческому» обществу. Особенно важно знать, где расположены ловушки: пути, на которых всё может пойти смертельно неправильно. Хотя мы имеем большой опыт подверженности различным личным, местным или переносимым (endurable) всемирным опасностям, эта статья анализирует недавно появившуюся категорию: рисков существованию (existential risks). Это – риски, которые могут привести к нашему вымиранию или повредить потенциал развившейся на Земле разумной жизни. Некоторые из этих опасностей относительно известны, тогда как другие совершенно не замечаются. Риски существованию имеют ряд черт, которые делают обычное управление рисками неэффективным. Последняя глава этой статьи обсуждает некоторые этические и политические приложения. Более ясное понимание картины угроз позволит нам сформулировать лучшие стратегии.

1. Ведение

Жить опасно, и риски находятся везде. К счастью, не все риски одинаково серьёзны. Для наших целей мы можем использовать три измерения для описания величины рисков: масштаб, интенсивность и вероятность. Под «масштабом» я имею в виду размер группы людей, подверженных риску. Под «интенсивностью» я имею в виду то, насколько большой вред будет причинён каждому индивидууму из группы. И под «вероятностью» я имею в виду наилучшую текущую субъективную оценку вероятности негативного исхода. (прим. 1)

1.1 Типология рисков

Мы можем различить 6 качественно различных групп рисков в зависимости от их масштаба и интенсивности (таб.1). Третье измерение, вероятность, может быть наложено на два измерения, вычерченных на таблице. При прочих равных, риск является более серьёзным, если он имеет значительную вероятность и если наши действия могут увеличить её или уменьшить.

Таблица 1. Шесть категорий риска

«Личный», «местный» или «глобальный» относится к размеру популяции, которая непосредственно подвергается воздействию; глобальный риск воздействует на всё человечество (и на наших потомков). «Переносимый» в сравнении с «окончательный» (terminal) означает то, насколько сильно пострадает подверженная риску популяция. Переносимый риск тоже может привести к большим разрушениям, но остаётся возможность восстановиться от повреждений или найти пути преодолеть негативные последствия. В противоположность тому, окончательный риск – это тот риск, когда подверженные ему объекты или гибнут, или необратимо повреждаются таким образом, что радикально уменьшают свой потенциал жить той жизнью, которой они стремятся жить. В случае личных рисков окончательный исход может быть, например, смерть, необратимое серьёзное повреждение мозга, или пожизненное тюремное заключение. Примером локального окончательного риска может быть геноцид, приводящий к уничтожению всех людей (что случилось с несколькими индийскими народностями). Другой пример – обращение в постоянное рабство.

1.2 Риски существованию

В этой статье мы обсудим риски шестой категории, которая отмечена в таблице как Х. Это категория глобальных окончательных рисков. Я буду называть их рисками существованию.

Риски существованию отличаются от глобальных переносимых рисков. Примерами последних являются: угрозы биоразнообразию земной экосферы, умеренное глобальное потепление (и даже большое), и, возможно, удушающие культурные и религиозные эры, такие как «тёмные века», даже если они охватывают всё общество, если они рано или поздно закончатся (хотя см. главу о «Визге» ниже). Сказать, что некий глобальный риск является переносимым, очевидно не означает сказать, что он является приемлемым или не очень серьёзным. Мировая война с применением обычных вооружений или десятилетие рейха в нацистском духе будут чрезвычайно жуткими событиями, несмотря на то, что они попадают в категорию переносимых глобальных рисков, поскольку человечество может, в конце концов, восстановиться. (С другой стороны, эти события будут местным окончательным риском для многих индивидуумов и для преследуемых этнических групп.)

Я буду использовать следующее определение риска существованию:

Риск существованию – это тот риск, в котором негативный результат или уничтожает возникшую на Земле разумную жизнь, или необратимо и значительно сокращает её потенциал.

Риск существованию – это тот риск, в котором человечество как целое находится под угрозой. Такие катастрофы имеют огромные негативные последствия для всего будущего пути земной цивилизации.

2 Уникальность проблемы рисков существованию

Риски этой шестой категории появились недавно. Это она из причин, по которой полезно отделить их от других рисков. Мы не развили механизмов, ни природных, ни культурных, чтобы справляться с такими рисками. Наши учреждения и защитные стратегии сформировались под влиянием столкновения с такими рисками как опасные животные, враждебные люди или племена, отравленная еда, автомобильные аварии, Чернобыль, Бхопал, извержения вулканов, землетрясения, засухи, Первая мировая война, Вторая мировая война, эпидемии гриппа, оспы, чёрной чумы и СПИДа. Катастрофы этого типа случались многократно, и наше культурное отношение к риску сформировалось посредством метода проб и ошибок в управлении такими угрозами. Но будучи трагедией непосредственно для подверженных людей, с широкой точки зрения – с точки зрения всего человечества – даже самые страшные из этих катастроф были только рябью на поверхности великого моря жизни. Они не повлияли значительно на полное число счастливых и страдающих людей и не определили долгосрочную судьбу нашего вида.

За исключением истребляющих целые виды комет и столкновений с астероидами (случающихся исключительно редко), вероятно, не было значительных рисков существованию до середины 20 века, и определённо ни с одним из них мы не могли ничего сделать.

Первым созданным человеком риском существованию была первая детонация атомной бомбы. В то время было некоторое беспокойство на тему того, что взрыв запустит убегающую цепную реакцию посредством «поджигания» атмосферы. Хотя мы теперь знаем, что такой итог был физически невозможен, в то время это соответствовало определению риска существованию. Чтобы нечто было риском, исходя из доступных знания и понимания, достаточно, чтобы была субъективная вероятность неблагоприятного исхода, даже если потом выясняется, что объективно не было ни одного шанса, что что-нибудь плохое случится. Если мы не знаем, является ли нечто объективно рискованным или нет, это является рискованным в субъективном смысле. Этот субъективный смысл является, конечно, тем, на чём мы должны основывать наши решения. [прим. 2] В любой момент мы должны использовать нашу лучшую субъективную оценку того, каковы объективные факторы риска. [прим. 3]

Гораздо больший риск существованию возник вместе с арсеналами ядерного оружия в СССР и США. Полноценная ядерная война была возможностью со значительной вероятностью и с последствиями, которые могли быть настолько устойчивыми, чтобы характеризоваться как глобальные и окончательные. Среди тех, кто был лучше всего знаком с информацией, доступной в то время, было реальное беспокойство, что ядерный Армагеддон может случиться и что он может истребить наш вид или навсегда разрушить человеческую цивилизацию. [прим. 4] Россия и США продолжают обладать огромные ядерными арсеналами, которые могут быть использованы в будущей конфронтации, случайно или нарочно. Есть также риск, что другие страны могут однажды построить большие арсеналы. Отметьте, однако, что небольшой обмен ядерными ударами, например, между Индией и Пакистаном, не является риском существованию, так как он не уничтожит человечество и не повредит необратимо человеческий потенциал. Такая война, однако, будет местным окончательным рискам для тех городов, на которые удары, скорее всего, будут нацелены. К сожалению, мы увидим, что ядерный Армагеддон и кометный или астероидный удар – это только прелюдия к рискам существованию в 21 веке.

Особая природа задач, ставимых рисками существованию, может быть проиллюстрирована следующими замечаниями:

• Наш подход к рискам существованию не может быть основан на методе проб и ошибок. Здесь нет возможности учиться на ошибках. Реактивный подход – смотреть, что случилось, ограничить ущерб и учиться на этом опыте – не работоспособен. Скорее, мы должны использовать предупреждающий подход. Это требует предвидения для обнаружения новых типов рисков и готовности принимать решительные превентивные меры и оплачивать их моральную и экономическую цену.
• Мы не можем надёжно полагаться на наши учреждения, моральные нормы, социальные позиции или политику в области национальной безопасности, которые развились на основе нашего опыта управления другими типами рисков. Риски существованию – это другой зверь. Нам может быть трудно принимать их настолько серьёзно, насколько они того заслуживают, поскольку мы никогда не сталкивались с такими катастрофами. [прим. 5] Наша коллективная реакция страха, скорее всего, плохо откалибрована на масштаб угроз.
• Уменьшение рисков существованию является всеобщим публичным благом (global public goods) [13 – здесь и далее номера в квадратных скобках означают книги из библиографии в конце статьи, кроме случаев, когда написано, что это «прим.» - примечание] и по этой причине может быть недостаточно поставляемо (undersupplied) рынком. [14] Риски существованию являются угрозой для каждого и могут требовать реакций на международном уровне. Уважение к национальному суверенитету не является законным извинением для провала в принятии контрмер против важнейших рисков существованию.
• Если мы принимаем во внимание благополучие будущих поколений, то ущерб от риска существованию умножается на ещё один фактор, который зависит от того, учитываем ли мы и насколько будущую пользу. [15,16]

Удивительно, в виду неоспоримой важности темы, как мало систематической работы сделано в это области. Частично это объясняется тем, что наиболее серьёзные риски происходят (как мы покажем в дальнейшем) от ожидаемых будущих технологий, которые мы только недавно начали понимать. Другой частью объяснения может быть неизбежно междисциплинарная и спекулятивная природа предмета исследований. И отчасти, пренебрежение может быть отнесено к нежеланию думать всерьёз на депрессивные темы. Из этого не следует, что мы должны впасть в уныние, а следует только то, что нужно бросить трезвый взгляд на то, что может пойти неправильно, чтобы мы смогли создавать надёжные стратегии для улучшения наших шансов на выживание. Чтобы сделать это, мы должны знать, на чём фокусировать наши усилия.

3. Классификация рисков существованию

Мы будем использовать следующие 4 категории для классификации рисков существованию [прим. 6]:

• Взрывы (Bangs) – Возникшая на Земле разумная жизнь истребляется в результате относительно внезапной катастрофы, могущей произойти как в результате несчастного случая, так и намеренно.
• Сужения (Crunches) – способность человечества развиться в постчеловечество необратимо повреждена [прим. 7], хотя люди продолжают каким-то образом жить.
• Скрипы (Shrieks) – некая форма пост-человечества будет достигнута, но это будет только чрезвычайно узкая доля спектра возможного и желаемого.
• Всхлипы (Whimpers) – Постчеловеческая цивилизация возникает, но развивается в направлении, которое ведёт постепенно, но безвозвратно к полному исчезновению вещей, которые мы ценим, или к состоянию, где эти ценности реализуются только в малой степени от того, что могло бы быть достигнуто.

Вооружённые такой классификацией, мы можем начать анализировать наиболее вероятные сценарии в каждой категории. Определения также прояснятся по мере нашего продвижения.

4. Взрывы

Это – наиболее очевидная форма глобальных рисков. Эту концепцию понять легче всего. Далее описываются несколько наиболее возможных путей для мира закончиться взрывом. [прим. 8] Я попытался расположить их в порядке приблизительно соответствующем их вероятности, по моей оценке, стать причиной истребления возникшей на земле разумной жизни; но моё намерение в отношении упорядочивания было, скорее, создать базис для дальнейшей дискуссии, чем сделать некие однозначные утверждения.

4.1 Преднамеренное злоупотребление нанотехнологиями

В своей зрелой форме молекулярная нанотехнология позволит создавать самовоспроизводящихся роботов размеров с бактерий, которые смогут питаться нечистотами или другой органической материей [22-25]. Такие репликаторы могут съесть биосферу или разрушить её другими способами, такими как отравление её, сжигание её или блокирование солнечного света. Человек со злостными намерениями, обладающий этой нанотехнологией, может вызвать истребление разумной жизни на Земле, выпустив таких наноботов в окружающую среду. [прим. 9]

Технология для создания деструктивных наноботов кажется значительно более простой для создания, чем технология создания эффективной защиты от такой атаки (глобальной нанотехнологической иммунной системы, «активного щита» [23]) Поэтому скорее всего будет период уязвимости, в течение которого необходимо не допустить попадания этих технологий в неправильные руки. И ещё эти технологии могут оказаться трудными для регулирования, поскольку они не требуют редких радиоактивных изотопов или огромных, легко обнаруживаемых заводов, как это имеет место при производстве ядерного оружия. [23].

Даже если эффективная защита от ограниченной нанотехнологической атаки будет создана до того, как опасные репликаторы будут разработаны и приобретены суицидальными режимами или террористами, всё ещё остаётся опасность гонки вооружений между государствами, владеющими нанотехнологиями. Утверждается [26], что молекулярное производство приведёт и к большей нестабильности гонки вооружений, и к большей нестабильности в отношении кризисов, чем ядерные вооружения. Нестабильность гонки вооружений означает, что для каждой соревнующейся стороны будут доминировать стремления усилить свои вооружения, приводящее к стремительному раскручиванию гонки вооружений. Нестабильность в отношении кризисов означает, что для каждой стороны главным стремлением будет ударить первым. Два приблизительно одинаково сильных противника, приобретя нанотехнологию, начнут, с этой точки зрения, массовое строительство вооружений и программ развития оружия, которое продолжится до тех пор, пока не случится кризис и не начнётся война, потенциально способная вызвать всеобщее окончательное уничтожение. То, что эта гонка вооружений могла бы быть предсказана, не является гарантией того, что международная система безопасности будет создана достаточно заранее, чтобы предупредить эту катастрофу. Ядерная гонка вооружений между СССР и США была предсказана, но, тем не менее, случилась.

4.2 Ядерный холокост

США и Россия по-прежнему имеют огромные запасы ядерных вооружений. Но приведёт ли полноценная ядерная война к реальному истреблению человечества? Отметьте, что: (а) для того, чтобы это стало риском существованию, достаточно, чтобы мы не были уверены, что этого не случится. (б) Климатические эффекты широкомасштабной ядерной войны малоизвестны (есть вероятность ядерной зимы). (в) Будущие гонки вооружений между другими странами не могут быть исключены, и это может привести к возникновению ещё больших арсеналов, чем те, что были на вершине Холодной войны. Мировой запас плутония устойчиво возрастает и достиг величины в 2 000 тонн, что примерно в 10 раз больше, чем остаётся в боеголовках ([9], p. 26). Даже если некоторые люди переживут кратковременные эффекты ядерной войны, она может привести к коллапсу цивилизации. Человеческая раса, живущая в условиях каменного века, может быть – а может и не быть – более стойкой к вымиранию, чем другие виды животных.

4.3 Мы живём в симуляции, и она выключается. (We’re living in a simulation and it gets shut down)

Может быть доказано, что гипотезе, что мы живём в компьютерной симуляции, следует приписать значительную вероятность. [27]. Основная идея, лежащая в основе так называемого «Доказательства симуляции» (Simulation argument), состоит в том, что огромные количества вычислительной мощности могут быть доступны в будущем (см., например, [28,29]), и что они могут быть использованы, среди прочего, для запуска большого количества тонко структурированных симуляций прошлых человеческих цивилизаций. При нескольких не очень невероятных предположениях результат может быть тот, что большинство умов, подобных нашим, являются симулированными умами, и потому мы должны приписать значительную вероятность тому, что мы являемся такими симулированными умами, а не (субъективно неразличимыми) умами естественно развившихся существ. И если это так, мы подвергаемся риску того, что симуляция может быть выключена в любой момент. Решение прекратить нашу симуляцию может быть вызвано нашими действиями или внешними факторами.

Хотя кому-то может показаться легкомысленным ставить такую радикальную «философскую» гипотезу рядом с конкретной угрозой ядерного холокоста, мы должны основывать свои выводы на рассуждениях, а не на необученной интуиции. Пока не появится опровержение доводам, представленным в [27], было бы интеллектуально нечестно пренебрегать упоминанием «выключения симуляции» как возможной причиной истребления.

4.3 Плохо запрограммированный суперинтеллект

Когда мы создадим первое суперинтеллектуальное устройство [28-34], мы можем сделать ошибку и дать ему цели, которые направят его на уничтожение человечества, если учесть его колоссальное интеллектуальное преимущество, дающего ему силу сделать это. Например, мы можем ошибочно возвести под-цель в статус сверх-цели. Мы говорим ему решить некую математическую задачу, и оно подчиняется, превращая всё вещество в солнечной системе в огромное вычислительное устройство, попутно убивая человека, который задал этот вопрос. (Для дальнейшего анализа этой темы, см. [35].)

4.4 Генетически сконструированный биологический объект

В результате баснословного прогресса в генетических технологиях, который происходит сейчас, может оказаться возможным для тирана, террориста или сумасшедшего создать вирус конца света, организм, который будет совмещать длительный период латентности с высокой вирулентностью и смертельностью [36].

Опасные вирусы могут быть даже выращены не нарочно, как недавно продемонстрировали австралийские исследователи, которые создали модифицированный вирус мышиной оспы (mousepox) со 100% смертельностью, когда пытались сконструировать вирус-контрацептив для мышей, чтобы использовать его в контроле вредителей [37]. Хотя этот конкретный вирус не заражает людей, подозревается, что аналогичные изменения увеличат смертельность вируса человеческой оспы. То, что подчёркивает (underscores) будущую угрозу здесь – это то, что исследование было быстро опубликовано в открытой научной литературе [38]. Редко увидишь, чтобы информация, созданная в открытых биотехнологических программах, была закрыта (contained), независимо от того, насколько суровой потенциальной опасностью она обладает; и тоже относится к исследованиям в нанотехнологиях.

Генетическая медицина приведёт к созданию лучших лекарств и вакцин, но нет никаких гарантий, что оборона выдержит гонку с нападением. (Даже случайно созданный вирус мышиной оспы имел 50% смертельность на вакцинированных мышах.) В конце концов, страхи биологического оружия могут быть похоронены развитием наномедицины, но хотя нанотехнологии имеют колоссальный потенциал долговременный потенциал для медицины [39], они несут свои собственный опасности.

4.5 Случайное ошибочное применение нанотехнологий («серая слизь»). (Accidental misuse of nanotechnology (“gray goo”)

Возможность аварии никогда не может быть полностью исключена.
Однако есть много путей наверняка избежать, посредством ответственных инженерных методов, аварий, уничтожающих всех людей. Можно избежать применения самовоспроизводства; можно сделать наноботов зависимыми от питания каким-то редким химическим веществом, не существующим в природе; можно заключать их в герметичном окружении; можно спроектировать их так, что любая мутация почти наверняка заставит нанобот прекратить функционирование [40]. По этой причине случайное неправильное применение наноботов гораздо меньше тревожит, чем злонамеренное [23,25,41].

Однако различие между случайным и намеренным может стать расплывчатым. Хотя «в принципе» кажется возможным сделать глобальные нанотехнологические катастрофы очень маловероятными, конкретные обстоятельства могут не позволить этому идеальному уровню безопасности реализоваться. Сравните нанотехнологию с ядерной технологией. С инженерной точки зрения, разумеется, абсолютно возможно использовать ядерную технологию только в мирных целях, например, только в ядерных реакторах, которые имеют нулевую вероятность уничтожить всю планету. Но на практике может быть очень трудно избежать использования ядерных технологий также и для создания ядерного оружия, что ведёт к гонке вооружений. С большими ядерными арсеналами с высокой степенью готовности (hair-trigger alert) неизбежен высокий риск случайной войны. Тоже самое может случиться с нанотехнологиями: их могут заставить служить военным целям таким способом, который создаёт неизбежный риск серьёзных происшествий.

В некоторых ситуациях может быть даже стратегически выгодно нарочно сделать некую технологию или контрольную систему рискованной, например, чтобы создать «угрозу, в которой есть элемент случайности» (threat that leaves something to chance) [42].

4.6 Нечто непредвиденное. (Something unforeseen)

Нам нужна объединяющая всё (catch-all) категория. Было бы глупо быть уверенными, что мы уже придумали и спрогнозировали все значительные риски. Будущие технологические или научные открытия легко могут открыть новые способы уничтожить мир.

Некоторые предвидимые опасности (и, следовательно, не члены этой категории), которые были исключены из списка Взрывов по причине того, что они кажутся слишком маловероятными причинами глобальной окончательной катастрофы – это: солнечные вспышки, сверхновые, взрывы и слияния чёрных дыр, гамма-всплески, вспышки в центре галактики, супервулканы, утрата биоразнообразия, рост загрязнения воздуха, постепенная утрата человеческой способности размножаться (fertility), и множество религиозных сценариев конца света. Гипотезы о том, что мы однажды достигнем «просветления» и совершим коллективное самоубийство или прекратим размножаться, как надеются сторонники VHEMT (Движение за добровольное вымирание человечества -The Voluntary Human Extinction Movement) [43] – выглядят маловероятными. Если бы действительно лучше было бы не существовать (как Силен сказал царю Мидасу в греческом мифе, и как Артур Шопенгауэр доказывал в [44], хотя по причинам, свойственным конкретно его философской системе, он не агитировал за самоубийство), то тогда бы мы не считали этот сценарий за глобальную катастрофу. Предположение о том, что неплохо быть живым, надо рассматривать как подразумеваемое предположение в определении Взрывов. Ошибочное всеобщее самоубийство является риском существованию, хотя его вероятность кажется чрезвычайно малой. (Больше на тему этики человеческого вымирания см. главу 4 из [9].)

4.7 Катастрофы в результате физических экспериментов. (Physics disasters)

Тревоги конструкторов атомной бомбы из Манхетенского проекта о том, что взрыв приведёт к возгоранию атмосферы, имеют современные аналоги.

Были обсуждения того, что эксперименты на будущих высокоэнергетичных ускорителях частиц могут вызвать разрушение метастабильного состояния вакуума, в котором, возможно, находится наш космос, превращая его в «подлинный» вакуум с меньшей энергетической плотностью [45]. Это создаст расширяющийся пузырь всеобщего уничтожения, который распространится по всей галактике и за её пределы со скоростью света, раздирая всю материю на части по мере продвижения.

Другой идеей является то, что эксперименты на ускорителе могут создать отрицательно заряженные стабильные «странные частицы» (strangelets) (гипотетическая форма ядерной материи) или породить микроскопическую чёрную дыру, которая погрузится в центр Земли и начнёт поглощать всю остальную планету [46].

Эти результаты выглядят невозможными, исходя из наших лучших физических теорий. Но причина, по которой мы ставим эксперименты, в точности состоит в том, что мы не знаем, что на самом деле случится. Гораздо более убедительным доказательством является то, что плотности энергии, достигаемые на современных ускорителях, намного ниже тех, что встречаются в природе при столкновении космических лучей [46,47]. Возможна, однако, что для этих гипотетических процессов имеют значение другие факторы, помимо плотности энергии, и эти факторы будут собраны вместе в будущих новых экспериментах.

Основной причиной для беспокойства в связи с «физическими катастрофами» является наблюдение мета-уровня о том, что открытия всех видов жутких физических феноменов происходят всё время, так что даже если сейчас все физические катастрофы, о которых мы подумали, совершенно невероятны или невозможны, всё равно могут быть более реалистичные пути к провалу, ждущие открытия. Приведённые здесь – не более чем иллюстрации общего случая.

4.8 Естественно возникшее заболевание. (Naturally occurring disease) 

Что, если СПИД был бы столь же заразен, как простуда?

Есть несколько черт современного мира, которые могут сделать глобальную пандемию гораздо более вероятной, чем когда-либо раньше. Путешествия, торговля едой и жизнь в городах – всё это значительно возросло в современное время, делая проще новой болезни быстро заразить большую часть населения Земли.

4.9 Столкновение с астероидом или кометой. (Asteroid or comet impact)

Есть реальный, но очень маленький риск, что мы будем истреблены ударом астероида или кометы. [48].

Для того чтобы вызвать вымирание человечества, ударяющее тело, возможно, должно иметь размер более 1 км в диаметре (и, вероятно, 3-6 км.) Было, по крайней мере, 5 а, может быть, и более дюжины массовых вымираний на Земле, и, по крайней мере, некоторые из них были, вероятно, вызваны столкновениями ([9], стр. 81f.). В частности, K/T вымирание 65 миллионов лет назад, в ходе которого вымерли динозавры, связывалось с падением астероида от 10 до 15 км в диаметре на полуострове Юкатан. Считается, что тело, 1 км или более в диаметре сталкивается с Землёй в среднем раз в 0,5 миллиона лет [прим. 10]. Мы пока каталогизировали только малую часть потенциально опасных тел.

Если мы сможем заметить приближающееся тело вовремя, мы будем иметь неплохой шанс отклонить его, перехватив ракетой с ядерной бомбой [49].

4.10. Неудержимое глобальное потепление. (Runaway global warming) 

Есть сценарий, что высвобождение парниковых газов в атмосферу может оказаться процессом с сильной положительной обратной связью. Может быть, именно это случилось с Венерой, которая теперь имеет атмосферу из CO2 и температуру в 450 С. Надеюсь, однако, что у нас будут технологические средства для противодействия этой тенденции к тому моменту, когда это станет действительно опасно.

5. Сужения. (Crunches)

В то время как некоторые события, описанные в предыдущей главе, наверняка уничтожат Homo sapiens (например, распад метастабильного вакуума), другие могут быть, в принципе, пережиты (такие, как тотальная ядерная война). Если современная цивилизация рухнет, то отнюдь не наверняка она снова возникнет, даже если человеческий вид выживет. Возможно, мы выработали слишком много легкодоступных ресурсов, которые потребуются примитивному обществу для того, чтобы подняться на наш уровень технологии. Примитивное человеческое общество может быть – а может и не быть – так же подвержено вымиранию, как и любой другой вид животных. Но давайте не будем ставить этот эксперимент.

Если примитивное общество выживет, но никогда больше не сможет подняться на нынешний технологический уровень, не говоря о том, чтобы его превзойти, то тогда мы имеем пример сужения. Далее некоторые возможные причины сужения:

5.1. Истощение ресурсов или разрушение экологии. (Resource depletion or ecological destruction)

Природные ресурсы, необходимые для поддержания высокотехнологической цивилизации, истощаются. Если какой-нибудь другой катаклизм разрушит технологию, которой мы обладаем, может быть невозможно вскарабкаться назад на нынешний уровень, если природные условия будут менее благоприятными, чем они были для наших предшественников, например, если наиболее легко доступные уголь, нефть и минеральные ресурсы истощатся. (С другой стороны, если масса информации о наших технологических шагах сохранится, это может сделать возрождение цивилизации проще.)

5.2. Сбившееся с курса мировое правительство или другое неподвижное социальное равновесие остановит технологический прогресс

Можно представить, что однажды в мире придёт к власти некое фундаменталистское религиозное или экологическое движение. Если к тому времени станет возможно сделать такое мировое правительство стабильным относительно мятежей (с помощью продвинутого полицейского надзора или технологий контроля ума), это может навсегда закрыть возможность для человечества развиться до пост-человеческого уровня. Дивный Новый Мир Олдоса Хаксли являет собой широко известный сценарий этого типа [50].

Мировое правительство может не быть единственной формой стабильного социального равновесия, которое может необратимо повредить прогрессу. Многие регионы мира сегодня имеют большие трудности в создании учреждений, которые могли бы поддержать быстрый рост. Исторически, было много мест, где прогресс стоял на месте или откатился назад на значительные промежутки времени. Экономический и технологический прогресс может не быть настолько неизбежным, как это кажется нам.

5.3. Давление «вырождения». (“Dysgenic” pressures)

Возможно, что продвинутое цивилизованное общество зависит от того, чтобы в нём была достаточно большая доля интеллектуально одарённых людей. Сейчас кажется, что имеется негативная корреляция в некоторых местах между интеллектуальностью и фертильностью. Если такая селекция продлится в течение длительного периода времени, мы можем развиться в менее мозговитых, но более размножающихся существ, homo philoprogenitus («любитель большого числа отпрысков»).

Однако вопреки тому, что могут заставить подумать эти рассуждения, IQ фактически значительно вырос в течение последнего столетия. Это известно как эффект Флинна (Flynn); см. например [51,52]. Не определено, однако, соответствует ли это реальным достижениям в важных интеллектуальных функциях.

Более того, генетическая инженерия быстро приближается к точке, где станет возможным дать родителям выбор наделять своих отпрысков генами, которые коррелируют с интеллектуальными способностями, физическим здоровьем, долгожительством и другими желательными чертами.

В любом случае, временная шкала естественной человеческой генетической эволюции кажется слишком большой, чтобы такое развитие событий имело бы какой-либо значительный эффект до того, как другие процессы сделают эту проблему спорной [19,39].

5.4. Технологическая остановка. (Technological arrest)

Существенные технологические трудности в переходе к постчеловеческому миру могут оказаться столь велики, что мы его никогда не достигнем.

5.5 Нечто непредвиденное. [прим. 11] 

Как и в прошлый раз, категория на все случаи жизни.

В общем, вероятность сужения выглядит гораздо меньшей, чем взрыва. Нам следует иметь эту возможность в виду, но не давать ей играть доминирующую роль в нашем мышлении на данном этапе. Если технологическое и экономическое развитие должно будет замедлиться по неким причинам, тогда мы должны будем обратить более пристальное внимание к сценариям сужения.

6. Скрипы. (Shrieks)

Выяснение того, какие сценарии являются скрипами, стало более трудным из-за включения понятия «желательности» в определение. Если мы не знаем, что есть «желательное», мы не можем сказать, какие сценарии являются скрипами. Однако есть ряд сценариев, которые следует считать скрипами, исходя из наиболее разумных интерпретаций.

6.1. Захват власти превосходящим интеллектом, загруженным в компьютер. (Take-over by a transcending upload)

Предположим, что загрузки сознания в компьютер возникнут раньше искусственного интеллекта человеческого уровня. Загрузка – это ум, перенесённый с биологического мозга в компьютер, который эмулирует вычислительный процесс, имеющий место в исходной биологической нейронной сети [19,33,53,54]. Успешный процесс загрузки ума сохранит изначальную память, навыки, ценности и сознание.

Загрузка ума упростит улучшение его интеллекта, путём запуска на большей скорости, добавления дополнительных компьютерных ресурсов или оптимизации архитектуры. Можно предположить, что улучшение загрузки выше некого уровня приведёт к появлению позитивной обратной связи, когда продвинутая загрузка будет способна находить пути сделать себя ещё умнее; и более умная следующая версия будет, в свою очередь, ещё лучше в создании улучшенной версии себя, и так далее. Если этот быстрорастущий процесс произойдёт внезапно, он может привести к тому, что загрузка достигнет сверхчеловеческого уровня интеллекта, тогда как все остальные останутся на примерно человеческом уровне. Такое колоссальное интеллектуальное преимущество легко может дать ей соответственно большую власть. Она может, например, быстро ввести новые технологии или совершенные нанотехнологические конструкции. Если превосходящая загрузка имеет склонность к тому, чтобы не допустить других к тому, чтобы тоже загрузиться в компьютер, она сможет сделать это.

Тогда постчеловеческий мир может быть отражением частных эгоистических предпочтений этой загрузки (которые в худшем случае будут хуже, чем просто бесполезными). Такой мир легко может стать реализацией только малой части того, что возможно и желательно. Этот исход – Скрип.

6.2. Ошибающийся сверхинтеллект. (Flawed superintelligence) 

Опять, существует возможность, что плохо запрограммированный сверхинтеллект возьмёт власть и реализует те ошибочные цели, которые были ошибочно ему даны.

6.3. Глобальный репрессивный тоталитарный режим. (Repressive totalitarian global regime)

Подобным образом, можно представить, что фанатичное мировое правительство, основываясь, возможно, на ошибочных религиозных или этических убеждениях, сформируется, будет стабильным и решит реализовать только очень малую часть из всех тех позитивных вещей, которые пост-человеческий мир может иметь.

Такое мировое правительство, очевидно, может сформироваться небольшой группой людей, если они будут контролировать первый сверхинтеллект и смогут выбирать его цели. Если сверхинтеллект внезапно возникнет и станет достаточно сильным, чтобы захватить власть над миром, то этот пост-человеческий мир может отражать только уникальные ценности собственников или проектировщиков этого сверхинтеллекта. В зависимости от того, каковы эти цели, этот сценарий может считаться Скрипом.

6.4. Нечто непредвиденное. [прим. 12] 

Всё остальное.
Сценарии Скрипа кажутся имеющими значительную вероятность и потому должны быть восприняты всерьёз в нашем стратегическом планировании.

Можно пытаться доказать, что одна ценность, которая содержит в себе значительную часть того, что мы считаем желательным в пост-человеческом мире, состоит в том, что этот мир содержит в себе настолько много, насколько это возможно, людей, которые сейчас живы. Помимо всего прочего, многие из нас очень хотят не умирать (во всяком случае, не сейчас) и иметь шанс стать пост-людьми. Если мы примем это, то тогда любой сценарий, в котором переход к пост-человеческому миру отложен достаточно надолго, чтобы почти все современные люди умерли до того (предполагая, что они не были успешно сохранены посредством крионики [53,57]) будет Скрипом. В случае провала попыток продления жизни или массового распространения крионики, даже гладкий переход к полностью развитому пост-человечеству через 80 лет будет составлять значительный риск существованию, если мы определим «желательность» конкретно по отношению к людям, которые живы сейчас. Это предположение, однако, нагружено глубокой проблемой о природе ценностей, которую мы не будем пытаться решить здесь.

7. Всхлипы. (Whimpers)

Если всё пойдёт хорошо, мы можем однажды выйти на фундаментальные физические пределы. Даже хотя вселенная кажется бесконечной [58,59], доля вселенной, которую мы можем теоретически колонизировать (исходя из общепризнанно очень ограниченного нашего теперешнего понимания ситуации) конечна [60], и мы, в конечном счёте, истощим все доступные ресурсы, или ресурсы сами собой будут распадаться, по мере постепенного уменьшения негэнтропии и связанного с этим распада материи в радиацию. Но здесь мы говорим об астрономических масштабах времени. Окончание такого рода может быть лучшим, на что мы вправе надеяться, так что будет неправильным считать это риском существованию. Он не соответствует определению Всхлипа, так как человечество на этом пути реализует большую часть своего потенциала.

Два вида Всхлипа (в отличие от обычных, охватывающих всё гипотез) кажутся имеющими значительную вероятность:

7.1. Наш потенциал и даже наши базовые ценности разъедаются развитием в ходе эволюции. (Our potential or even our core values are eroded by evolutionary development)

Этот сценарий концептуально более сложен, чем другие риски существованию, которые мы рассматривали (вместе, возможно, со сценарием Взрыва «Мы живём в компьютерной симуляции, которую выключают»). Он рассмотрен более подробно в статье-компаньоне этой [61]. Очерк той статьи приведён в Приложении.

Похожий сценарий описывается в [62], где доказывается, что наши «космические привычки» будут выжжены в ходе колонизационной гонки. Селекция будет благоприятствовать тем репликаторам, которые будут тратить все свои ресурсы на посылание наружу следующих колонизационных зондов [63].

Хотя время, которое потребуется, чтобы случился Всхлип такого рода, относительно велико, он всё равно может иметь важные стратегиеские приложения, потому что краткосрочные решения могут предопределить, вступим ли мы на путь [64], который неизбежно ведёт к этому результату. Как только эволюционный процесс запущен или космическая колонизационная гонка началась, может оказаться трудным или невозможным остановить её [65]. Вполне может быть, что единственный возможный путь избежать Всхлипа – полностью предотвратить раскручивание этих цепочек событий.

7.2 Уничтожение внеземной цивилизацией. (Killed by an extraterrestrial civilization)

Вероятность столкнуться с инопланетянами в ближайшее время кажется очень маленькой (см. главу об увеличивающихся вероятностях ниже, а так же [66,67]).

Если всё пойдёт хорошо, однако, и мы разовьёмся в межгалактическую цивилизацию, мы можем однажды в далёком будущем встретить инопланетян.

Если они будут враждебны и если (по некой неизвестной причине) они будут обладать значительно лучшей технологией, чем мы будем обладать в то время, они могут начать процесс завоевания нас. Или, если они запустят процесс фазового перехода вакуума посредством своих высоко-энергетических физических экспериментов (см. главу Взрывы), то однажды нам придётся столкнуться с последствиями. По причине того, что пространственная протяжённость нашей цивилизации на этой стадии будет вероятно очень велика, завоевание или разрушение потребует много времени для завершения, делая этот сценарий скорее Всхлипом, чем Взрывом.

7.3 Нечто непредвиденное

Все другие гипотезы. Первый из сценариев должен быть тщательно взвешен при формулировании долгосрочной стратегии. Взаимодействие со вторым Всплеском мы можем безопасно делегировать будущим поколениям (поскольку мы ничего не можем сделать с этим сейчас в любом случае.)

8. Определение величины вероятности рисков существованию

8.1. Прямые методы против непрямых