Есть два взаимо-дополнительных пути оценки наших шансов создания пост-человеческого мира. То, что мы можем назвать прямым путём, состоит в анализе различных конкретных способов провала, приписании им вероятностей и затем вычитание суммы этих вероятностей катастроф из единицы для получения вероятности успеха. Если мы сделаем это, мы выиграем от детального понимания того, как сложатся отдельные причины. Например, мы бы хотели знать ответы на вопросы, такие как: насколько труднее спроектировать нанотехнологическую иммунную систему с защитой от дурака, чем спроектировать нанобот, который может выжить и репродуцировать себя в естественной среде? Насколько реально сохранить нанотехнологии строго регулируемыми в течение длительных периодов времени (таким образом, что никто с деструктивными намерениями не получит в свои руки ассемблер, который находится за пределами герметичной защищённой сборочной лаборатории [23])? Насколько вероятно, что сверхинтеллект появится раньше продвинутой нанотехнологии? Мы можем делать догадки на основе этих и других соответствующих параметров и давать оценки на этой основе; и мы можем сделать тоже самое для других рисков существованию, которые мы описали выше. (Я попытался отобразить приблизительную относительную вероятность различных рисков в порядке следования их описаний, данном в предыдущих 4 главах.)

Во-вторых, имеется непрямой путь. Есть теоретические ограничения, которые могут быть отнесены к проблеме, основанные на некоторых общих свойствах мира, в котором мы живём. Их немного, но они важны, потому что они не полагаются на множество догадок о деталях будущего технологического и социального развития.

8.2. Парадокс Ферми

Парадокс Ферми – это вопрос, которое вызывается тем фактом, что мы не наблюдаем никаких признаков внеземной жизни [68]. Это говорит нам о том, что неверно, что жизнь возникает на значительной части землеподобных планет и развивается вплоть до появления продвинутых технологий, которые использует для колонизации Вселенной теми путями, которые могут быть замечены нашими современными инструментами. Здесь должен быть (по крайней мере, один) Большой Фильтр – эволюционный шаг, который чрезвычайно маловероятен – где-то на полпути между землеподобной планетой и видимым образом колонизирующей космос цивилизацией. [69]. И если этот Великий Фильтр не находится в нашем прошлом, нам следует опасаться его в (ближайшем) будущем. Может быть, почти каждая цивилизация, развившая определённый уровень технологии, вызывает своё собственное вымирание.

К счастью, то, что мы знаем о нашем эволюционном прошлом, хорошо соотносится с гипотезой, что Великий Фильтр позади нас. Имеется несколько убедительных кандидатов на эволюционные шаги, которые могут быть достаточно невероятными, чтобы объяснить, почему мы не видим и не встречаем никаких инопланетян. Эти шаги включают в себя возникновение первых органических саморепликаторов, переход от прокариотов к эукариотам, дыхание кислородом, половое воспроизводство и, вероятно, другие [прим. 13]. Вывод состоит в том, что, исходя из нашего нынешнего знания в эволюционной биологии, рассуждения о Великом Фильтре не могут многого сказать нам о том, с какой вероятностью мы станем пост-людьми, хотя они могут дать нам лёгкие намёки [66,70-72].

Это может резко измениться, если мы откроем следы независимо развившейся жизни (неважно, вымершей, или нет) на других планетах. Такое открытие будет плохой новостью. Обнаружение относительно продвинутых форм жизни (многоклеточных организмов) будет особенно угнетающим.

8.3. Эффекты селективности наблюдения. (Observation selection effects)

Теория эффектов селективности наблюдения может сказать нам, что именно мы должны ожидать от наблюдений, исходя из некоторых гипотез о распределении наблюдателей во Вселенной. Сравнивая эти предсказания с нашими реальными наблюдениями, мы получим вероятностные оценки за или против различных гипотез.

Одной из попыток применить такого рода рассуждения для предсказания наших будущих перспектив является так называемое Рассуждение о Конце Света (Doomsday argument) [9,73], [прим. 14]. Его цель – доказать, что мы систематически недооцениваем вероятность того, что человечество вымрет относительно скоро. Идея, в простейшей форме, состоит в том, что мы должны думать о себе как о, в некотором смысле, случайной выборке из набора всех наблюдателей в нашем референтном классе (reference class), и мы, скорее всего, живём так рано, как оно обстоит на самом деле, если после нас нет очень большого числа наблюдателей нашего класса. Рассуждение о Конце Света крайне противоречиво, и я всюду доказывал, что, хотя оно может быть теоретически основательно, некоторые из условий его применимости не выполняются, так что применение его к нашему конкретному случаю будет ошибкой. [75,76].

Другие рассуждения, основанные на антропном принципе, могут быть более успешными: рассуждения на основе парадокса Ферми – это один пример, и в следующей главе приводится другой. В целом, основной урок состоит в том, что мы должны избегать использовать тот факт, что жизнь на Земле выжила до сегодняшнего дня и что наши гуманоидные предки не вымерли в некой внезапной катастрофе, для доказательства того, что рождённая на Земле жизнь и гуманоидные предки были высоко живучими. Даже если на огромном большинстве землеподобных планет жизнь вымерла до возникновения разумной жизни, мы всё равно можем ожидать обнаружить себя на одной из исключительных планет, которая была достаточно везучей, чтобы избежать разрушения [прим. 15]. В этом случае наш прошлый успех не даёт никаких оснований ожидать успеха в будущем.

Область исследований эффектов избирательности наблюдения является методологически очень сложной [76,78,79], и требуются более фундаментальные работы до того, как мы на самом деле поймём, как правильно рассуждать об этих вещах. Вполне могут быть дальнейшие выводы из этой области знаний, которые мы пока ещё не можем понять.

8.4. Рассуждение о Симуляции. (The Simulation argument)

Большинство людей не верят, что они сейчас живут в компьютерной симуляции. Я недавно показал (используя некоторые, достаточно непротиворечивые части теории эффектов избирательности наблюдения), что это приводит к вере в то, что мы почти наверняка не достигнем пост-человеческой стадии, или почти все пост-человеческие цивилизации не имеют индивидуумов, которые запускают большие количества симуляций прошлого, то есть компьютерных симуляций человекоподобных существ, из которых они развились [27]. Этот вывод весьма пессимистичен, поскольку он весьма существенно уменьшает число позитивных сценариев будущего, которые достаточно логичны в свете эмпирических знаний, которые мы сейчас имеем.

Рассуждение о симуляции является не только общим предупреждением; оно также перераспределяет вероятности между гипотезами, которые остаются вероятными. Он увеличивает вероятность того, что мы живём в симуляции (что может множеством тонких путей влиять на нашу оценку того, насколько вероятными разные исходы являются) и оно уменьшает вероятность того, что пост-человеческий мир будет обладать множеством свободных индивидуумов, которые имеют большие ресурсы и человеко-подобные мотивы. Это даёт нам ценные намёки на то, на что мы можем реалистически надеяться и, соответственно, на что мы должны направлять наши усилия.

8.5. Психологические предубеждения? (Psychological biases?) 

Психология восприятия рисков является активной, но довольно запутанной областью знания [80], которая может потенциально предоставить непрямые основания для пересмотра наших оценок рисков существованию.

Думаю, что наши прозрения о том, какие сценарии будущего являются «убедительными и реалистичными», сформированы тем, что мы видим по телевидению и в кино, и тем, что мы читаем в романах. (Помимо всего прочего, значительная часть рассуждений о будущем, с которыми сталкиваются люди, существует в форме фантастики и в других развлекательных контекстах.) Тогда мы должны, размышляя критически, подозревать наши интуитивные ожидания в том, что они отклонены в направлении переоценки вероятностей тех сценариев, которые создают хорошие истории, поскольку такие сценарии кажутся более знакомыми и более «реальными».

Это предубеждение Хорошей-историей может быть весьма сильным. Когда вы видели последний раз фильм о внезапном истреблении человечества (без предупреждения и без замены какой-либо другой цивилизацией)? Хотя этот сценарий гораздо более вероятен, чем сценарий, в котором люди-герои успешно отражают вторжение монстров или боевых роботов, он гораздо менее забавен для просмотра. Так что мы не видим много фильмов такого типа. Если мы не будем аккуратны, мы можем впасть в заблуждение, что скучные сценарии слишком маловероятны, что бы их стоило принимать всерьёз. В общем, если мы подозреваем, что имеет место предубеждение Хорошей истории, мы можем сознательно увеличить наше доверие скучным гипотезам и уменьшить наше доверие интересным, эффектным гипотезам. Суммарный эффект должен перераспределить вероятность между рисками существованию в пользу тех, которые кажутся менее соответствующими продающимся сюжетам, и, возможно, увеличить вероятность рисков существованию как группы.

Эмпирические данные о предубеждениях в оценке рисков двусмысленны. Доказано, что мы страдаем от систематических предубеждений, когда мы оцениваем наши собственные перспективы рисков в целом. Некоторые данные показывают, что людям свойственно переоценивать собственные способности и перспективы [прим. 16]. Три четверти всех автолюбителей думают, что они более безопасные водители, чем среднестатистический водитель [прим. 17]. Согласно одному исследованию, почти половина социологов верит, что они принадлежат к лучшим десяти учёным в своей области [87], и 94% социологов думают, что они лучше в своей работе, чем их коллеги в среднем. Также было показано, что находящиеся в депрессии имеют более точные предсказания, чем нормальные люди, за исключением тех, что касаются безнадёжности их ситуации [89-91]. Большинство людей думает, что они сами с меньшей вероятностью подвержены обычным рискам, чем другие люди [92]. Широко распространено убеждение [93], что публика склонна переоценивать вероятности часто освещаемых в печати рисков (таких, как катастрофы самолётов, убийства, отравления едой и т. д.), и недавнее исследование [94] показывает, что публика переоценивает большое количество распространённых рисков здоровью в отношении себя. Другое недавнее исследование [95], однако, предполагает, что доступная информация согласуется с предположением, что публика рационально оценивает риск (хотя и с некоторым сужением из-за расхода мыслительных усилий на удержание в уме точной информации) [прим. 18].

Даже если мы можем получить твёрдые свидетельства предубеждений в оценке личных рисков, мы всё ещё должны быть осторожны в распространении их на случай рисков существованию.

8.6. Оценка собранных данных. (Weighing up the evidence)

В сумме эти непрямые аргументы добавляют важные ограничения к тем, которые мы можем вывести из прямого рассмотрения различных технологических рисков, хотя в этой статье недостаточно места для детального рассмотрения. Но общая сумма свидетельств такова, что может показаться неразумным не приписать значительную вероятность гипотезе, что глобальная катастрофа убьёт нас. Моё субъективное мнение состоит в том, что будет ошибочно полагать эту вероятность меньшей, чем 25%, и наилучшая оценка может быть значительно больше. Но даже если бы вероятность была бы гораздо меньше (скажем, ~1%) заявленная тема всё равно заслуживала бы очень серьёзного внимания по причине высоты ставок.

В целом, наибольшие риски существованию на масштабе времени двух столетий или меньше кажутся связанными с активностью продвинутой технологической цивилизации. Мы видим это, просматривая список различных глобальных рисков, который мы составили. В каждой из 4 категорий, наивысшие риски связаны с человеческой активностью. Единственный значительный глобальный риск, для которого это не верно, — это «симуляция выключается» (Хотя в некоторых версиях этой гипотезы выключение может быть вызвано нашей активностью, [27]); удар кометы или астероида (что очень маловероятный риск); и уничтожение внеземной цивилизацией (что очень маловероятно в ближайшем будущем). [прим. 19]

Неудивительно, что глобальные риски, созданные современной цивилизацией получают львиную долю вероятности. В конце концов, мы делаем сейчас некоторые вещи, которые никогда не делались на Земле до того, и мы развиваем потенциал, чтобы сделать гораздо больше таких вещей. Если неантропогенные факторы не смогли уничтожить человеческий вид в течение сотен тысяч лет, может показаться маловероятным, что эти факторы сразят нас в ближайшие сто или двести лет. И, наоборот, у нас нет никаких причин не думать, что творения продвинутой цивилизации будут нашей погибелью.

Однако мы не должны слишком спешить отбрасывать риски существованию, которые не созданы человеком, как незначительные. Это правда, что наш вид выжил в течение долгого времени, несмотря на присутствие таких рисков. Но здесь может играть роль эффект селекции наблюдателей. Вопрос, который нам следует задать, состоит в следующем: в теоретическом случае, если природные катастрофы стерилизуют землеподобные планеты с большой частотой, что мы должны ожидать обнаружить? Очевидно, не то, что мы живём на стерилизованной планете. Но может быть, мы должны быть более примитивными людьми, чем мы являемся? Чтобы ответить на этот вопрос, мы нуждаемся решении вопроса о референтных классах в теории селекции наблюдателей [76]. Но эта часть методологии ещё не существует. Так что сейчас мы можем сказать, что наиболее серьёзный глобальный риск создаётся продвинутой человеческой цивилизацией, но мы основываем эти утверждения на прямых рассуждениях. Есть ли дополнительная поддержка для наших выводов от непрямых рассуждений, остаётся открытым вопросом.

Мы не должны винить цивилизацию или технологию за создание больших глобальных рисков. По причине того, как мы определили риски существованию, провал в создании технологической цивилизации будет означать, что мы пали жертвами глобальной катастрофы (а именно, сужения, «технологической остановки»). Без технологии наши шансы избежать глобальных рисков будут нулевыми. С технологиями у нас есть небольшой шанс, хотя наибольшие риски, как сейчас оказалось, создаются самими технологиями.

9. Значение для стратегии и этики. (Implications for policy and ethics)

Риски существованию имеют набор черт, в силу которых полезно выделить их в отдельную категорию: колоссальный размер ущерба, который возникнет из глобальной катастрофы; тщетность метода проб и ошибок в этом случае; недостаток развитых биологических и культурных методов преодоления; тот факт, что предотвращение риска существованию является глобальным общественным интересом; совместная общественная заинтересованность (stakeholdership) всех будущих поколений; международная природа многих требуемых мер противодействия; по своей природе умозрительная и междисциплинарная природа темы; тонкие и разнообразные методологические проблемы, возникающие в процессе оценки вероятностей глобальных рисков; и относительное пренебрежение ко всей этой области.

Из нашего обзора наиболее важных рисков существованию и их главных свойств, мы можем вывести предварительные рекомендации для этики и стратегии.

9.1. Развивать досье на риски существованию. (Raise the profile of existential risks)

Нам нужно больше исследований в области рисков существованию – детальных исследований частных аспектов конкретных рисков, равно как и общих исследований проблем, связанных с этикой, методологией, безопасностью и политикой. Осведомлённость публики так же должна быть повышена, чтобы конструктивные политические дискуссии о возможных контрмерах стали бы возможны.

Современные исследователи всегда склонны заканчивать свои статьи словами, что в их области требуются дальнейшие исследования. Но в данном случае это действительно правда. Имеется гораздо больше научных исследований на тему поведения навозных мух, чем о глобальных рисках.

9.2. Создать структуру для международных действий. (Create a framework for international action)

Поскольку снижение рисков существованию является всеобщим общественным благом, в идеальном случае должна быть такая узаконенная структура, чтобы расходы и ответственность для обеспечения этого блага могли бы быть разделены справедливо между всеми людьми. Даже если расходы нельзя разделить справедливо, нужно пытаться создать некоторую систему, которая обеспечивает расходы на снижение рисков в приблизительно оптимальных объёмах.

Однако необходимость в международных действиях связана с большим, чем с желательностью распределения расходов. Многие глобальные риски просто не могут быть существенно уменьшены посредством внутренних действий одной – или даже большинства – стран. Например, даже если большинство стран примет и применит национальные законы против создания некоторых конкретных деструктивных видов нанотехнологий, достигнем ли мы на самом деле безопасности, если некоторые менее добросовестные страны решат всё равно продвигаться вперёд? И стратегический торг (bargaining) может сделать недопустимым подкуп всех безответственных сторон, чтобы они подписали соглашение, даже если все выиграют, если каждый подпишется [14,42].

9.3 Сохранять готовность к превентивному действию в качестве последнего средства. (Retain a last-resort readiness for preemptive action)

Создание консенсуса на широкой основе между странами мира требует много времени, трудно и во многих случаях невозможно. Поэтому мы должны осознать, что могут возникнуть случаи, в которых сильные страны или коалиции стран должны действовать односторонне ради своего и общего блага. Такие односторонние действия могут ущемлять суверенитет других наций и, возможно, должны быть сделаны упреждающе.

Давайте конкретизируем эту гипотезу. Предположим, продвинутая нанотехнология только что была создана в нескольких ведущих лабораториях. (Под продвинутой нанотехнологией я имею в виду настоящий универсальный сборщик, устройство, которое может создавать широкий круг трёхмерных структур – включая твёрдые части — с точностью до атома на основании детально определённого процесса сборки и конструирования, некоторого запаса химикатов и поставки энергии.) Предположим, что на этой стадии возможно предсказать, что изготовление опасных нанорепликаторов будет гораздо проще, чем создание надёжной нанотехнологической иммунной защиты, которая может защитить от всех простых опасных репликаторов. Может быть, чертежи опасных репликаторов уже были созданы заранее и доступны через Интернет. Предположим далее, что большая часть исследований, ведущих к созданию ассемблера, за исключением только нескольких последних стадий, доступна в открытой литературе; так что другие лаборатории в других частях мира, скорее всего, скоро создадут свои собственные ассемблеры. Что должно быть сделано?

С такими исходными данными, можно с уверенностью предсказать, что опасные технологии вскоре попадут в руки «стран изгоев», к сосредоточенным на ненависти к чему-то группам людей и, возможно, в конце концов, в руки одиноких психопатов. Рано или поздно кто-либо соберёт и выпустит на волю деструктивный нанобот и разрушит биосферу. Единственный вариант – предпринять действия по недопущению распространения технологии нано-сборщика до тех пор, пока надёжные контр-меры против нано-атаки не будут развёрнуты.

Можно надеяться, что большинство наций будут достаточно ответственны, чтобы добровольно подписаться на соответствующую регуляцию технологии ассемблеров. Эта регуляция не должна быть в форме запрета на ассемблеры, но должна ограничить временно, но эффективно использование ассемблеров, и она должна дополняться строгой программой контроля. Некоторые страны, однако, могут отказаться принять эту программу. На них будет вначале оказываться давление, чтобы они примкнули к коалиции. Если все попытки убеждения провалятся, сила или угроза применения силы должны быть использованы, чтобы заставить их принять регуляцию.

Превентивный удар по суверенной стране не должен быть легко совершаемым действием, но в крайнем случае, который мы обрисовали, – когда неспособность действовать с большой вероятностью приведёт к глобальной катастрофе – мы несём ответственность, которую нельзя аннулировать. Любой моральный запрет, который существует в нормальных условиях против нарушения государственного суверенитета, перевешивается в этом случае необходимостью предотвратить разрушение человечества. Даже если подозрительная страна ещё не совершила открытых нарушений, само решение продвигаться в развитии опасных технологий в отсутствии достаточной регуляции должно быть интерпретировано как акт агрессии, поскольку это подвергает весь остальной мир даже большему риску, чем, скажем, запуск нескольких ядерных ракет в случайных направлениях.

Интервенция должна быть достаточно решительной, чтобы уменьшить риск до приемлемых уровней, но она не должна быть большей, чем это необходимо, что достичь этой цели. Может быть, даже уместно выплатить компенсацию жителям подвергшейся атаки страны, многие из которых не несут никакой или почти никакой ответственности за безответственные действия своих лидеров.

Хотя мы надеемся, что мы никогда не окажемся в ситуации, когда применение силы станет необходимым, важно, что мы озвучим наши моральные и стратегические мысли на случай этих чрезвычайных обстоятельств. Развитие широкого понимания моральных аспектов этого сценария заранее особенно важно, поскольку без определённого уровня публичной поддержки демократическим странам будет трудно действовать решительно до того, как будут какие-либо видимые проявления того, что стоит на карте. Ожидание такого проявления — определённо не подходящий вариант, потому что оно само по себе уже может быть концом [прим. 20].

9.4 Развитие технологий с разной скоростью. (Differential technological development)

Если некая возможная технология имеет большой коммерческий потенциал, вероятно, невозможно не допустить её развития. Во всяком случае, в современном мире, с большим количеством автономных держав и относительно ограниченным надзором и, во всяком случае, с технологиями, которые не зависят от редких материалов или огромных заводов, будет чрезвычайно трудно сделать запрет на 100% надёжным. Для некоторых технологий (скажем, разрушающих озон веществ) несовершенно осуществляемая регуляция может быть всем, что нам нужно. Но с другими технологиями, такими как деструктивные наноботы, которые самореплицируются в естественной среде, даже единственное нарушение может быть смертельным. Ограниченная применимость технологических запретов ограничивает набор возможных политик, из которого мы можем выбирать.

То, на что мы должны иметь возможность влиять (в объёме, зависящем от того, как мы определяем это «мы»), — это темп развития различных технологий и, вероятно, последовательность, в которой возможные технологии развиваются и применяются. Мы должны быть сосредоточены на том, что я называю дифференциальным технологическим развитием: попытках замедлить применение опасных технологий и ускорить применение полезных технологий, особенно тех, которые смягчают угрозы, создаваемые другими технологиями.

В случае нанотехнологий, желательной последовательностью было бы размещение защитных систем до того, как наступательные возможности станут доступными для многих независимых государств; с того момента, когда секрет или технология становится доступной многим, чрезвычайно трудно не допустить их дальнейшего распространения. В случае биотехнологий, мы должны стремиться продвигать исследования в области вакцин, антибактериальных и антивирусных лекарств, защитных приспособлений, сенсоров и систем диагностики, и отложить, настолько, насколько это возможно, развитие (и распространение) возбудителей и переносчиков болезней из арсенала бактериологического оружия. Разработки, развивающие средства наступления и обороны в равной степени, являются нейтральными с точки зрения безопасности, пока они осуществляются странами, которые мы идентифицируем как ответственные, и в этом случае они являются выгодными в том отношении, что они увеличивают наше технологическое преимущество над нашими потенциальными противниками. Такие «нейтральные» разработки также могут быть полезны в уменьшении природных угроз, и они могут также приносить пользу, не связанную с глобальной безопасностью.

Некоторые технологии особенно стоит продвигать, поскольку они могут помочь уменьшать широкий круг рисков. Сверхинтеллект – одна из них. Хотя он имеет свои опасности (разъяснявшиеся в предыдущих главах), есть опасности, с которыми мы столкнёмся в некоторый момент несмотря ни на что. Но получение сверхинтеллекта ранее – желательно, поскольку это поможет уменьшить другие риски. Сверхинтеллект может дать нам советы в стратегии. Сверхинтеллект сделает кривую прогресса для нанотехнологий гораздо круче, таким образом, сокращая период уязвимости между созданием опасных нанорепликаторов и размещением адекватной защиты. Наоборот, получение нанотехнологий до сверхинтеллекта мало уменьшит риски сверхинтеллекта. Единственное значительное исключение здесь – в том случае, если мы думаем, что важно достичь сверхинтеллекта посредством загрузки человека в компьютер, а не искусственного интеллекта. Нанотехнологии очень помогут загрузке [39].

Другие технологии, которые обладают высоким потенциалом уменьшения рисков, включают в себя усиление интеллекта, информационные технологии (information technology) и надзор. Они могут сделать нас умнее индивидуально и коллективно, и могут сделать более возможным установление необходимой регуляции. Таким образом, судя по имеющимся данным, есть серьёзные причины продвигать эти технологии настолько решительно, насколько возможно [прим. 21].

Как уже говорилось, мы можем также определить достижения за пределами технологий, которые полезны почти при всех сценариях. Мир и международное сотрудничество – очевидно, стОящие цели, равно как и культивирование традиций, которые помогают демократиям процветать. [прим. 22]

9.5 Программы, направленные на прямое уменьшение конкретных рисков существованию

Некоторые малые риски существованию могут быть парированы достаточно дёшево. Например, есть организации, нацеленные на картирование потенциально опасных околоземных объектов (например, в НАСА программа отслеживание околоземных астероидов, и фонд космической защиты (Near Earth Asteroid Tracking Program, and the Space Guard Foundation)). Здесь могло бы быть дано дополнительное финансирование. Чтобы уменьшить вероятность «физических катастроф», может быть назначен общественный наблюдательный комитет, с правом осуществлять предварительную экспертизу потенциально опасных экспериментов. Сейчас это делается от случая к случаю и часто таким способом, который зависит от честности исследователей, которые имеют личную заинтересованность в том, чтобы эксперименты продолжались.

Риски существованию от естественных или генетически сконструированных пандемий могут быть уменьшены теми же мерами, которые могут помочь не допустить и локализовать более ограниченные эпидемии. В силу этого можно было бы увеличить усилия в противодействии терроризму, гражданской обороне, эпидемиологическом мониторинге и передаче информации, разработке и накоплении запасов антидотов, репетировании карантинных процедур в случае катастрофы и т. д. Даже отвлекаясь от рисков существованию, было бы, вероятно, рентабельно увеличить долю таких программ в оборонных бюджетах. [прим. 23]

Широко признанным приоритетом является уменьшение риска ядерного Армагеддона, как случайного, так и намеренного. Имеется огромный объём литературы о связанных с этим стратегических и политических проблемах, к которому мне нечего здесь добавить.

Такие долгосрочные опасности, как распространение нанотехнологий или гонка вооружений между нанотехнологическими державами, равно как и риск в духе Всхлипа «эволюции в забвение», могут сделать необходимым, даже в большей мере, чем ядерное оружие, создание и применение скоординированной глобальной стратегии. Признание этих рисков существованию предполагает, что было бы разумно постепенно перенести фокус политики в области безопасности с поиска национальной безопасности посредством одностороннего усиления на создание единой международной системы безопасности, которая сможет предотвратить гонку вооружений и распространение оружия массового поражения. Какая конкретная политика имеет наилучшие шансы достижения этой долгосрочной цели – это вопрос, выходящий за пределы тематики данной статьи.

9.6. Максипок: эмпирическое правило для этичных поступков. (Maxipok: a rule of thumb for moral action)

Предыдущие главы показали, что совместная вероятность рисков существованию очень велика. Хотя по-прежнему имеется достаточно широкий разброс оценок, которые могут сделать ответственные мыслители, тем не менее может быть доказано, что, поскольку ущерб от глобальной катастрофы столь велик, стремление к уменьшению рисков существованию должно быть доминирующим соображением среди забот о человечестве в целом. Было бы полезно принять следующее эмпирическое правило для этичных поступков; мы назовём его Максипок:

Максимизируйте вероятность позитивного исхода, где «позитивный исход» — это любой исход, при котором не происходит глобальной окончательной катастрофы (existential disaster).

В лучшем случае, это — эмпирическое правило, первоначальное предположение, а не абсолютно обоснованный принцип, поскольку есть и другие моральные цели, помимо предотвращения глобальной окончательной катастрофы. Этичное действие всегда находится под риском переноса его основных усилий на вызывающие приятные ощущения проекты (feel-good projects) [прим. 24], а не на серьёзную работу, которая имеет наилучшие шансы излечить наихудшие болячки. Разрыв между вызывающими приятные ощущения проектами и теми, которые на самом деле имеют наибольший позитивный потенциал, вероятно, особенно велик в отношении рисков существованию. Поскольку цель весьма абстрактна и поскольку риски существованию не причиняют сейчас страданий ни одному живому существу [прим. 25], гораздо меньше прибыли в виде приятного самоощущения может быть выведено из усилий по их уменьшению. Это предполагает дополнительный этический проект, а именно – изменить общественное этическое восприятие таким образом, чтобы дать больше уважения и социального одобрения тем, кто тратит своё время и ресурсы на то, чтобы облагодетельствовать человечество посредством глобальной безопасности, в сравнении с другими видами филантропии.

Максипок, как один из принципов разумной достаточности, отличается от Максимина («Выбирайте действие, которое имеет наилучший исход в наихудшем случае».) [прим. 26]. Поскольку мы не можем полностью устранить риски существованию (в любой момент мы можем быть сброшены в мусорный ящик космической истории расширяющимся фронтом вакуумного перехода, запущённого в далёкой галактике миллиард лет назад), использование Максимина в текущем контексте имело бы последствием то, что мы должны были бы выбрать действие, которое имело бы наибольшие преимущества при предположении о неизбежном вымирании. Иными словами, максимин означает, что мы все должны начать развлекаться, как если бы у нас не было завтра.

Хотя этот вариант бесспорно привлекателен, очевидно, что лучше допустить, что может наступить хотя бы завтрашний день, особенно если мы правильно сыграем наши карты.

Выражения признательности

Я благодарен за комментарии to Curt Adams, Amara Angelica, Brian Atkins, Milan Cirkovic, Douglas Chamberlain, Robert A. Freitas Jr., Mark Gubrud, Robin Hanson, Barbara Lamar, John Leslie, Mike Treder, Ken Olum, Robert Pisani, нескольким анонимным читателям и аудитории на встрече SIG в институте Foresight Institute’s Senior Associates Gathering, Palo Alto в апреле 2001. Эта статья также выиграла от дискуссий с Michaela Fistioc, Bill Joy, John Oh, Pat Parker, Keith DeRose, и Peter Singer.

Приложение: очерк эволюционного «всхлипа». (Appendix: The outline of an evolutionary whimper.)

Это приложение даёт очерк того, почему есть риск, что мы кончим эволюционным «всхлипом». Последующая цепь рассуждений из 11 звеньев не предназначена для того, чтобы быть жёстким доказательством какого-либо рода, но скорее наводящим на размышления рассказом без литературных украшений (Более подробную дискуссию по некоторым из этих идей см. [61].)

1. Хотя легко думать об эволюции как о происходящей от простых к более сложным формам жизни, мы не должны некритически предполагать, что это всегда так. Это правда, что здесь, на Земле, простые репликаторы развились в человеческие существа (среди прочего), но по причине эффекта селективности наблюдения, информационная ценность этого одного свидетельства очень ограничена (больше на эту тему в главе о оценке вероятностей рисков существованию) .
2. Мы не наблюдаем в настоящий момент значительного эволюционного развития в человеческом виде. Это связано с тем, что биологическая эволюция действует на временной шкале многих поколений, а не потому что этого больше не происходит [103].
3. Биологическая человеческая эволюция медленная в первую очередь из-за медленности процесса человеческого размножения (с минимальным промежутком между поколениями примерно в полтора десятка лет).
4. Загруженные в компьютер люди и машинные интеллекты могут размножаться практически мгновенно в случае наличия необходимых ресурсов. Также если они могут предсказать некоторые аспекты своей эволюции, они могут модифицировать себя прямо сейчас, вместо того, чтобы ждать, пока их оттеснят на второй план другие. Оба этих фактора могут привести к гораздо более быстрому эволюционному развитию в постчеловеческом мире.
5. Виды деятельности и жизненные пути, которые мы ценим, могут не совпадать с видами деятельности, которые имеют максимальную экономическую ценность в постчеловеческом мире. Деятели, которые выберут тратить некоторую часть своих ресурсов на (непродуктивные или не очень оптимальные) «хобби», будут находится в невыгодном положении в соревновании, и будут потому рисковать быть оттеснёнными на второй план. (Но как тогда игра могла развиться у людей и других приматов? Предположительно, потому что она была адаптивно выгодна и поэтому «продуктивна» в смысле слова используемого здесь. Мы приписываем ценность игре. Но опасность состоит в том, что нет никаких гарантий, что виды деятельности, которые будут адаптивно полезными в будущем, будут теми же, которые мы сейчас считаем полезными – адаптивная деятельность в будущем может быть даже не связана с какой-либо формой осознания.)
6. Мы должны различать два значения слов «оттеснены на второй план» (outcompeted). В первом случае «оттеснены» означает «оттеснены» только в относительном смысле: ресурсы, которыми такие существа обладают, составляют всё меньшую и меньшую часть от всех колонизованных ресурсов с течением времени. Во втором смысле, «оттеснённый» тип испытывает уменьшение в абсолютных терминах, так что, в конечном счёте, это тип становится вымершем.
7. Если права собственности почти совершенно соблюдаются (на космических расстояниях, что кажется непросто сделать), тогда «хоббисты» (то есть те типы, которые тратят часть своих ресурсов на непродуктивные виды деятельности) будут оттеснены только в первом смысле слова. В зависимости от деталей это может быть, а может и не быть классифицировано как «всхлип». Если потеря потенциала (по причине доминирования типов, которые мы не считаем ценными) достаточно велика, это будет «всхлипом».
8. При отсутствии совершенного соблюдения прав собственности, нам следует опасаться того, что хоббисты вымрут, потому что они менее эффективные соревнователи за одни и те же экологические ниши, чем те типы, которые не тратят никаких своих ресурсов активность в духе хобби.
9. Единственный путь избежать этого исхода может состоять в замене естественной эволюции – направленной эволюцией, то есть так сформировать давление социальной селекции, что оно будет потворствовать хоббистам (например, обкладывая налогом нехоббистов) [19,104]. Это может сделать тип хоббистов успешным в соревновании.
10. Направленная эволюция, однако, требует координации. Ничего хорошего не выйдет, если одни общества решат благоволить своим хоббистам, если тем временем другие общества, наоборот, решат максимилизировать свою продуктивность путём прекращения поддержки хоббистов. Последние в конечном счет переиграют первых. Таким образом, единственный путь, на котором направленная эволюция может избежать того, что, в противном случае, обречено быть эволюционным «всхлипом», — может состоять в том, что на высшем уровне организации будет только один независимый деятель. Мы можем назвать такую организацию Синглетон (singleton – единственный, одиночка).
11. Синглетон не должен быть монолитным. Он может содержать в себе высоко разнообразную экологическую среду из независимых групп и индивидуумов. Синглетон может быть, например, всемирным демократическим правительством или дружественным сверхинтеллектом [35]. Остаётся открытым вопрос, сформируется ли, в конце концов, Синглетон. Если Синглетон не сформируется, и если структурный ландшафт будущей эволюции не благоприятствует видам деятельности, которые мы находим ценными, то тогда результатом может быть эволюционный «всхлип».

Примечания: 

[1] В других контекстах, понятие о «наилучшей субъективной оценке» может быть представлено как рыночные ставки на соответствующие притязания на Знание о Будущем (Idea Future’s claim) [1]. Это замечание может помочь в качестве иллюстрации подразумеваемой концепции, но не может служить определением. Только дурак будет ставить на человеческое вымирание, поскольку здесь нет никаких шансов получить выплату, не зависимо от того, выиграешь ли ты или проиграешь.

[2] Здесь можно увидеть основную идею так называемого Принципа Предосторожности. [2] Любая более сильная интерпретация этого принципа, например, в отношении того, лежит ли тяжесть доказательства о введении некой новой рискованной процедуры на спорах, может стать неразумным упрощением [3].

[3] О различие между объективной и субъективной вероятностью см. например [4-6]. Классический разбор теории решений см. в [7].

[4] Президент Кеннеди, говорят, однажды оценил вероятность ядерной войны между США и СССР как «где-то в районе одной трети» ( “somewhere between one out of three and even”) ([8], стр.. 110; см. также [9], гл. 2). Джон фон Нейман (1903-1957), выдающийся математик и один из создателей теории игр и компьютерной науки и председатель Военно-воздушного стратегического ракетного комитета по развитию (Air Force Strategic Missiles Evaluation Committee), был главным архитектором ранней американской ядерной стратегии. Как говорят, он утверждал, что «абсолютно наверняка (1) будет ядерная война и (2) в ней все погибнут». [10], p. 114.

[5] Это так по отношению к человеческому виду. Вымирание других видов – обычное дело. Оценивается, что 99% всех видов, живших на Земле, вымерло. Мы можем также получить некоторое образное знакомство с глобальными окончательными катастрофами из фантастики. Хотя в ней, кажется, есть наклонность к хэппи-энду, есть ряд исключений, таких как фильм «Доктор Стрэйнжлав» (Dr. Strangelove) [11] и горький роман Нейвила Шута (Nevil Shute) «На берегу» («On the beach») (русский перевод — http://www.lib.ru/INPROZ/SHUT/on_beach.txt). Более того, в отношении некоторых рисков существованию (например, истребляющего весь вид удара метеорита), у нас уже есть опыт более мягких вариантов (то есть ударов меньших метеоритов), что помогает нам вычислить вероятность более крупного события. Но для большинства серьёзных рисков существованию, прецедентов нет.

[6] Эта терминология вдохновлена знаменитыми строками Томаса Элиота:

Вот как кончится мир
Не взрыв, но всхлип.
Т.С.Элиот «Полые люди»

А также названием книги философа John Earman по общей теории относительности [17]. По вопросам общей классификации (some general desiderata) рисков см. [18].

[7] Слова «Постчеловечество» и «постчеловеческая цивилизация» используются для определения общества технологически весьма усовершенствованных существ (с гораздо большими интеллектуальными и физическими способностями, гораздо большей продолжительностью жизни и т. д.), которым мы однажды можем стать [19].

[8] Некоторые из них обсуждаются более детально в первых двух главах прекрасной книги John Leslie [9]; некоторые обсуждены кратко в [20]. Недавняя полемика о статье Билла Джоя (Bill Joy) в журнале Wired [21] также привлекла внимание к некоторым из этих проблем.

[9] Нанотехнологии, конечно, также обладают огромным полезным потенциалом в медицине, защите окружающей среды, и в экономике в целом, но здесь мы не рассматриваем эту сторону медали.

[10] Для сравнения, тунгусское событие в 1908 году было вызвано телом примерно 60 метров в диаметре, с силой взрыва в 2 мегатонны ТНТ (Бомба в Хиросиме имела выход в 2 килотонны – (так у автора – прим. пер.)) и повалила деревья в радиусе 40 км.

[11] Остается под вопросом, следует ли считать «всхлипом» плохо запрограммированный суперинтеллект, который решит задерживать человечество неопределённо долго. Этот сверхинтеллект должен быть такой ограниченной природы, чтобы он сам по себе не считался формой пост-человечества; в противном случае это будет «скрип».

[12] Я считаю чрезвычайно маловероятной гипотезу (распространённую в масс-медиа и защищаемую, например, в [55]; см. также [56]) о том, что мы будем истреблены в обычной войне между человеческим видом и популяцией человекоподобных, сделанных людьми роботов.