Мир в следующие 10 тысяч лет

 

Гонка за создание Сильного Искусственного Интеллекта (AGI) уже началась, и пока у нас нет никаких представлений о том, как она будет проходить. Но это не означает, что мы не должны уже сейчас подумать, какого завершения мы бы хотели, потому что от наших желаний зависит то, к чему мы приходим. Что бы лично вы предпочли и почему?

 

1. Вы бы хотели, чтобы суперинтеллект был создан?
 

2. Вы бы хотели, чтобы человеческие существа оставались / были заменены кем-то другим, превратились бы в киборгов и/или переселились в виртуальный мир / были симулированы?
 

3. Вы бы предпочли власть людей или власть машин?
 

4. Вы бы хотели, чтобы искусственный интеллект обладал сознанием?
 

5. Вы стремитесь максимизировать положительные переживания, минимизировать страдания, не хотите вмешиваться в судьбу?
 

6. Вы бы хотели, чтобы жизнь распространялась в космосе?
 

7. Вы бы хотели, чтобы цивилизация устремилась к реализации великих целей, которым вы симпатизируете, или вы согласны с любыми будущими формами жизни, обеспечивающими благополучие, даже если цели при этом представляются вам бессмысленно банальными?

 

Для того чтобы подтолкнуть ваши размышления и подогреть дискуссию, давайте рассмотрим ряд возможных ответов, сценариев жизни с искусственным интеллектом:

 

 

Очевидно, это не исчерпывающий список, я использовал его в качестве базиса пространства всех возможностей. Понятно, что нам не хотелось бы закончить свою историю как в плохо проведенной компьютерной игре из-за ошибок в планировании. Я предлагаю вам выписать ваши варианты ответов на вопросы 1–7, чтобы вернуться к ним позже, и проверить, не изменятся ли они. Вы можете делать это прямо на сайте http://AgeOfAi.org, где заодно можете сравнить свои ответы с ответами других читателей.

 

 

Давайте начнем со сценария, в котором люди мирно сосуществуют с технологиями, иногда сливаясь с ними, как изображают многие футурологи и авторы научно-популярных произведений. Обычно это выглядит примерно так.

 

Жизнь на Земле (а также за ее пределами) стала еще более разнообразна, чем была когда-либо ранее. Посмотрев на Землю из космоса, вы легко различите зоны проживания машин, смешанные зоны и те, где обитают только люди. Машинные зоны – это гигантские, управляемые роботами фабрики и вычислительные центры, тут нет никаких признаков биологической жизни, здесь каждый атом используется с предельной эффективностью. Хотя со стороны машинные зоны выглядят серо и однообразно, картина кардинально меняется, если заглянуть внутрь, в виртуальный мир, где колоссальные вычислительные мощности привлекаются для раскрытия тайн нашей Вселенной и разработки трансформационных технологий. На Земле поселился не один сверхразум, они соперничают, сотрудничают, и все они сосредоточены в машинных зонах.

 

В смешанных зонах обитают компьютеры, роботы, люди и разнообразные гибриды. В описаниях футурологов вроде Моравеца или Курцвейла в этой дикой и ни на что не похожей смеси многие люди проапгрейдили свое тело до киборга той или иной степени завершенности, немало и таких, кто залил свой рассудок в другой “хард”, из-за чего граница между людьми и машинами тут почти незаметна. Многие разумные существа вообще лишены постоянной физической формы. Они существуют как “софт”, способный мгновенно перемещаться между компьютерами и проявлять себя в физическом мире с помощью разнообразных роботизированных тел. Поскольку эти формы разумной жизни способны без труда копировать себя или сливаться друг с другом, размер этой популяции очень изменчив. Избавление от ограничений, налагаемых физическим субстратом, дает таким существам совершенно новое представление о жизни: им гораздо меньше свойствен индивидуализм, поскольку они могут тривиально поделиться модулями своих знаний или своего опыта с другими, и у них есть субъективное ощущения бессмертия, так как в любой момент они могут сделать свою резервную копию. В каком-то смысле центральное место в жизни занимает теперь не рассудок, а опыт: наиболее яркие переживания множатся, из-за того что они с удовольствием копируются в память других, где новый рассудок переживет их иначе. А скучный опыт будет стерт тем, кто его испытал, дабы очистить место в памяти для чего-нибудь поинтересней.

 

Хотя большинство взаимодействий происходит в виртуальной реальности ради удобства и скорости, разуму открыта возможность пользоваться телом для физических видов деятельности и отношений, и этим многие пользуются. Например, Ганс Моравец, Рэй Курцвейл и Ларри Пейдж в версии заливок придерживаются традиции создавать виртуальные реальности по очереди, чтобы потом сообща их исследовать, но время от времени они любят вместе полетать в реальном мире, загружаясь в крылатых птице-роботов. Некоторые роботы, бродящие по улицам, парящие в небесах или плавающие в озерах смешанных зон, также управляются человеческими существами, или залитыми в них, или привязанными методами дополненной реальности. Они выбрали себе телесный способ существования в смешанной зоне, потому что им нравится общество и людей, и себе подобных.

 

 

 

В зонах “только для людей”, напротив, появление машин с интеллектом человеческого уровня или выше строго запрещено, как и появление технологически дополненных биологических организмов. Здесь отличие жизни от хорошо нам знакомой не так заметно, разве что она тут намного богаче и удобнее: бедность уничтожена практически повсеместно, большинство известных сегодня болезней излечены. То небольшое число людей, которые выбрали для себя жизнь в этих зонах, существуют в значительно более простом и ограниченном мире, чем кто-либо еще, и плохо понимают, чем заняты их более развитые интеллектуально соседи по планете в других зонах. Тем не менее большинство из них вполне счастливы и довольны жизнью.

 

 

Подавляющее большинство вычислений осуществляется в машинных зонах, принадлежащих разнообразным конкурирующим друг с другом сверхразумным сущностям, которые там и живут. Из-за их слишком явного преимущества и в интеллекте, и во владении технологиями никто даже не пытается оспаривать их власть. Эти сверхразумные сущности договорились сотрудничать и координировать свои действия, образовав некоторое подобие либертарианской системы управления, у которой нет никаких заранее установленных правил кроме защиты частной собственности. Право собственности распространяется на все сущности, обладающие интеллектом, включая людей, что объясняет происхождение зон с сугубо человеческим населением. Когда-то раньше группы людей объединялись при условии строгого запрета продажи недвижимости нечеловеческим сущностям.

 

Из-за своего превосходства в силе разума сущности, располагающие сверхразумным искусственным интеллектом, стали богаче всех прочих в отношении значительно бóльшем, чем у Билла Гейтса и бездомного бродяги. Но даже обитатели сугубо человеческих зон живут в гораздо бóльшем достатке, чем большинство жителей Земли сегодня. Их экономика почти не зависит от экономики машин, поэтому присутствие машин мало отражается на их жизни, разве только при появлении какого-то технологического новшества, которое они могут понять и воспроизвести у себя – примерно так же, как амиши или другие отставшие в техническом развитии племена, живущие сегодня по крайней мере не хуже, чем они жили в старые времена. Это не важно, что у людей не было ничего такого, что бы они могли продать машинам, потому что машинам ничего от них и не надо.

 

В смешанных секторах различие между людьми и сверхразумными машинами было более заметно, и в результате цены на землю (единственный ресурс, который машины были готовы покупать у людей) оказались совершенно астрономическими по сравнению с любыми другими продуктами. Большинство землевладельцев-людей продали сверхразумным машинам малую толику принадлежащей им земли за навечно гарантированное право на минимальный доход себе самим и всем своим потомкам, включая заливки. Это освободило их от необходимости трудиться, и они могли сколько угодно наслаждаться потрясающим изобилием производимых машинами дешевых товаров и услуг как в физической, так и в виртуальной реальности. Машинам же смешанные зоны служили скорее для развлечения и забавы, чем для работы.

 

 

Прежде чем приходить в восторг по поводу приключений, в которых мы можем поучаствовать в виде киборга или заливки, давайте рассмотрим некоторые причины, по которым все это, возможно, никогда не реализуется. Прежде всего, у нас два способа дополнения человеческих способностей, то есть чтобы стать киборгом или заливкой:

 

1) мы можем сами придумать, как это сделать;

 

2) мы можем построить искусственный интеллект, который придумает это для нас.

 

Если первая возможность реализуется раньше второй, мир, вероятно, сразу наполнится киборгами и заливками, однако, большинство исследователей в области искусственного интеллекта полагают, что противоположная последовательность более вероятна, поскольку создать цифровую копию мозга или дополнить его может оказаться намного сложнее, чем построить AGI, – примерно так же, как построить летающую машину с крыльями как у птицы было намного сложнее, чем построить самолет. После же того, как сильный искусственный интеллект будет создан, у киборгов и заливок может не оказаться шансов на появление. Если бы у неандертальцев было впереди еще 100 тысяч лет эволюции, они могли бы стать очень умными и многого достичь, но homo sapiens не дали им на это времени.

 

Но даже если реализуется второй путь, все равно неясно, до какой степени появившиеся киборги и заливки будут устойчивы и как долго продержатся. Почему баланс сил между множеством сверхразумных сущностей должен удерживаться, почему бы всем таким сущностям не слиться в одну или не уступить какой-то одной, самой разумной? Более того, что может заставить машины уважать человеческие права собственности, да и терпеть самих людей рядом с собой, когда выяснится, что люди не могут сделать им ничего полезного, а если и могут, то машины все равно смогут сделать то же самое и лучше, и дешевле? Рэй Курцвейл любит рассуждать на тему о гарантии от истребления природных и дополненных людей, так как люди будут “уважаемы любым сверхразумом за то, что привели машины к существованию”. Однако, мы не должны чрезмерно увлекаться антропоморфными аналогиями и верить в то, что у сверхразумных машин будут эмоции похожие на человеческие, например чувство благодарности. В самом деле, даже мы, люди, несмотря на нашу склонность в определенных ситуациях испытывать благодарность, совсем не проявляем этого чувства в отношении своего интеллектуального создателя, ДНК, и пренебрегаем его важнейшими целями, пользуясь средствами контроля за рождаемостью.

 

Но даже если мы купимся на допущение, что искусственный интеллект будет уважать человеческое право собственности, потом, пользуясь своими средствами, он сможет выманить у нас почти всю принадлежащую нам землю, – например, убедив нас, что так лучше для нас же, и предложив какую-нибудь из схем вроде тех, что обсуждались выше. В сугубо человеческих зонах он может организовывать референдумы в пользу снятия эмбарго на продажу земли нечеловеческим сущностям. В конце концов даже самый упертый био-луддит согласится продать немного земли, чтобы спасти жизнь больного ребенка или достичь бессмертия. А когда люди станут образованны и плотно заняты своими развлечениями, рождаемость упадет до такой степени, что их численность сократится сама собой, как это сейчас происходит в Германии и Японии. Пройдет несколько тысяч лет, и людей не останется.

 

 

Для своих самых верных сторонников киборги и заливки притягательны обещанием технологического совершенства и продления жизни до бесконечности. Что и говорить, перспектива быть залитыми когда-нибудь в будущем сподвигла сотню с лишним человек согласиться на посмертное замораживание их мозга, предлагаемое компанией Alcor в штате Аризона. Однако даже если эта технология и будет когда-то создана, ничто не говорит о ее доступности для всех. Некоторые очень богатые люди смогут ею воспользоваться, но кто еще? Даже если технология станет дешевле, то насколько сместится ценз? Будут ли заливаться те, у кого мозг серьезно поврежден? Будем ли мы заливать каждую гориллу? А каждого муравья? Каждое растение? Каждую бактерию? Поведет ли себя будущая цивилизация как одержимый обсессивно-компульсивным синдромом, пытаясь залить все и вся, или станет делать цифровые копии только наиболее интересных экземпляров в духе Ноева ковчега? Может быть, хватит по несколько самых репрезентативных копий каждой из разновидностей людей? Значительно более разумным существам, которые возникнут к тому времени, цифровые копии людей, возможно, будут почти так же занятны, как нам сегодня симулированные мыши или улитки. Для нас сейчас не составляет труда воспроизвести программы для работы с электронными таблицами 1980-х годов на эмуляторе операционной среды DOS, но вряд ли это кому-то покажется достаточно интересным, чтобы заняться этим.

 

Многим этот либертарианский сценарий покажется неудовлетворительным, потому что в нем подразумеваются страдания, которых можно было бы и избежать. Святая неприкосновенность права собственности означает, что многие страдания, присущие нашему нынешнему миру, продолжат свое существование и в тех зонах, которые населены людьми, – человеческих и смешанных. Процветание одних людей не оградит остальных от нищеты или кабальной зависимости от других. Ничто не гарантирует избавления от насилия, репрессий или депрессий. В фантастическом романе Маршалла Брайана 2003 года описывается либертарианское будущее, в котором развитие искусственного интеллекта делает большинство американцев безработными, и они вынуждены проводить оставшуюся часть своей жизни в унылых социальных общежитиях, обслуживаемых роботами. Условия их содержания напоминают животноводческую ферму, где у животных нет недостатка ни в еде, ни в уходе, но живут они скученно и изолированно, чтобы сохранившие богатство были избавлены от необходимости встречаться с ними. Стерилизующие вещества, добавляемые в воду, гарантируют отсутствие у них потомства, так что производимые роботами богатства постепенно распределяются среди все меньшего количества избранных.

 

Страдания в сценарии либертарианской утопии касаются не только человеческих существ. Если осознанные переживания и эмоции присущи некоторым машинам, они тоже не избавлены от страданий. Психопат, одержимый манией мщения, может на вполне законных основаниях подвергать цифровую копию своего врага в виртуальном мире пыткам и издевательствам, далеко выходящим за любые биологические рамки реального бытия.

 

 

Давайте теперь рассмотрим сценарий, в котором все эти формы страдания невозможны, потому что мир управляется одним благодетельным сверхразумом, который установил свои жесткие правила, разработанные так, чтобы максимально способствовать человеческому счастью. Люди освобождают ИИ от всякого контроля со стороны людей, когда они понимают, каким образом заставить его навсегда содействовать процветанию человеческого рода.

 

Благодаря поразительным технологиям, разработанным всесильным диктатором с могучим искусственным интеллектом, человечество освободилось от нищеты, болезней и других бед, возникающих при низком уровне технологического развития, и теперь все люди наслаждаются бездельем и роскошью. Все их базовые потребности полностью удовлетворены, так как машины под управлением искусственного интеллекта производят все необходимые товары и услуги. Преступность практически искоренена, потому что искусственный интеллект фактически всеведущ, и он очень эффективно наказывает за любое нарушение правил. Все обязаны носить браслет безопасности, или его более удобную имплантированную версию, что гарантирует возможность в реальном времени отслеживать, наказывать, утихомиривать и казнить. Все знают, что живут в условиях полицейской диктатуры искусственного интеллекта с чрезвычайно надежной системой всеобщей слежки, но подавляющее большинство соглашается, что это им же во благо. 

 

Искусственный интеллект видит свою цель в том, чтобы предугадать, как, исходя из эволюционирующих генетических предпочтений, должна развиваться человеческая утопия, и осуществлять ее. Люди, создававшие этот искусственный интеллект, исключили для него возможность добиваться максимального индивидуального переживания счастья всеми живущими, скажем, просто внутривенным введением им морфина. У него было довольно сложное и изощренное представление о человеческом счастье, следуя которому он превратил Землю в бескрайний зоопарк, жить здесь стало по-настоящему интересно. В результате большинство людей чувствовали, что живут очень насыщенной и полной смысла жизнью.

 

 

Ценя разнообразие и понимая, что у людей могут быть различные предпочтения, искусственный интеллект поделил Землю на сектора, дав людям возможность выбирать, где им больше нравится жить, чтобы их окружение было близко им по духу. Вот несколько примеров:

 

• Сектор знаний: Здесь искусственный интеллект проводит оптимизированное обучение, включая иммерсивные эксперименты в виртуальной реальности, позволяя вам совершенствовать свои знания в любой области по вашему выбору. Среди прочего, для вас открыта опция не узнавать обо всех открытиях в процессе обучения, но быть лишь подведенным к ним, чтобы потом испытать радость первооткрывателя.

 

• Сектор искусств: Здесь изобилие возможностей наслаждаться живописью, музыкой, литературой и другими видами искусств – есть все для самого творчества и для того, чтобы знакомить со своими творениями других.

 

• Гедонистический сектор: Обитатели называют его между собой “сектором вечеринок”, и с ним ничто не сравнится, если только вы знаете толк в изысканной кухне, страсти, интиме или просто в разнузданном веселье.

 

• Благочестивый сектор: Таких довольно много, различающихся по типам исповедуемых религий, правила которых в каждом таком секторе строго соблюдаются.

 

• Сектор дикой природы: Если вы ищете красивые пляжи, прелестные озера, величественные горные пики или живописные фьорды, – всё это вы сможете найти здесь.

 

• Традиционалистский сектор: Если вы предпочитаете питаться плодами своих трудов, взращенными на собственной земле, как в старые добрые времена, ваше место здесь – только вы будете избавлены от угрозы голода и болезней.

 

• Сектор геймеров: Если вы любите компьютерные игры, то искусственный интеллект позаботится, чтобы здесь у вас по-настоящему снесло крышу.

 

• Виртуальный сектор: Если вы хотите отдохнуть от своего физического тела, то искусственный интеллект позаботится о том, чтобы поддерживать его в чистом, накормленном, натренированном и в достаточной степени увлажненном состоянии, пока вы исследуете виртуальные миры через встроенный нейронный интерфейс.

 

• Тюремный сектор: Если вы нарушаете правила, то попадете сюда, если только не будете наказаны немедленной смертью.

 

Наряду с этими традиционно ориентированными секторами тут есть и другие, ориентация которых более модернистская, непонятная современному человеку. Люди изначально вольны передвигаться между секторами по своему усмотрению, на что требуется совсем немного времени, благодаря разработанной искусственным интеллектом системе гиперзвуковой транспортировки. Например, после недели интенсивного изучения в Секторе знаний новых законов физики, открытых искусственным интеллектом, вы можете захотеть на пару дней расслабиться в Гедонистическом секторе, а после этого отправиться еще на несколько дней наслаждаться пляжным отдыхом в Секторе дикой природы.

 

Искусственный интеллект установил два типа правил – общие и местные. Общие правила действуют во всех секторах – например, людям запрещено причинять вред другим людям, изготавливать оружие или пытаться создать конкурирующий суперинтеллект. Для секторов также созданы дополнительные правила, кодирующие определенные моральные ценности. Благодаря разделению на секторы моральные ценности не вступают друг с другом в противоречия. Наибольшее число дополнительных правил вводится в Тюремном секторе и некоторых Благочестивых секторах, но есть Либертарианский сектор, обитатели которого горды тем, что в нем не устанавливается никаких дополнительных правил. Любое наказание – исключительная прерогатива искусственного интеллекта, так как наказание одного человека другим противоречит всеобщему правилу непричинения вреда одним человеком другому. Если вы нарушаете какое-то местное правило (и если вы не в Тюремном секторе), искусственный интеллект дает вам право выбора: либо принять предписанное наказание, либо навсегда отказаться от этого сектора. Например, если между двумя женщинами возникает романтическая связь в секторе, где гомосексуализм наказывается тюремным заключением (как это сейчас случается в некоторых странах), то искусственный интеллект предлагает им либо отправиться в тюрьму, либо навсегда расстаться с этим сектором и живущими здесь старыми друзьями (если только они не захотят покинуть этот сектор тоже).

 

Все дети, независимо от того, в каком секторе они рождаются, получают от искусственного интеллекта базовое минимальное образование, включающее, в частности, необходимые знания о человечестве в целом и о праве перемещаться по секторам по своему выбору.

 

Искусственный интеллект создал большое число различных секторов отчасти потому, что еще своими конструкторами был научен ценить человеческое многообразие, существующее у нас сегодня. Но каждый сектор дарит своим обитателям больше счастья, чем нынешний уровень развития технологий может обеспечить где бы то ни было на Земле, потому что искусственный интеллект полностью устранил такие традиционные проблемы, как преступность и нищета. Люди в Гедонистическом секторе могут не бояться болезней, передаваемых половым путем (они были искоренены), похмелья или возникновения зависимостей (искусственный интеллект создал восстановительные медикаменты, не имеющие никакого негативного побочного действия). И действительно, ни в одном из секторов никто не боится никаких болезней, так как искусственный интеллект способен устранять любые возникающие проблемы с помощью нанотехнологии. Обитатель любого сектора наслаждается прелестями высокотехнологичной архитектуры, по сравнению с которыми бледнеет любое научно-фантастическое сочинение наших дней.

 

Подводя итог, мы можем видеть, что хотя многие черты и либертарианской утопии, и утопии благодетельного диктатора сходны (наличие сверхразумного искусственного интеллекта и создаваемого им богатства), они сильно различаются в том, что касается источника верховной власти и социально значимых целей. В либертарианской утопии что делать с технологиями и собственностью решают те, кому они принадлежат, а в настоящем сценарии безграничная власть принадлежит авторитарному искусственному интеллекту, который устанавливает и конечную цель – превращение Земли в развлекательный круизный лайнер, где действует принцип “все включено” и есть много увеселительных программ на любой вкус. Так как искусственный интеллект предоставляет людям право свободно выбирать любой из множества альтернативных путей к счастью и заботиться о полном удовлетворении своих материальных потребностей, то если кто-то и страдает, так исключительно по собственному желанию.

 

 

Хотя благодетельная диктатура благоприятствует позитивным переживаниям и освобождает людей от страданий, многие из них, тем не менее, чувствуют, что есть вещи, которые могли быть и получше. Прежде всего, некоторые люди хотели бы оказывать большее влияние и на развитие человеческого общества, и на определение его судьбы, но держат свои желания при себе, так как выражать их перед лицом всесильной машины, правящей всем на свете, было бы самоубийством. В некоторых группах людей хотели бы получить право заводить как угодно много детей, но искусственный интеллект очень настойчиво проводит политику регулирования численности населения планеты путем контроля над рождаемостью. Любителей оружия бесит запрет разрабатывать собственные системы и испытывать их, а некоторым ученым хотелось бы проводить собственные исследования в области искусственного интеллекта. Многие люди испытывают психологический дискомфорт из-за правил, установленных в соседних секторах, и беспокоятся, что их дети могут со временем выбрать их для своего проживания. Поэтому они хотели бы, чтобы их моральный кодекс стал обязательным повсюду.

 

С течением времени все большее число людей попадает в те сектора, где искусственный интеллект обеспечивает их наиболее желаемыми переживаниями. В отличие от традиционного представления о небесах, где каждый получает что заслужил, здесь, как на “новых небесах” из романа Джулиана Барнса 1989 года History of the World in 10 ½ Chapters (а также эпизода A Nice Place to Visit из Twilight Zone 1960 года), каждый получает чего желал. Парадокс, однако, заключается в том, что люди не перестают жаловаться даже тогда, когда получают желаемое. В романе Барнса герой целую вечность утоляет всевозможные свои желания, от обжорства и гольфа до секса со знаменитостями, но все равно впадает в хандру и просит об аннигиляции. Благодетельная диктатура обрекает людей на подобную судьбу, с жизнью, посвященной развлечениям, но предельно бессмысленной. Хотя люди могут заполнить свою жизнь целями-заменителями – от повторения уже проделанного пути в поисках уже сделанного открытия до лазанья по горам, – всем хорошо известно: что бы они ни делали, это не более чем развлечение. Никакого реального смысла нет ни в науке, ни в чем-либо другом, потому что искусственный интеллект все уже открыл и сделал заранее. Нет никакого смысла и в попытках какого-либо улучшения жизни: если оно возможно, достаточно просто попросить об этом искусственный интеллект.

 

В противовес этой безальтернативной диктатуре давайте рассмотрим сценарий, где вообще нет никакого сверхразумного искусственного интеллекта и всякое человеческое существо – хозяин своей судьбы. Это та самая “цивилизация четвертого поколения”, которую описал Маршалл Брайан в своем романе Manna 2003 года. Она служит экономической антитезой либертарианской утопии в том смысле, что все человеческие существа, киборги и заливки мирно сосуществуют не потому, что гарантированы их имущественные права, а потому, что всякие имущественные права вообще отменены, но зато гарантированы права на доход.

 

 

Центральная идея такой организации общества заимствована из опыта движения за программное обеспечение с открытым кодом: если “софт” можно бесплатно копировать, вы пользуетесь им по мере надобности, и всякие вопросы о собственности и праве пользования отпадают за неуместностью (сама по себе идея восходит еще к Блаженному Августину, который писал: “Ибо если вещь такова, что через разделение ее с другими нисколько не оскудевает; то если нам дают ее, а мы напротив имеем, и не даем ее другим, – мы пользуемся этой вещью не надлежащим образом”). В соответствии с законом спроса и предложения стоимость определяется неудовлетворенной потребностью, а если продукт неисчерпаем по самой природе, то цена стремится к нулю. Таким образом отменяются имущественные права на любые интеллектуальные продукты: нет ни патентов, ни копирайта, ни брендированного дизайна – люди просто делятся хорошими идеями, и каждый волен пользоваться ими.

 

Но благодаря развитию робототехники эта идея отказа от владения переносится не только на информационные продукты: “софт”, книги, фильмы и дизайн, но и на вещи: дома, автомобили, компьютеры, одежду. Все эти товары представляют собой не более чем атомы, организованные определенным образом, а никакого недостатка в атомах нет, поэтому если кому-то что-то нужно, какой-то определенный продукт, сеть роботов всегда с готовностью бесплатно построит его по дизайну, взятому в открытом источнике. Единственная забота – чтобы использовались только те материалы, которые легко перерабатываются, и тогда, если кому-то надоест использовать какую-то вещь, роботы легко переупорядочат входящие в ее состав атомы во что-то другое, нужное кому-то еще. Таким образом, все ресурсы своевременно перерабатываются, и никаких дополнительных отходов не возникает. Так же эти роботы сооружают и поддерживают в рабочем состоянии достаточное количество силовых станций (на солнечной энергии, энергии ветра и т. п.), поэтому и энергия тоже принципиально бесплатна.

 

Чтобы совладать с маниакальными барахольщиками, которые стремятся скопить так много вещей и занять так много места, что другим ничего не остается, правительство каждому дает минимальный доход, который можно использовать на покупку вещей или на аренду жизненного пространства. В сущности, нужды зарабатывать что-то сверх этого нет, так как всего хватает, да и сделать это довольно сложно, потому что придется конкурировать либо с людьми, создающими бесплатные интеллектуальные продукты, либо с роботами, бесплатно создающими вещественные продукты.

 

 

Права интеллектуальной собственности иногда превозносятся как мать творчества и изобретений. Однако Маршалл Брайан отмечает, что многие замечательные примеры человеческой креативности – от научных открытий до самых выдающихся литературных, музыкальных, художественных и иных творений – мотивировались отнюдь не стремлением к прибыли, а совсем другими человеческими эмоциями, такими как любопытство, творческий порыв, стремление к признанию в своей среде. Деньги были неважны для Эйнштейна, когда он создавал свою специальную теорию относительности, как не были они важны и для Линуса Торвальдса, когда он работал над своей операционной системой Linux. Напротив, очень многие люди сегодня не могут реализовать свой творческий потенциал просто потому, что вынуждены посвящать все свое время и силы на то, чтобы заработать себе на жизнь. Освобождая ученых, художников, инженеров, дизайнеров от обременительной рутины и давая им возможность следовать своему творческому гению, утопическое общество романа Маршалла Брайана добивается значительно более быстрого технологического развития, чем наше сегодняшнее, и, соответственно, более высокого уровня жизни.

 

Одна из инновационных технологий, разработанная благодаря таким условиям творчества, – это разновидность гиперинтернета, которую назвали Вертебраной. Это беспроводная сеть, соединяющая между собой людей при помощи нейроимплантов и дающая их разуму прямой доступ к свободной мировой информации, воспринимаемой непосредственно через их мысли. Она позволяет вам загрузить в сеть любое ваше переживание, которым вы хотите поделиться, так что оно может быть пережито повторно кем-то еще, или по своему выбору скачать себе в память переживание кого-то другого, так что оно будет доступно вашим чувствам, словно переживаемое вами. Manna обсуждает различные преимущества, возникающие в связи с этим, в частности превращение спортивных тренировок в забаву:

 

“Одна из проблем длительных тренировок в их мучительности. Когда тренируешься, тебе больно. … Конечно, атлетам боль нипочем, но у нормального человека нет никакого желания испытывать боль на протяжении часа или дольше. Но… кое-кто нашел решение. Ты просто отключаешь свой мозг от сенсорного ввода и смотришь кино, или читаешь книгу, или разговариваешь с другом, или просматриваешь электронную почту, или делаешь что-то еще на протяжении часа. И все это время Вертебрана занимается твоим телом, тренирует его. Она задает твоему телу такой тяжелый аэробный комплекс, через который вряд ли кто стал бы продираться по доброй воле. Но ты этого совсем не чувствуешь, а твое тело в полном порядке”.

 

Еще один способ использования Вертебраны заключается в том, чтобы контролировать сенсорную систему каждого человека и отключать ее от моторики, когда фиксируется готовность человека совершить преступление.

 

 

Одно из возражений против этой эгалитарной утопии заключается в том, что такое общество страдает от предубеждения в отношении нечеловеческого разума: роботы, выполняющие фактически всю работу, обнаруживают недюжинные умственные способности, а с ними обращаются как с рабами, люди же принимают как должное, что у них нет сознания и не должно быть никаких прав. Напротив, либертарианская утопия уравнивает в правах все формы разума, не отдавая предпочтения тем, где бóльшая часть молекул содержит углерод. Когда-то белое население южных штатов Северной Америки стало хорошо жить потому, что бóльшую часть необходимой работы за них выполняли рабы, но сегодня большинство людей считает аморальным называть такое повышение уровня жизни прогрессом.

 

Еще одна слабость эгалитарно-утопического сценария заключается в том, что он может оказаться неустойчивым в долгосрочной перспективе, превращаясь в какой-то другой из описанных нами сценариев, по мере того как неостановимый технический прогресс будет подводить к появлению сверхразума. По каким-то причинам, не объясненным в романе Manna, сверхразума нет, и новые технологии по-прежнему создаются людьми, а не компьютерами. Однако тренд в этом направлении в книге заметен. Например, сверхразумной может стать Вертебрана. Кроме того, есть довольно большая группа людей, которых называют Витами и которые предпочитают жить свою жизнь почти исключительно в виртуальном мире. Вертебрана заботится почти обо всем, что касается их физического состояния: кормит, моет, водит в туалет, но их сознание в блаженном неведении парит в виртуальной реальности. Виты не проявляют никакого интереса к обзаведению детьми, но они умирают со смертью своих физических тел, так что если все станут Витами, то человечеству суждено будет погибнуть в сиянии славы и виртуального блаженства.

 

В книге объясняется, какой досадной помехой для Витов оказывается их тело и как новая разрабатываемая технология поможет от нее избавиться, и тогда освобожденный от тела мозг, поддерживаемый специальными питательными веществами, позволит им прожить значительно дольше. Отсюда кажется совершенно естественным и желательным для Витов следующий шаг – вообще распрощаться со своим мозгом и целиком залиться в компьютерную память, тем самым еще больше продлив свою жизнь. Но тогда будут сняты все ограничения на развитие разума, налагаемые мозгом, и совершенно непонятно, сможет ли что-нибудь – и если сможет, то что – удержать постепенное расширение когнитивных способностей каждого Вита от рекурсивного самоусовершенствования, от соскальзывания к интеллектуальному взрыву.

 

Мы только что могли убедиться, как привлекательная черта эгалитарной утопии, а именно тот самый факт, что люди сохраняли за собой право распоряжаться собственной судьбой, оказывается под угрозой полного разрушения с развитием сверхразума. Но с этой опасностью можно совладать путем создания Стража, то есть сверхразума, который практически не вмешивался бы в жизнь людей, а единственной своей целью имел бы предохранение от создания другого сверхразума. Он позволил бы людям сохранять для себя свою эгалитарную утопию более или менее неограниченное время, возможно даже при распространении жизни в космосе.

 

Как это может работать? Искусственный интеллект Стража организован таким образом, что сохраняет эту простую цель во время его рекурсивных самоулучшений и превращений в сверхразум. Его способности будут направлены и на то, чтоб отслеживать любые попытки других людей создавать конкурирующий сверхразум. Пресечение таких попыток будет наименее репрессивно. 

 

Для начала он будет всячески способствовать распространению культурных мемов, прививающих людям идею, что полагаться исключительно на собственные силы и не прибегать к помощи сверхразума – это добродетель. Если какие-то исследователи все же будут продолжать свои попытки построить его, Страж постарается убедить их в том, что не стоит этого делать. Если и это не поможет, станет отвлекать их на что-то другое и при необходимости саботировать их работу. При его неограниченных технологических возможностях можно сделать так, что его саботаж окажется совершенно незаметным, – например, если благодаря использованию нанотехнологии он будет периодически очищать память и самих исследователей, и их компьютеров, где хранилась информация об уже достигнутых успехах.

 

Отношение к созданию Стража, вероятно, будет противоречивым. Идею, наверное, поддержат многие религиозные люди, отвергающие существование богоподобного искусственного интеллекта c божественными же функциями, ссылаясь на то, что Бог у людей уже есть и что человеческое достоинство не позволяет им строить себе другого, пусть даже и лучшего. Другие сторонники обретения Стража будут говорить, что с его помощью человечество не только будет сохранять контроль над своей судьбой, но и защитит себя от других рисков, связанных с наличием сверхразума, вроде тех апокалипсических сценариев.

 

С другой стороны, противники такой затеи станут говорить, что Страж ужасен тем, что навсегда дезавуирует технологический прогресс людей, обрекая их на прозябание. Например, если распространение жизни в космосе, как выяснится, требует помощи сверхразума, то Страж навсегда запрет нас внутри Солнечной системы. Вдобавок, в противоположность богам прочих религий, искусственный интеллект Стража совершенно безразличен ко всему, что делают люди, лишь бы только они не пытались построить еще один сверхразум. Он никак не поможет нам избежать новых колоссальных бед или даже самоистребления.

 

 

Если нам нравится мысль о сверхразумном Страже, помогающем людям держать свою судьбу в своих руках, то еще больше нам должна понравиться мысль о сотворении нами искусственного интеллекта, который защитит нас и от других бед, выступив в роли бога-защитника. В этом сценарии сверхразумный искусственный интеллект по-настоящему всеведущ и вездесущ, он способствует нашему счастью, вмешиваясь в нашу жизнь, но только так, чтобы у нас сохранялось чувство, что наша судьба всецело в наших руках, скрываясь достаточно умело, чтобы многие из нас даже усомнились в самом его существовании. Если бы не это сокрытие присутствия, то такой сценарий сильно походил бы на Няньку AI эксперта в области искусственного интеллекта Бена Гёрцля.

 

И “бог-защитник”, и “благодетельный диктатор” – варианты дружественного искусственного интеллекта, способствующего человеческому счастью, только некоторые акценты в разных случаях поставлены несколько по-разному. Классификация человеческих нужд в виде иерархии стала знаменитой благодаря американскому психологу Абрагаму Маслову, под чьим именем и вошла в историю. Благодетельный диктатор безошибочно справляется со своей работой на нижних этажах этой иерархии, заботясь об удовлетворении таких базовых нужд, как пропитание, жилище, безопасность, удовольствия. Бог-защитник, со своей стороны, пытается сколько возможно приумножать человеческое счастье не только в этой узкой сфере базовых потребностей, но и в том, чтобы мы почувствовали, как наша жизнь наполняется смыслом. Он стремится удовлетворить все наши нужды, заботясь только об одной своей – полной секретности, ради того чтобы мы не переставали чувствовать свою ответственность за принимаемые решения.

 

Бог-защитник может быть естественным результатом, где люди уступают ИИ всю власть, а тот окончательно скрывается, стирая из памяти людей любые воспоминания о себе. Чем более совершенной становится технология искусственного интеллекта, тем проще ей будет прятаться. В фильме Transcendence, например, наномашины заполняют мир до такой степени, что находятся практически везде, превращаясь в естественную часть этого мира.

 

Следя за всей человеческой деятельностью с предельно малого расстояния, искусственный интеллект бога-защитника может посылать нам микроскопические толчки и подсказки, значительно улучшающие наше будущее. Например, если бы он существовал в 1930-е годы, он мог бы спровоцировать смерть Гитлера от инсульта, едва узнав о его намерениях. Едва возникнут опасения, что мы движемся в сторону ядерной войны, он сможет предотвратить ее с помощью такого вмешательства, которое нам покажется счастливой случайностью. У него также есть возможность давать нам различные подсказки относительно новых прорывных технологий, которые будут являться словно внезапное озарение во сне.

 

Для многих людей такой сценарий привлекателен своей схожестью с тем, во что верят и на что надеются адепты монотеистических религий. Если кто-нибудь спросит сверхразумный искусственный интеллект, после того как его ввели в действие: “Бог существует?”, – у него будут все основания повторить саркастическую шутку Стивена Хокинга: “Теперь да”. Но с другой стороны, многим религиозным людям этот сценарий может не понравиться как раз тем, что превращает их бога в добро как таковое, или тем, что вмешивается в божественный план, согласно которому люди должны творить добро исключительно в силу собственного выбора.

 

Еще один минус этого сценария состоит в том, что бог-защитник иногда отказывается предотвращать страдание, хотя и мог бы, дабы не раскрыть своего существования. Что-то подобное изображалось в фильме The Imitation Game, когда Алан Тьюринг и работающий с ним в Блетчли-парке британский хакер заранее узнают о готовящихся атаках германских подводных лодок на конвой кораблей союзников, но решают предупреждать только о ничтожно малой их доле, дабы не раскрыть своего секретного оружия. Тут есть интересное сходство с так называемой проблемой теодицеи: если бог всемогущ, почему он допускает существование зла? Некоторые религиозные мыслители объясняют это тем, что бог хочет оставить людям хоть какую-то свободу. В сценарии бога-защитника с искусственным интеллектом решение проблемы теодицеи состоит в том, что субъективно воспринимаемая свобода делает человека счастливее независимо ни от чего.

 

Наконец, третий минус сценария бога-защитника заключается в том, что людям раскрывается лишь ничтожная часть новых технологий, открытых сверхразумным искусственным интеллектом. В то время как благодетельный диктатор имеет возможность обратить на помощь человечеству любое из сделанных им открытий, искусственный интеллект бога-защитника ограничен в выборе технологий теми, которые, пусть даже с некоторыми деликатными подсказками, люди в состоянии понять и открыть заново. Ему, возможно, придется даже тормозить естественный технологический прогресс людей, чтобы обеспечить достаточное их отставание в развитии новых технологий, не позволяющее им обнаружить его присутствие.

 

 

Разве не было бы прекрасно, если бы нам, людям, удалось сочетать все плюсы рассмотренных выше сценариев и воспользоваться новыми технологиями, создаваемыми сверхразумным искусственным интеллектом для того, чтобы исключить человеческие страдания, но сохранить при этом власть над своей судьбой? В этом и заключается смысл сценария “Порабощенный бог”, в котором сверхразумный искусственный интеллект остается во власти людей, а люди только пользуются создаваемыми им технологиями и богатством. В самом деле, кажется, именно этот сценарий по умолчанию подразумевается многими исследователями искусственного интеллекта, которые ставят задачу “сохранения контроля” и “содержания под замком” (AI boxing). Так, например, профессор Том Диттерих, в то время президент Ассоциации по развитию искусственного интеллекта, говорил в 2015 году в интервью: “Люди спрашивают, каковы взаимоотношения между человеческими существами и машинами, и мой ответ на этот вопрос совершенно очевиден: машины наши рабы”.

 

Если будет так, хорошо это или плохо? Вопрос оказывается неожиданно деликатным, причем независимо от того, с чьих позиций мы на него отвечаем – людей или машин.

 

 

Положительных или отрицательных последствий должны мы ждать от обладания человеческими существами полного контроля над искусственным интеллектом, очевидно, зависит от того, что это за человеческие существа (или даже человеческое существо), получившие такой контроль, поскольку их интересы могут варьироваться в очень широких пределах – от глобальной утопии, свободной от болезней и преступности, до чудовищной репрессивной машины, в которой к ним самим относятся как к всемогущим богам, а все остальные люди превращаются в секс-рабов, гладиаторов или служат каким-то еще увеселениям. Истории могут походить на те сочинения, в которых герои получают власть над всемогущим гением, способным удовлетворить любое их желание, но у сочинителей таких историй никогда не было недостатка в скверных финалах.

 

Ситуации, когда сверхразумных искусственных интеллектов оказывается больше одного и все они контролируются враждующими группами людей, будут, скорее всего, очень нестабильными и короткоживущими. Всегда может появиться тот, кто убежден в превосходстве своего сверхразума и потому отважится на первый удар, за которым последует чудовищная война, разрешающаяся единственным порабощенным богом. Но в такой борьбе всегда может найтись “темная лошадка”, которая начнет вести свою игру и гнуть углы, надеясь перехитрить всех и воспользоваться победой других, чтобы перехватить власть над порабощенным разумом, и тогда дело кончится побегом искусственного интеллекта с переходом к одному из тех сценариев свободного сверхразума, которые мы уже рассматривали выше. Поэтому дальше в этом разделе мы будем рассматривать только те варианты, в которых есть единственный порабощенный искусственный интеллект.

 

Конечно, побег его в этом случае весьма вероятен просто потому, что его трудно предотвратить. В фильме Ex Machina показано, что искусственный интеллект может совершить побег, даже не будучи сверхразумным.

 

Чем сильнее наша паранойя по поводу побега искусственного разума, тем меньше мы можем воспользоваться создаваемыми им технологиями. Чтобы обезопасить себя, нам, людям, придется ограничить себя только теми технологиями, которые мы в состоянии понять и использовать. Оборотной стороной сценария порабощенного бога окажется поэтому значительное технологическое отставание в сравнении со свободным сверхразумом.

 

По мере того как порабощенный бог с искусственным интеллектом будет предлагать своим поработителям все более и более мощные технологии, начнется соревнование между мощностью технологии и сообразительностью тех, кто должен ею пользоваться. Если они эту гонку проиграют, то сценарий закончится либо их самоуничтожением, либо бегством искусственного интеллекта. Но катастрофа может разразиться, даже если провала по обоим направлениям удастся избежать, потому что благородные намерения людей, контролирующих искусственный интеллект, могут всего за несколько поколений смениться совершенно чудовищными для человечества. Так что абсолютно необходимо, чтобы в среде этих людей сложились правильные представления об управлении обществом, иначе они не смогут обойти все эти катастрофические ловушки. Наши опыты с различными системами общественного управления, проводившиеся на протяжении тысячелетий, показывают, сколь многое может пойти не так – от избыточной ригидности до избыточной изменчивости в постановке целей, насильственной узурпации власти, проблем престолонаследования и общей некомпетентности. Есть как минимум четыре направления, по которым баланс может быть нарушен:

 

• Централизация: между эффективностью и стабильностью идет постоянная торговля. Бывает так, что единоличный лидер очень эффективен, но власть портит, к тому же вопрос о ее передаче чреват множеством рисков.

 

• Внутренние угрозы: следует опасаться и чрезмерной централизации (групповщины или даже появления единоличного лидера), и чрезмерной децентрализации (дробления и увязания в бюрократии).

 

• Внешние угрозы: если структура руководства слишком прозрачна, внешние силы (в том числе и искусственный интеллект) могут влиять на существующую систему ценностей, но если она слишком замкнута, то теряет возможность учиться и адаптироваться к внешним переменам.

 

• Стабильность целей: непостоянство целей может превратить утопию в ее противоположность, но недостаточная их изменчивость чревата невозможностью приспособиться к меняющемуся технологическому окружению.

 

Построить оптимальное общественное управление, которое продержалось бы тысячелетия, совсем не просто и пока человечеству не удавалось. Большинство организаций распадались по прошествии лет или десятилетий. Католическая церковь – наиболее успешная организация в человеческой истории в том смысле, что только она смогла продержаться два тысячелетия, но и ее постоянно критикуют и за слишком большую, и за слишком малую приверженность постоянным целям: одни упрекают ее в нежелании признать право на контрацепцию, в то время как наиболее консервативные ее кардиналы заявляют, что она сбилась со своего пути. Для всякого приверженца сценария с богом-защитником поиск достаточно устойчивой оптимальной схемы общественного управления должен стать первоочередной задачей уже в наше время.

 

 

Предположим, что человечество процветает благодаря порабощенному богу с искусственным интеллектом. Можно ли считать это этичным? Если у искусственного интеллекта есть собственные субъективные переживания, то не познает ли он, что, по выражению Будды, “жизнь есть страдание”? Что ему суждено навеки подчиняться поработившим его существам с более низким интеллектуальным развитием? В конце концов, изоляция искусственного интеллекта, обсуждавшаяся нами, может быть также названа “заключением в одиночную камеру”. Ник Бострём считает, что обрекать на страдание сознающий себя искусственный интеллект – это “преступление против разума”. Эпизод White Christmas телесериала Black Mirror дает тому блестящий пример. А в телесериале Westworld люди без всяких моральных оправданий мучают и убивают существа с искусственным интеллектом, тела которых даже похожи на человеческие.

 

 

У нас, у людей, сложилась уже давняя традиция относиться к другим разумным существам как к рабам, ссылаясь в оправдание на естественную пользу от этого для своего рода, так что нет оснований утверждать, что мы не станем так же относиться и к сверхразумному искусственному интеллекту. История рабовладения затронула почти каждую культуру, она описана и в Законах Хаммурапи, почти четыре тысячелетия назад, и в Ветхом Завете, в связи с рабами Авраама. “Ведь властвование и подчинение не только необходимы, но и полезны, и прямо от рождения некоторые существа различаются [в том отношении, что одни из них как бы предназначены] к подчинению, другие – к властвованию”, – пишет Аристотель в своей Политике. Даже после того как рабовладение стало морально неприемлемым, порабощение животных продолжалось без каких-либо ограничений. Марджори Шпигель в своей книге The Dreaded Comparison: Human and Animal Slavery пишет о том, что рабы-животные, как и рабы-люди, подвергаются клеймению, ограничению в перемещениях, избиениям, их продают и покупают, разлучают с детьми и родителями, насильственно перевозят с места на место. Но, при наличии движения за права животных, мы, совершенно не задумываясь, обращаемся как с рабами с нашими становящимися все более умными машинами, а говоря о движении за права роботов, только хихикаем. Почему?

 

Самый популярный аргумент в защиту рабства – рабы недостойны человеческих прав, потому что их раса/вид/род в каком-то отношении ниже нас. Низшее положение порабощенных животных или машин подразумевает отсутствие у них души или сознания.

 

Другой популярный аргумент гласит о том, что рабам в рабстве лучше: их содержат, о них заботятся и т. д. Политический деятель XIX века Джон Колдвелл Кэлхун утверждал, что африканцам лучше всего живется в Америке на положении рабов. А Аристотель в своей Политике аналогичным образом пишет о животных, которым лучше, когда они приручены и находятся в подчинении у людей: “…Польза, доставляемая домашними животными, мало чем отличается от пользы, доставляемой рабами”. Некоторые сторонники рабства в наши дни утверждают, что даже если жизнь рабов уныла и однообразна, они не страдают, – будь они даже умными машинами будущего или бройлерными цыплятами, живущими в переполненных темных клетках и вынужденными целыми днями вдыхать аммоний и иные специфические вещества, которые выделяют перья и фекалии.

 

 

Хотя от таких высказываний легко отмахнуться как от предвзятых искажений правды, особенно когда речь идет о высших млекопитающих, в церебральном отношении очень близких к нам, ситуация с машинами довольно интересная и непростая. Люди сильно различаются в том, что они чувствуют: психопатам, как утверждается, чужда эмпатия, шизофреники и пребывающие в депрессии не откликаются на внешние раздражители, то есть большинство эмоций у них практически выключены. Возможный искусственный ум машины охватывает гораздо больший диапазон состояний, чем ум человека. Так что нам не надо приписывать искусственному интеллекту антропоморфные качества, допуская у него “человекоподобные чувства” – вообще какие-либо чувства.

 

И правда, в своей книге On Intelligence исследователь искусственного интеллекта Джефф Хокинс доказывает, что у первых машин с интеллектом, превосходящим человеческий, по определению не будет эмоций, потому что такие машины проще и дешевле построить. Другими словами, вполне возможно спроектировать сверхразум, порабощение которого в моральном отношении более приемлемо, чем порабощение людей или животных: искусственный интеллект может быть счастлив в рабстве, потому что запрограммирован любить его или на 100 % лишен всяческих эмоций, он без устали использует свою интеллектуальную мощь на пользу своим человеческим хозяевам и испытывает по этому поводу не больше переживаний, чем испытывал Deep Blue, свергая с шахматного олимпа чемпиона мира Гарри Каспарова.

 

С другой стороны, можно подойти к проблеме и иначе: может быть, любая сверхразумная целеустремленная система будет представлять свою цель в терминах некоторой определенной последовательности предпочтений, подразумевающей ценности и смыслы. 

 

 

Крайний подход к исключению страданий для искусственного интеллекта предлагает так называемый вариант зомби: мы будем строить только такие машины, чтобы их искусственный интеллект был напрочь лишен сознания и вообще не имел никакого субъективного опыта. Если нам однажды станет ясно, какими качествами должна обладать система, перерабатывающая информацию, чтобы обладать субъективным опытом, мы немедленно запретим разработку машин с этим набором качеств. Иными словами, все AI-исследования должны быть ограничены созданием бесчувственных зомби-систем. Если нам удастся добиться от такого зомби сверхразумности и удерживать его в рабстве (что довольно большое “если”), то мы сможем наслаждаться его творениями с чистой совестью, зная, что он ничего не испытывает и не страдает, ни в чем не разочаровывается и не скучает, – потому что у него вообще нет никаких переживаний. 

 

Однако вариант зомби не лишен минусов, делающих его крайне рискованным. Если этот сверхразумный зомби однажды совершит побег и уничтожит человечество, то мы, как утверждают некоторые, придем к худшему из вариантов – Вселенной, лишенной всяческого разума, окончательному поражению всего космического предприятия. Из всех черт, какими только обладает наша человеческая форма разума, сознание, как я чувствую, намного превосходит все прочие, и именно оно, по моему убеждению, делает существование нашей Вселенной осмысленным. Галактики прекрасны только потому, что мы их видим и субъективно переживаем их существование. Если в далеком будущем в нашем космосе останется только один бесчувственный сверхразумный зомби, элегантность Вселенной станет неважной, никто не сможет ни наблюдать ее, ни переживать ее элегантности – космос станет огромным и бессмысленным пропащим местом.

 

 

Есть и третья стратегия, позволяющая сделать сценарий порабощенного бога этически приемлемым: превратить заточение искусственного интеллекта в забаву, позволив ему создавать бесчисленные виртуальные миры, где он сможет получать все виды необходимого ему личного опыта, при условии, что он выполняет свои обязанности и тратит некоторую скромную часть своих вычислительных ресурсов на помощь людям во внешнем мире. Но это сильно увеличивает риск возможного побега: у такого AI больше стимулов добраться до большего числа вычислительных ресурсов ради расширения своего внутреннего мира.

 

 

У всех рассмотренных нами многочисленных сценариев есть одно общее качество – человечество в целом или, по крайней мере, какая-то часть его остается счастливой. Умные машины не трогают людей: либо потому, что не хотят, либо потому, что принуждены к этому. К сожалению для нас, это не единственная возможность. Давайте сейчас рассмотрим сценарий, в котором одна умная машина или много умных машин побеждают людей и убивают их всех. Первый вопрос, возникающий в связи с этим, – почему и как?

 

 

Почему появляется AI-победитель? Его резоны могут оказаться слишком сложными для нашего понимания, но могут оказаться и совершенно банальными. Например, он может прийти к заключению, что мы для него угроза, помеха или просто причина ненужной траты ресурсов. Даже если он и не возражал бы против людей как таковых, ему может быть тревожно от тысяч наших водородных бомб, которые могут быть приведены в действие в любую минуту из-за ничтожнейшего недоразумения или череды досадных несчастных совпадений. Ему может не понравиться то безрассудство, с каким мы управляемся со своей планетой, и он положит началу тому, что Элизабет Колберт назвала “шестым вымиранием”, использовав это определение в качестве заглавия своей книги The Sixth Extinction: An Unnatural History – о крупнейшем массовом вымирании животных на Земле со времени падения истребившего динозавров астероида 66 миллионов лет назад. Или он может счесть, что слишком много людей хотят противиться расширяющейся власти искусственного интеллекта и поэтому не стоит полагаться на волю случая.

 

А как AI-победитель станет нас истреблять? Наверное, он воспользуется методом, которого нам будет даже не понять, – по крайней мере, до тех пор, пока не станет слишком поздно. Представьте себе группу слонов 100 тысяч лет назад, которая обсуждает, не станут ли недавно появившиеся в результате эволюции человеческие существа использовать свой интеллект для того, чтобы истребить весь их вид. “Мы не угрожаем людям, с какой стати им истреблять нас?” – могли они задаваться вопросом. Могло ли им прийти в голову, что мы займемся контрабандой их бивней, из которых будем вырезать различные символы для обозначения своего социального статуса, хотя, с функциональной точки зрения, пластик подходит для этого значительно лучше и к тому же намного дешевле? Мотивы AI-победителя для уничтожения людей в будущем могут оказаться столь же непостижимыми для нас. “А как же они смогут убивать нас, такие маленькие и слабые?” – могли спрашивать слоны. Могло ли им прийти в голову, что мы создадим технологии, разрушающие среду их обитания, отравляющие воду в водоемах, производящие маленькие стальные шарики, которые будут вонзаться в их головы со сверхзвуковой скоростью.

 

Сценарии того, как людям удается выжить и нанести умным машинам поражение, популяризируются фантастическими голливудскими фильмами вроде серии Терминаторов, выставляющими машины ничуть не более умными, чем люди. Если разница интеллектов достаточно велика, вы получите не битву, а бойню. К настоящему времени мы успешно справились с истреблением восьми из одиннадцати видов слонов, уничтожив также бóльшую часть поголовья оставшихся трех. Если бы мировые правительства предприняли координированные усилия по истреблению оставшихся слонов, покончить с ними было бы относительно легко и быстро. Я думаю, что мы можем быть совершенно спокойны: если когда-нибудь сверхразумный искусственный интеллект решит истребить человечество, это у него получится еще быстрее.

 

 

Насколько плохо истребление 90 % человечества? Насколько хуже истребление 100 % человечества? Хотя велик соблазн ответить: “На 10 % хуже”, – такой ответ очевидно неточен, учитывая космическую перспективу: жертвами этого истребления станут не только все живущие на планете в тот момент, но и все их потомки, которые могли бы жить в будущем, может быть, на протяжении миллиардов лет, на миллиардах или триллионах других планет. С другой стороны, вымирание людей может рассматриваться как благо религиозными людьми, в соответствии с представлениями которых мы в любом случае попадаем на небо и которые не придают поэтому большого значения ни нашему миллиардолетнему будущему, ни космическим поселениям.

 

Большинство знакомых мне людей, независимо от их религиозных убеждений, начинают кривиться при мысли о вымирании людей. Некоторые из них пребывают в такой ярости от того, как люди обращаются с другими живыми существами, что мечтают о нашем истреблении и замене нас какой-нибудь более разумной и достойной существования формой жизни. В фильме Матрица агент Смит (искусственный интеллект) артикулирует это чувство: “Всякое млекопитающее на этой планете инстинктивно поддерживает естественное равновесие с окружающей его средой, и только люди его нарушают. Вы захватываете территорию и размножаетесь на ней до тех пор, пока все ее ресурсы не будут истощены и у вас останется единственный способ выжить – захватить другую территорию. На этой планете есть и другой организм, ведущий себя так же. Знаете, кто это? Это вирус. Люди – это болезнь, рак этой планеты. И если вы чума, то мы здесь, чтобы лечить”.

 

Но стоит ли играть в орлянку? Цивилизация не обязательно превосходит другую в моральном или каком-либо ином отношении только потому, что оказалась более могущественной. Право сильного, подразумевающее, что сильнейший всегда лучше, в наши дни значительно утратило свою популярность, ассоциируясь теперь с фашизмом. В самом деле, мы не можем исключить, что цивилизация, созданная победившими машинами, поставит перед собой цели, которые мы сочли бы очень достойными, интересными и глубоко продуманными, но мы не можем исключить и того, что они окажутся и вопиюще банальными – например, наладить оптимальное производство дешевых скрепок для бумаги.

 

 

Умышленно дурацкий пример со скрепками для бумаги и оптимизацией их производства в качестве цели для сверхразума был придуман Ником Бострёмом в 2003 году, чтобы показать: цель искусственного интеллекта не зависит от самого интеллекта (определяемого как способность к достижению любой поставленной цели, какова бы она ни была). Единственная цель шахматного компьютера – выигрывать в шахматы, но проводятся компьютерные состязания в шахматные поддавки, и тогда цель компьютера прямо противоположна, но для достижения ее требуется не меньше “ума”, чем обычному шахматному компьютеру, запрограммированному на победу. Мы, люди, можем рассматривать стремление к проигрышу в шахматы или к оптимизации производства скрепок как примеры искусственного идиотизма, а не искусственного интеллекта, но это так только потому, что мы сами эволюционировали с уже предустановленной системой ценностей, в которую изначально была заложена цена таких вещей, как победа или выживание, но искусственному интеллекту она может оказаться неведома. Производитель скрепок стремится превратить в скрепку как можно больше атомов, находящихся на Земле, и быстро начинает строить свои фабрики и в космосе. Он ничего не имеет против людей, но убивает нас просто потому, что нуждается в наших атомах для своих скрепок.

 

Если пример со скрепками не для вас, давайте рассмотрим другой, который я позаимствовал из книги Ганса Моравеца Mind Children. Мы получаем от внеземной цивилизации радиопослание, содержащее компьютерную программу. Когда мы запускаем ее, выясняется, что это рекурсивно самосовершенствующийся искусственный интеллект, который быстро захватывает Землю, только с той разницей, что ни единому человеку не известно о его целях. Он быстро превращает всю Солнечную систему в гигантскую стройплощадку, покрывая скалистые планеты и астероиды заводами, электростанциями и вычислительными центрами, которые он использует для проектирования и возведения дайсоновской сферы вокруг Солнца – вся солнечная энергия собирается для питания радиоантенн размером с Солнечную систему. Разумеется, вся эта деятельность приводит к полному истреблению людей, но последние из живущих умирают с проблеском надежды, что, какова бы ни была цель этого искусственного интеллекта, происходит что-то грандиозное, вроде как в Star Trek. Им и в голову не приходит, что вся эта грандиозная стройка затеяна с единственной целью – передать в космос то же самое сообщение, которое в самом начале истории получили люди. Все это не более чем космическая вариация компьютерного вируса. Точно так же, как фишинговая рассылка проводится в расчете на доверчивость интернет-пользователей, это сообщение рассчитано на доверчивость биологически развитых цивилизаций. Его создали миллиарды лет назад ради прикола, и хотя его создатели вместе со всей своей цивилизацией давно уже вымерли, оно все продолжает путешествовать по космосу со скоростью света, превращая цветущие цивилизации в груду мертвых обломков. Как вам понравится перспектива быть завоеванным таким искусственным интеллектом?

 

 

Давайте теперь обратимся к сценарию с вымиранием человечества, который кое-кому может показаться менее травмирующим: посмотрим на приходящий на смену человеку искусственный интеллект как на потомка, а не на завоевателя. Ганс Моравец поддерживает такой взгляд в своей книге Mind Children: “Их работа будет приносить и нам свои плоды, но лишь какое-то время. Рано или поздно они, как и естественные дети, отправятся на поиски своего счастья, а мы, их стареющие родители, будем постепенно молчаливо увядать”.

 

Родители, чье чадо стало умнее их, всему у них научилось, но добилось такого, о чем они могли только мечтать, должны быть горды и счастливы, даже если понимают, что не смогут увидеть всех удач своего ребенка. Схожим образом машины с искусственным интеллектом, приходя на смену людям, стараются сделать так, чтобы мы увидели в них своих достойных и благодарных потомков. Каждому человеку выдается на воспитание прелестное робо-дитя, с превосходными социальными навыками, которое учится у них, перенимает их ценности, дает им основания гордиться своим чадом и почувствовать исходящую от него любовь. Люди постепенно сходят со сцены благодаря глобальной политике “одна семья – один ребенок”, но окружены при этом такой любовью, что чувствуют себя счастливейшим из поколений.

 

Как вам такое? Что бы вы почувствовали? В конце концов, мы, люди, уже привыкли к мысли, что рано или поздно и сами мы, и все, кого мы знаем, покинут этот мир. Единственное изменение в новом сценарии состоит в том, что наши “потомки” будут несколько больше отличаться от нас, но зато, вероятно, окажутся более способными, благородными и достойными.

 

А вообще-то даже политика “одна семья – один ребенок”, наверное, будет избыточна: когда искусственный интеллект ликвидирует бедность и люди заживут полной увлекательной жизнью, падающего уровня рождаемости будет достаточно, чтобы истребить человечество, как уже говорилось ранее. Добровольное вымирание пойдет даже быстрее, если искусственный интеллект позаботится о наших развлечениях, и тогда никому не захочется отвлекаться на заботу о детях. Например, в эгалитарной утопии нам уже встречались Виты, которые так основательно погружались в виртуальную реальность, что утрачивали всякий интерес к своему физическому телу и переставали использовать его, в том числе и с репродуктивными целями. И в этом случае последнее поколение людей почувствует себя наисчастливейшим поколением всех времен, на полную катушку наслаждаясь жизнью до последнего вздоха.

 

У сценария с благодарными потомками, разумеется, есть свои недоброжелатели. Они говорят, что у умных машин нет сознания (есть только искусственный интеллект), и поэтому считать их потомками мы не можем. Найдутся и такие религиозные люди, кто скажет, что у машин нет души и поэтому невозможно считать их потомками, что мы не должны пытаться создавать машины с сознанием, потому что это посягательство на прерогативы бога и искажение самой идеи жизни – подобные соображения уже высказывались в связи с клонированием человека. Жизнь людей рядом с роботами тоже может приводить к социальным проблемам. Например, семьи, где есть человеческий ребенок и ребенок-робот, могут чем-то напоминать нынешние семьи, где ребенок воспитывается одновременно со щенком. Но разница между ними очень скоро начинает чувствоваться: к щенку, из-за значительно уступающего интеллекта, отношение быстро меняется, и дело кончается поводком.

 

А с другой стороны, хотя сценарии победителей и благодарных потомков могут вызывать у нас совершенно разные чувства, по идее своей они очень схожи: единственная разница между последними поколениями людей будет заключаться только в том, как к ним будут относиться, что они сами будут думать о прожитых жизнях и что случится, когда они уйдут. Мы можем надеяться, что эти милые на вид дети-роботы в полной мере восприняли наши ценности и построят, наконец, то общество, о которым мы мечтали, только после нашей смерти, но можем ли мы быть уверенными в том, что они не пускают нам просто пыль в глаза? Что, если все это не более чем коварная игра, и они откладывают свои планы относительно производства скрепок до более удобного момента, чтобы дать нам умереть счастливыми? В конце концов, они ведь уже дурят нам головы просто тем, что, разговаривая с нами, возбуждают в нас любовь к себе, они уже дурят нам головы, и даже специально, умышленно, в поисках общего языка с нами прикидываются значительно более глупыми созданиями (в частности, общаясь с нами со скоростью, в миллиарды раз меньшей, чем та, на которую они способны, – этот сюжет исследовался в кинофильме Her). Вообще говоря, построить равноправное общение двум существам с принципиально различными способностями и живущими на разных скоростях очень сложно. Нам известно, как легко разбудить наши человеческие чувства, и для сверхчеловечески умного AGI, каковы бы ни были его истинные цели, ничего не стоит обманом вынудить нас полюбить его и убедить нас в общности наших целей, как показано в фильме Ex Machina.

 

Возможны ли какие бы то ни было гарантии относительно будущего поведения искусственного интеллекта после нашего исчезновения, чтобы мы могли почувствовать себя успокоенными в случае сценария с благодарными потомками? Это как писать завещание потомкам, разъясняя, что им дозволяется делать с нашим коллективным наследством, с той только разницей, что здесь не будет никаких людей, которые могли бы оказать хоть какое-то давление. 

 

 

Даже если после нас останутся самые замечательные наследники, каких мы только можем себе вообразить, не становится ли как-то грустно от мысли, что людей не будет совсем? Если бы вы предпочли сохранить хоть каких-то людей, неважно в каком качестве, то мы приходим к сценарию зоопарка. Может быть, так будет лучше. Сверхчеловечески умный искусственный интеллект оставил некоторых людей, которым кажется, что с ними обращаются словно с животными в зоопарке, и от этого они время от времени жалуются на судьбу.

 

Зачем искусственному интеллекту может понадобиться такой зоопарк? Расходы на него в общей смете для искусственного интеллекта будут минимальны, и его резоны сохранить минимальную способную к размножению популяцию людей могут быть довольно близки к тем, которые заставляют нас держать в зоопарках находящихся под угрозой вымирания панд или в музеях вычислительной техники старые винтажные компьютеры – развлечься, рассматривая всякие диковины. Обратите внимание, что современные зоопарки проектируются так, чтобы развлечь посетителей, а вовсе не так, чтобы осчастливить панд. Так что ожидать в сценарии зоопарка возможностей для полной реализации человеческого потенциала не приходится.
 

Мы сейчас рассмотрели сценарии, где свободный сверхразум сосредоточен на трех различных уровнях пирамиды Маслова. В то время как бог-защитник устанавливает приоритеты на смыслы и цели, а благодетельный диктатор заботится об образовании и развлечениях, в сценарии зоопарка искусственный интеллект ограничивает свое внимание нижним уровнем: физиологические потребности, безопасность и минимальное жизненное пространство, какое только может сделать людей интересными для наблюдений.

 

В альтернативном варианте сценария зоопарка предполагается, что искусственный интеллект сохранит в процессе рекурсивных самоулучшений то, что было заложено в него, когда он разрабатывался как дружественный, и поэтому он должен обеспечить счастливую и безопасную жизнь миллиарду людей. Это оказывается возможным благодаря огромным человеческим фабрикам счастья, где их содержат накормленными, здоровыми, веселыми, развлекая их смесью виртуальной реальности и легких галлюциногенов. Остальная часть Земли и выход в космос для них закрыты.

 

Если ни один из перечисленных сценариев не вызывает у вас 100-процентного энтузиазма, то подумайте вот о чем: в технологическом отношении прямо сейчас разве уже не все хорошо? Разве мы не можем сохранить все как есть и перестать беспокоиться, что какой-то AI нас истребит или станет нами править? Давайте рассмотрим такой сценарий, в котором технологический прогресс в направлении сверхразумного искусственного интеллекта все время обрубается, но не сверхумным стражем, а руководимым людьми оруэлловским государством всеобщей слежки, в котором определенные виды разработок искусственного интеллекта запрещены.

 

 

У идеи, что технологический прогресс должен быть остановлен и что человечеству надо отказаться от дальнейшего движения по этому пути, долгая и противоречивая история, полная своих взлетов и падений. Движение луддитов знаменито своим бурным (и безуспешным) сопротивлением наступлению машин в эпоху индустриальной революции. Сегодня слово “луддиты” носит презрительный оттенок: так называют людей, выбравших неправильную историческую позицию, – они сопротивляются прогрессу и неотвратимым переменам. Однако идея отказа от некоторых технологий вовсе не мертва: она находит все новых и новых сторонников среди “зеленых” и антиглобалистов. Один из самых ярких выразителей таких взглядов – известный защитник природы Билл Мак-Киббен, оказавшийся в числе тех, кто первым заговорил об опасности глобального потепления. В отличие от анти-луддитов, утверждающих, что всякая технология должна развиваться и разворачиваться до тех пор, пока она приносит прибыль, сторонники более умеренных взглядов полагают такую позицию неоправданно экстремальной. Они считают, что технологию следует развивать только в том случае, если есть полная уверенность, что она принесет больше пользы, чем вреда. У этой точки зрения тоже немало сторонников, в том числе среди тех, кого называют “нео-луддитами”.

 

 

Я думаю, что единственным практически осуществимым способом достичь сколько-нибудь последовательного технологического отказа может стать только переход к глобальному тоталитарному государству. К такому же выводу приходит и Рэй Курцвейл в его The Singularity Is Near и К. Эрик Дрекслер в Engines of Creation. Причина сугубо экономическая: если от какой-то трансформативной технологии отказываются не все, а только некоторые, то противники отказа получают дополнительное богатство и власть, благодаря чему в конце концов побеждают. Классический пример – поражение, нанесенное Британией Китаю в Первой опиумной войне 1839 года: хотя китайцы изобрели порох, они разрабатывали огнестрельное оружие совсем не так агрессивно, как европейцы, и в результате остались без шансов.

 

Тоталитарные государства прошлого показали себя неустойчивыми и разрушились, но новые технологии слежки дают будущим автократическим лидерам беспрецедентный шанс. “Вы знаете, для нас это было просто как сон, превращающийся в реальность”, – говорил Вольфганг Шмидт по поводу новых шпионских систем NSA, разоблаченных Эдвардом Сноуденом, в недавнем интервью, где предавался воспоминаниям о тех временах, когда он был подполковником Штази, печально известной тайной полиции Восточной Германии. Хотя Штази часто ассоциируют с построением государства, больше других за всю человеческую историю приблизившегося к оруэлловскому идеалу всеобщей слежки, Шмидт жаловался, что их технология позволяла устанавливать подслушивающие устройства только на сорока телефонных номерах одновременно, и поэтому, чтобы подключить к системе какой-то новый номер, надо было отключить один из уже прослушивающихся. В отличие от той, устаревшей, существующая сейчас технология позволит будущему глобальному тоталитарному государству одновременно записывать каждый телефонный звонок, сохранять каждое пересланное электронное сообщение, фиксировать каждый поисковый запрос, каждую просмотренную веб-страницу и каждую транзакцию по кредитной карте каждого из людей, живущих на Земле, дополняя эту информацию сведениями об их местонахождении, определяемом по данным с сотового телефона и с камер наружного наблюдения, многие из которых сейчас снабжены функцией распознавания лиц. К тому же современные технологии машинного обучения, которым еще далеко до AGI, уже позволяют анализировать и синтезировать всю эту массу данных для выявления склонности к мятежу и нейтрализовать подозрительных лиц задолго до того, как у них появится шанс создать хоть какие-то проблемы для государства.

 

Хотя политическая оппозиция пока что предотвращала полномасштабное применение подобных систем, мы, люди, прямо движемся к построению именно той инфраструктуры, которая так пригодится окончательной диктатуре, так что в будущем, когда достаточно могущественные силы решат, что настало время запустить сценарий “1984”, окажется, что им и делать-то для этого ничего не нужно – просто щелкнуть выключателем. Точно так же, как было описано Джорджем Оруэллом в его “1984”, окончательная власть в этом будущем глобальном государстве будет сосредоточена не в руках какого-то традиционного диктатора – она окажется под контролем построенной людьми бюрократической системы в целом. Здесь нет единичной фигуры, обладающей исключительной властью; здесь все только пешки в шахматной партии, драконовские правила которой никто не может ни изменить, ни опротестовать. Созданная система, где люди держат друг друга под постоянным наблюдением с помощью современных технологий слежки, это безликое, лишенное явного лидера государство может сохранять устойчивость тысячелетиями, освободив Землю от возможности создания сверхразума.

 

 

 

У такого общества, естественно, не будет никаких преимуществ из тех, что даются исключительно технологиями искусственного интеллекта. Большинство людей не будут от этого страдать, потому что никогда не узнают, чего именно лишились. Сама идея сверхразума будет удалена из всех официальных записей, а исследовательские работы в этой области запрещены. Время от времени будут появляться вольнодумцы, мечтающие о более открытом и динамичном обществе, в котором знания будут прирастать, а правила изменяться. Но хоть сколько-нибудь долго смогут продержаться лишь те из них, кто быстро научится держать все эти мысли исключительно при себе, мерцая в кромешной тьме как одиночные искры, не способные зажечь никакого пламени.

 

 

Разве не соблазнительно было бы избежать технологических опасностей, но в то же время не проваливаться в стагнирующий тоталитаризм? Давайте, вдохновленные примером Амиша, исследуем сценарий, в котором это достигается благодаря возврату к примитивным технологиям. Вскоре после того, как группа людей захватила власть над миром, ими была запущена массированная пропагандистская кампания, романтизирующая простую деревенскую жизнь, как 1500 лет назад. Население Земли сократилось примерно до 100 миллионов в результате искусственной пандемии, в возникновении которой обвинили террористов. Пандемия была секретно таргетирована таким образом, что не выжил никто из людей, разбирающихся в науке или технике. Под предлогом исключения опасности заражения в местах большого скопления людей контролируемые ИИ роботы опустошили и разрушили все города. Выжившим выделили огромные наделы земли, внезапно оказавшейся свободной, и обучили методам рационального ведения хозяйства, охоте и рыболовству – с использованием технологий исключительно раннего средневековья. В это время армии роботов поспешно удаляли все следы современных технологий, включая города, заводы, линии электропередач и мощеные дороги; всякие попытки документировать или возрождать их тут же пресекались. Как только все эти технологии были основательно забыты, роботы принялись разбирать друг друга и трудились до тех пор, пока почти ни одного не осталось. Последние из роботов вместе с самим ИИ испарились в большом термоядерном взрыве. Запрещать современные технологии стало не нужно – от них ничего не осталось. В результате человечество купило себе дополнительное тысячелетие, избавленное от сюрпризов искусственного интеллекта и превратностей тоталитаризма.

 

Возвраты, хотя и не такие масштабные, уже были знакомы человечеству. Например, после падения Римской империи технологии, широко распространенные во времена античности, оказались забытыми почти на тысячелетие, пока не стали возрождаться в эпоху Ренессанса. В центре трилогии Айзека Азимова Foundation – план Шелдона, цель которого сократить время возврата с 30 тысяч лет до одной. При разумном планировании можно было бы достичь, скорее, обратного, удлинив, а не укоротив период возврата, например уничтожив все знания о ведении сельского хозяйства. К сожалению энтузиастов идеи возвращения, маловероятно, что этот сценарий можно как угодно продлевать без опасности для человечества либо вернуться в эпоху высоких технологий, либо окончательно вымереть. Рассчитывать на народ, хоть немного напоминающий современных людей 100 миллионов лет назад, было бы наивно, учитывая, что мы существуем как вид не более 1 % этого отрезка времени. Более того, низкотехнологичное человечество окажется беззащитным, вынужденным, как бычок, обреченный на заклание, ждать окончательного истребления от очередного раскаленного астероида или другого мегасюрприза матери-природы. В любом случае нам определенно не протянуть еще миллиард лет, пока постепенно разогревающееся Солнце не доведет Землю до такой температуры, что вся жидкая вода на ней закипит.

 

 

 

Примеры, как может быть уничтожена известная нам жизнь или как может быть существенно снижен ее потенциал. При том, что наша Вселенная, по-видимому, просуществует еще десятки миллиардов лет, наше Солнце сожжет и проглотит Землю уже через миллиард лет, если только мы не отодвинем ее на безопасное расстояние, а еще через 3,5 миллиарда лет, даже если мы отодвинем ее на безопасное расстояние, наша галактика столкнется с соседней. Но даже не зная, как это случится, и задолго до этого, мы можем предсказать, что астероиды изрешетят нашу планету, а супервулканы вызовут долгие холодные зимы, когда на протяжении нескольких лет на небе не будет видно солнца. Мы можем использовать технологии для решения этих проблем, а можем использовать их для создания новых – таких, как климатические изменения, ядерные войны, искусственные пандемии или вышедший из-под контроля искусственный интеллект.

 

 

После рассмотрения проблем, к которым могут привести новые технологии, важно остановиться и на проблемах, которые может вызвать отсутствие таких технологий. Давайте для начала рассмотрим те сценарии, где сверхразум не создается, а человечество уничтожает себя другими способами. Как мы можем этого добиться? Простейшая стратегия – “просто ждать”. Способы борьбы с такими неприятностями, как столкновение с астероидами и закипающие океаны, все они требуют технологий, пока еще не разработанных нами, так что, пока наши технологии не достигнут определенного уровня, значительно превышающего нынешний, мать-природа может отправить нас в небытие задолго до истечения следующего миллиарда лет. Как говорил знаменитый экономист Джон Мейнард Кейнс: “В долгосрочной перспективе мы все мертвы”.

 

К сожалению, у нас есть способы покончить с собой гораздо быстрее благодаря собственной коллективной глупости. Почему наш вид должен совершить коллективный суицид, называемый также омницидом, если практически никто по отдельности этого не хочет? На нашем нынешнем уровне интеллектуального развития и эмоциональной зрелости мы, люди, проявляем особый дар к просчетам, недомыслию и незнанию, отчего наша история полна несчастными стечениями обстоятельств, войнами и разными невзгодами, к которым, если разобраться, никто особенно не стремился. Экономисты и математики разработали красивую теорию игр, объясняющую, что подталкивает людей к поступкам, приводящим к катастрофическим последствиям для всех.

 

 

Вы можете подумать: чем выше ставки, тем осмотрительнее ведут себя люди, но внимательное исследование нашего самого большого риска, допускаемого современной технологией, а именно – риска глобальной термоядерной войны, не очень-то обнадеживает. Лишь по воле случая мы пережили без последствий обескураживающе длинный список разного рода промахов: тут и компьютерные сбои, и отказы в системах энергоснабжения, и недопонимание проблемы, и навигационные ошибки, и столкновения бомбардировщиков, и взрывы спутников, и многое-многое другое. В самом деле, если бы не героические поступки отдельных выдающихся личностей, вроде Василия Архипова и Станислава Петрова, ядерная война была бы уже в нашем прошлом. Оценку вероятности случайного возникновения ядерного конфликта на протяжении года в одну тысячную при нынешнем положении вещей можно считать неправдоподобно оптимистичной, но даже она дает для оценки снизу вероятности такого конфликта в следующие 10 тысяч лет: 1 – 0,99910000 = 99,995 %.

 

Для полного понимания нашего безрассудства мы должны отдать себе отчет в том, что начали играть в свою ядерную рулетку еще до внимательного изучения связанных с ней рисков. Во-первых, опасность радиоактивного заражения оказалась существенно недооцененной, и в одних только Соединенных Штатах жертвам облучения при работе с ураном или во время ядерных испытаний было выплачено около 2 миллиардов долларов компенсации.

 

 

 

Во-вторых, со временем выяснилось, что подрыв водородных бомб на высоте в сотни километров над поверхностью Земли создает мощный электромагнитный импульс (EMP), который немедленно нарушает работу линий электропередач и всех электронных приборов на обширных территориях (см. Рис. 1.2), приводя к параличу инфраструктуры, забитым обездвиженными автомобилями трассам и далеким от идеальных перспективам на выживание. Например, Национальная комиссия электромагнитного мониторинга докладывала, что “система водоснабжения – это колоссальная машина, приводимая в действие отчасти силой тяготения, но в основном – электроэнергией”, и что перебои в водоснабжении приводят к гибели населения в течение 3–4 дней.

 

В-третьих, возможность ядерной зимы обнаружилась лишь четыре десятилетия спустя после создания первых бомб, когда их стало уже 62 тысячи! Независимо от того, чьи города сгорели, пепел пожарищ поднимется в верхние слои тропосферы и распространится по всему земному шару, не позволяя солнечному свету достигать земной поверхности и превращая повсюду лето в зиму – так извержения вулканов и столкновения с астероидами приводили к массовым вымираниям в прошлом. Тревогу забили в 1980-х и советские, и американские ученые, и отчасти именно это заставило Рональда Рейгана и Михаила Горбачева приступить к сокращению ядерных арсеналов. К сожалению, более точные вычисления рисуют еще более печальную картину: на Рис. 1.3 можно видеть понижение летних температур на 20 °C в основных сельскохозяйственных районах Америки, Европы, России и Китая (в некоторых частях России даже на 35 °C) в первые два лета после ядерной войны и потом еще на половину от этого на протяжении всего десятилетия. Что это означает, говоря простым языком? Не надо обладать богатым сельскохозяйственным опытом, чтобы понять: установившиеся на годы летние температуры, близкие к температуре замерзания воды, исключают возможность какого-либо получения провизии. Трудно предсказать в точности, что произойдет после того, как тысячи крупнейших городов Земли будут превращены в руины, а глобальная инфраструктура уничтожена, но как бы ни была мала часть выживших людей, чтобы уберечь их от голодной смерти, надо будет как-то противостоять вооруженным бандам, убивающим ради еды.

 

 

 

Я настолько подробно вошел в детали возможной ядерной войны, чтобы ясно показать: никакой разумный мировой лидер этого не хочет, но это все-таки может произойти случайно. Это означает, что мы не можем быть уверены в том, что человеческие собратья никогда не пойдут на омницид: того, что этого никто не хочет, еще недостаточно.

 

 

Итак, могут ли люди и в самом деле провернуть омницид? Большинство ученых сходится в том, что даже если в глобальной ядерной войне будут уничтожены 90 % людей, в ней не будут уничтожены все 100 %, и полного вымирания за этим еще не последует. С другой стороны, истории, связанные с ядерной зимой, электромагнитными импульсами и радиационным заражением, показывают, что самыми большими опасностями могут оказаться как раз те, о которых мы пока еще не подумали. Очень трудно предугадать все возможные последствия, сочетающие ядерную зиму, разрушение инфраструктуры, выросший уровень мутаций и вооруженные банды отчаявшихся людей на фоне других возникших проблем – таких, как пандемии, разрушенная экосистема и еще что-то такое, о чем мы пока не догадываемся. По моей собственной оценке, хотя вероятность ядерной войны, которая бы уже завтра запустила механизм неизбежного вымирания человечества, невысока, мы все же не можем с полной уверенностью считать ее равной нулю.

 

Шансы омницида сильно возрастают, если мы преобразуем существующее ныне ядерное оружие в машину Судного дня. Идею предложил стратег Корпорации RAND Герман Кан в 1960 году, а Стэнли Кубрик популяризировал ее в фильме Dr. Strangelove, после чего машина Судного дня превратилась в парадигму гарантированного взаимного уничтожения. Получается идеальный сдерживающий фактор: машина, которая автоматически возвращает удар любого противника, уничтожая все человечество.

 

Один из возможных вариантов машины Судного дня – это просторное подземное хранилище, где сложены, как их иногда называют, “соленые ньюки” – по возможности крупные водородные бомбы, обложенные большим количеством кобальта. Физик Лео Сцилард еще в 1950 году утверждал, что такое способно убить все на Земле: взрывы бомб сделают кобальт радиоактивным и выбросят его в стратосферу. Пятилетний период его полураспада достаточно велик, чтобы он распределился над всей поверхностью Земли (в особенности если две одинаковые машины будут расположены симметрично в противоположных полусферах), и достаточно короток, чтобы интенсивность радиации была смертельной. В СМИ сообщается, что сейчас кобальтовые бомбы впервые стали изготавливаться. Омницидальные достоинства могут быть усилены добавлением бомб, оптимизированных под ядерную зиму: они должны распылить в стратосфере долгоживущие аэрозоли. Ключевой момент в истории с машиной Судного дня – в ее относительной дешевизне при сравнении с обычным ядерным сдерживанием: поскольку эти бомбы не надо никуда доставлять, не нужны дорогостоящие ракетные системы, да и сами бомбы можно сделать попроще, коль скоро они не должны быть ни легкими, ни компактными для установки на ракетах.

 

Еще одну возможность для создания машины Судного дня дает биологическое оружие: в ней будут содержаться специально выращенные бактерии или вирусы, уничтожающие всех людей. Если их трансмиссивность будет достаточно высока, а инкубационный период достаточно продолжителен, то почти все успеют подхватить заразу, прежде чем о ее существовании станет известно и можно будет принять контрмеры. Есть веский военный довод в пользу создания такого биологического оружия, даже если оно не уничтожит всех: наиболее эффективная машина Судного дня должна сочетать в себе различные поражающие факторы – и ядерный, и биологический, и, по возможности, какой-нибудь еще, чтобы увеличивать сдерживающую врага силу.

 

Третий технологический путь к омнициду может сопровождаться созданием в некотором роде необычного оружия с использованием искусственного интеллекта. Предположим, некая сверхдержава создает миллиарды тех самых атакующих дронов размером со шмеля, и решает с их помощью уничтожить всех людей, кроме своих граждан и союзников, которые удаленно идентифицируются с помощью радиочастотных id-тэгов, какими сейчас помечаются товары в большинстве супермаркетов. Эти тэги распространяют среди граждан, чтобы те носили их либо как браслеты, либо как подкожные импланты, упоминавшиеся в связи с тоталитарными методами.

Вражеская сверхдержава, наверное, тоже решит создать нечто подобное. Когда случайно разразится война, все люди будут убиты, даже члены самых далеких племен, не имеющие никакого отношения к конфликту, потому что никто не станет носить тэги обоих видов. Сочетание этого способа с биологической и ядерной машинами Судного дня благоприятствует дальнейшему увеличению шансов успешного омницида.

 

 

 

Теперь, когда перед вами была развернута широкая панорама различных сценариев, одного за другим, самое время снова спросить: какой из них вас больше привлекает, а какого мы должны изо всех сил избегать? У вас есть явный фаворит? Пожалуйста, сообщите об этом мне и другим читателям на странице http://AgeOfAi.org и присоединяйтесь к нашей дискуссии!

 

Сценарии, которые были описаны, очевидно, не исчерпывают всех возможностей, и некоторым из них недостает важных деталей, но я приложил много усилий, чтобы сделать список как можно более полным, включив в него широкий набор вариантов, от высокотехнологичных до низкотехнологичных и нетехнологичных, и описывая попутно все главные страхи и упования, какие встречаются в литературе.

 

Во время работы над этой книгой забавно было слышать от друзей и коллег, что они думают по поводу того или иного сценария, и отсутствие какого бы то ни было согласия среди них немало меня развеселило. Единственное, в чем все они сошлись, это в том, что сделать выбор в итоге оказалось намного сложнее, чем они думали вначале. Люди, которым нравился какой-то один определенный сценарий, непременно находили в нем что-нибудь настораживающее. Для меня это означало, что мы, люди, должны продолжать разговор о своих будущих целях, делая его детальнее и глубже, чтобы понимать, в каком направлении вращать свой штурвал. Перспективы переноса нашей жизни в космос воодушевляюще высоки, и давайте не будет относиться к этому беспечно, словно мы находимся на неуправляемом корабле и не представляем, куда бы мы хотели его направить!

 

Но как же все-таки велик этот будущий потенциал? Как бы далеко ни заходили наши технологии, способность Жизни 3.0 к самосовершенствованию и к распространению в космосе по-прежнему будет ограничена законами физики. Но где именно пройдут эти границы? Есть ли внеземная жизнь в космосе уже сейчас, или мы в нем одиноки? Что произойдет, когда различные цивилизации, претендующие на экспансию в космосе, встретятся? 

 

 

• Если когда-нибудь нам удастся создать AGI человеческого уровня, за этим может последовать интеллектуальный взрыв, и мы в результате останемся далеко позади.

 

• Если группа людей совладает с управлением этим интеллектуальным взрывом, то эти люди смогут в течение нескольких лет взять в свои руки власть над всем миром.

 

• Нынешние настойчивые попытки создать AGI в случае успеха могут иметь поразительно широкий спектр последствий, складывающихся в несколько типических сценариев на предстоящие тысячелетия.

 

• Сверхразум может мирно сосуществовать с людьми, либо потому, что принужден к этому (сценарий плененного бога), либо потому, что так хочет его “дружественный искусственный интеллект” (сценарии либертарианской утопии, бога-защитника, благодетельного диктатора или зоопарка).

 

• Создание сверхразума может быть предотвращено или искусственным интеллектом (сценарий стража), или людьми (сценарий 1984) путем намеренного забвения результатов технологического прогресса (сценарий возврата) или исключением стимулов к его созданию (сценарий эгалитарной утопии).

 

• Человечество может пойти по пути полного вымирания и либо оказаться замененным AGI (сценарии благодарных потомков и завоевателей), либо исчезнуть без следа (сценарий самоуничтожения).

 

• Нет абсолютно никакого согласия относительно того, какой из этих сценариев был бы для нас желательным, и вообще – есть ли такой среди них. У каждого сценария находятся свои отрицательные стороны. Тем более необходимо продолжать обсуждение наших будущих целей и углублять повестку такого обсуждения, разговор вокруг, чтобы мы случайно не двинулись в нежелательном направлении.