Когда машины обретут сознание

Отдаленное будущее: 2070–2100 гг.

В фильмах про Терминатора рассказывается о том, как Пентагон построил и с гордостью запустил в действие Skynet — громадную сверхзащищенную компьютерную сеть, предназначенную для управления ядерным арсеналом США. Эта сеть безупречно исполняла свои обязанности до тех пор, пока однажды, в 1995 г., неожиданно не произошло что-то очень странное. Суперкомпьютер Skynet осознал себя. Люди, работавшие с сетью, с изумлением поняли, что их детище внезапно обрело разум, и попытались выключить его, но опоздали.

Защищая себя, Skynet решил, что единственный способ обеспечить собственную безопасность — это уничтожить человечество. Для этого он начал разрушительную ядерную войну. Вскоре три миллиарда людей сгорели в пламени бессчетных ядерных взрывов. После этого Skynet выпустил в мир легионы роботов-убийц, целью которых было уничтожение оставшихся. Современная цивилизация рухнула, оставив после себя лишь крошечные жалкие шайки бандитов и бунтарей.

А в трилогии «Матрица» люди показаны настолько примитивными, что даже не понимают: машины уже захватили мир. Люди занимаются повседневными делами, думают, что все нормально, и не замечают, что на самом деле живут в коконах. Их мир — всего лишь модель виртуальной реальности, которой управляют хозяева-роботы. Человеческое «существование» — всего лишь компьютерная программа, выполняемая большим компьютером; данные с нее поступают непосредственно в мозг людей, живущих в этих коконах. Единственная причина, по которой машины вообще терпят присутствие людей, — тот факт, что их можно использовать как источники питания. Конечно, задача Голливуда — напугать аудиторию до полусмерти. Но сюжеты этих и других фильмов поднимают законный научный вопрос: что произойдет, когда роботы наконец станут умнее нас? Что произойдет, когда роботы проснутся и осознают себя? Ученые активно обсуждают вопрос, что будет — причем не если, а когда произойдет это знаменательное событие.

Некоторые эксперты утверждают, что наши создания-роботы будут постепенно подниматься по эволюционному древу. Сегодня они сравнимы по интеллекту с тараканами. В будущем они вырастут и сравняются с мышами, кроликами, собаками и кошками, обезьянами, а затем станут соперничать с человеком. На медленное преодоление этого пути могут уйти десятилетия, но ученые верят, что это всего лишь вопрос времени и когда-нибудь машины обязательно превзойдут нас разумом.

Исследователи ИИ расходятся в вопросе о том, когда это может произойти. Некоторые говорят, что не позже чем через двадцать лет роботы приблизятся по разумности к человеческому мозгу, а затем оставят своих создателей далеко позади. В 1993 г. Вернор Виндж (Vernor Vinge) сказал: «Не пройдет и тридцати лет, как у нас появится техническая возможность создать сверхчеловеческий разум. Вскоре после этого эра человека закончится… Я буду удивлен, если это событие произойдет раньше 2005-го или позже 2030 г.». С другой стороны, Дуглас Хофштадтер (Douglas Hofstadter), автор книги «Гѐдель, Эшер, Бах», говорит: «Я буду очень удивлен, если что-нибудь хотя бы отдаленно похожее произойдет в ближайшие 100–200 лет».

Когда я разговаривал с Марвином Мински из MIT — одной из основополагающих фигур в истории искусственного интеллекта, он заметил, что не назначает сроков для этого события и не может сказать, когда именно оно произойдет. Он уверен, что такой день наступит, но категорически отказывается выступать в роли пророка и предсказывать точную дату. (Возможно, будучи мэтром ИИ — области науки, в создании которой он участвовал практически с нуля, Мински видел слишком много несбывшихся прогнозов, породивших к тому же обратную реакцию.)

Немалую часть проблемы с датами и сценариями составляет тот факт, что общепринятого представления о том, что такое сознание, просто не существует. Философы и математики бьются над этим вопросом не одно столетие, а воз и ныне там. Мыслитель XVII в. Готфрид Лейбниц, изобретатель интегрального исчисления, однажды написал: «Даже если бы можно было увеличить мозг до размеров ветряной мельницы и побродить внутри, никакого сознания мы бы там не нашли». Философ Дэвид Чалмерс составил список из почти 20 000 научных работ, написанных на эту тему, и не обнаружил у авторов какого бы то ни было единого мнения.

Нигде в науке столь громадные усилия множества людей не дали столь ничтожного результата. Слово сознание, к сожалению, относится к тем громким и красивым словам, которые для разных людей означают разное. Как ни печально, общепринятого определения этого понятия не существует.

Лично я думаю, что неспособность четко определить сознание, а также измерить его количественно — это одна из серьезных проблем науки, занятой созданием искусственного интеллекта.

Но если бы мне предложили попробовать самому, я начал бы с того, что сознание включает в себя по крайней мере три основных компонента:

1) восприятие и распознавание окружающего мира;
2) самоанализ;
3) планирование будущего, постановку целей и составление планов, т.е. моделирование будущего и выбор стратегии.

При таком подходе можно сказать, что даже простые механизмы и насекомые обладают какой-то формой сознания, которую можно оценить численно по шкале от 1 до 10. Существует целое пространство сознания, которое можно представить в количественной форме. Молоток не способен воспринимать окружающий мир, так что его сознание можно оценить как 0 по принятой нами шкале. Однако термостат, к примеру, уже способен воспринимать и оценивать окружающую действительность. Суть термостата в том, что он чувствует температуру окружающей среды и действует в соответствии с ней, при этом изменяя ее; сознание термостата можно оценить уровнем 1. Следовательно, любые механизмы с обратной связью обладают примитивной формой сознания. Черви тоже способны воспринимать окружающий мир. Они чувствуют присутствие пищи, партнера, а также опасности и действуют в соответствии с полученной информацией, но больше не могут почти ничего. Насекомые воспринимают мир несколькими органами чувств (к примеру, зрение, слух, нюх, датчик давления и т.п.) и достойны более высокой численной оценки; их сознание следует оценить, возможно, в 2 или 3.

Высшей формой восприятия действительности должна быть способность распознавать и понимать объекты окружающего мира. Человек в состоянии мгновенно оценить обстановку и действовать в соответствии с ней — а значит, его сознание достойно высокой оценки по нашей шкале. Однако именно здесь роботы не в состоянии составить нам серьезную конкуренцию. Распознавание образов, как мы уже видели, — один из принципиальных рубежей на пути к искусственному интеллекту и одновременно одно из серьезнейших препятствий. Роботы способны воспринимать окружающий мир гораздо лучше людей, но они не понимают и не узнают то, что видят. Из-за неспособности распознавать образы роботы на шкале сознания оказываются на самых нижних ступеньках, где-то рядом с насекомыми.

Следующий, более высокий уровень сознания связан с самоанализом. Если поставить зеркало почти перед любым животным мужского пола, реакция будет немедленной и довольно резкой: самцы проявляют откровенную агрессивность, иногда даже нападают на зеркало. Изображение заставляет животное-самца защищать свою территорию. Многие животные не сознают себя — и, соответственно, не узнают себя в зеркале. Однако обезьяны, слоны, дельфины и некоторые птицы быстро понимают, что отражение в зеркале — это они сами, и прекращают бессмысленные атаки. Человек близок к верхней планке этой шкалы, поскольку обладает высокоразвитым самосознанием и прекрасно понимает, кем он является по отношению к другим животным, другим людям и миру в целом. Мало того, человек настолько осознает себя, что способен вести внутренний диалог с самим собой, а значит, мысленно оценивать ситуацию.

Наконец, животных можно оценить по их способности планировать будущее. Насекомые, насколько нам известно, не ставят перед собой сложных целей. Напротив, они по большей части реагируют на окружающую обстановку непосредственно, шаг за шагом, и полагаются целиком на инстинкты и сиюминутные внешние раздражители.

В этом смысле хищники по уровню сознания стоят выше, чем их жертвы. Хищникам приходится кое-что планировать заранее: подыскивать место для
логова, планировать засаду, выслеживать, предугадывать действия добычи. Добыче же, как правило, достаточно просто убегать, и побыстрее, так что ее сознание следует оценивать ниже. Далее, приматы способны импровизировать, составляя планы на ближайшее будущее. Если показать человекообразной обезьяне банан, который находится рядом, но вне пределов досягаемости, она может изобрести какой-нибудь способ достать банан; к примеру, воспользоваться палкой. Так что, имея перед собой конкретную цель (достать пищу), приматы планируют ближайшее будущее так, чтобы достичь этой цели.

Однако в целом животные не обладают развитым чувством отдаленного прошлого или будущего. Очевидно, в животном Царстве не бывает завтрашнего дня. Нет никаких свидетельств того, что животные могут планировать будущее на несколько дней вперед. (В преддверии зимы многие животные запасают пищу, но такое поведение запрограммировано генетически: гены заставляют их реагировать на снижение температуры усиленными поисками еды.)

Зато человек обладает прекрасно развитым чувством будущего и постоянно составляет планы. В голове каждый из нас непрерывно моделирует будущую реальность. Мы способны составлять планы, которые простираются далеко за пределы нашей собственной жизни. Более того, мы оцениваем других людей по их способности верно предугадать развитие ситуации и сформулировать конкретную стратегию поведения на этот случай. Умение предсказать будущее, взвесить возможные последствия и сформулировать конкретные цели с учетом всех обстоятельств — важная часть способности к лидерству.

Иными словами, эта форма сознания включает в себя предвидение будущего, т.е. создание многочисленных моделей, аппроксимирующих будущие события. Для этого необходимо великолепное владение принципами здравого смысла и законами природы. Вы должны постоянно задавать себе вопрос: «Что будет, если?..» Не важно, что вы планируете сделать — ограбить банк или избраться в президенты; чтобы спланировать задуманное, вам все равно придется строить в голове многочисленные модели возможного будущего. Все данные указывают на то, что на Земле этим искусством овладел пока только человек.

В этом можно убедиться, в частности, при анализе психологических профилей. Специалисты часто сравнивают психологические профили взрослых с их же профилями, полученными, когда они были детьми. Затем задается вопрос: какое качество в профиле ребенка могло указать на будущий успешный брак, успешную карьеру, богатство и т.п.?

Если исключить из картины социоэкономические факторы, обнаруживается, что нередко в профиле одна характеристика выделяется среди остальных: способность откладывать удовольствие. Согласно многолетним исследованиям Уолтера Мишеля (Walter Mischel) из Колумбийского университета и многих других ученых, дети, способные воздержаться от немедленного получения удовольствия (к примеру, не съесть сразу же полученную палочку пастилы) и дождаться обещанной более высокой награды (скажем, двух палочек пастилы вместо одной), позже стабильно добиваются более высоких результатов едва ли не во всех мыслимых областях жизни: в учебе, в любви и в карьере. Следует заметить, что способность отложить удовольствие указывает на более высокий уровень самоанализа и сознания. Такие дети умеют моделировать будущее и способны понять, что это будущее обещает больше. Для того чтобы видеть возможные последствия собственных действий, требуется более высокий уровень сознания.

Таким образом, исследователи ИИ должны стремиться к созданию робота, обладающего всеми тремя рассмотренными качествами. Первое труднодостижимо, поскольку роботы могут воспринимать окружающий мир, но не способны разобраться в нем. Самоанализ — более простая цель. А вот для планирования будущего необходим здравый смысл, интуитивное понимание, что возможно и что невозможно, а также конкретные стратегии достижения конкретных целей.

Мы видим, что здравый смысл — необходимая предпосылка для высшего уровня сознания. Чтобы робот мог моделировать реальность и предугадывать будущее, он должен сначала освоить миллионы закономерностей окружающего мира, составляющие так называемый житейский здравый смысл. Но одного этого недостаточно. Здравый смысл — это всего лишь «правила игры», а вовсе не законы стратегии и планирования. Мы получили шкалу, по которой можно оценить всех существующих на настоящий момент роботов.

Ясно, что Deep Blue, машина-шахматист, окажется на этой шкале очень низко. Она, конечно, может выиграть у чемпиона мира по шахматам — и только. Она способна моделировать реальность, но лишь в рамках шахматных правил. Моделировать какую бы то ни было иную реальность она не в состоянии. То же можно сказать о большинстве крупнейших компьютеров мира. Они великолепно моделируют один из аспектов реальности — к примеру, атомный взрыв, обтекание воздухом летательного аппарата или погоду. Эти компьютеры просчитывают сложнейшие модели гораздо лучше человека. Но при этом они очень одномерны, а потому не имеют шансов на выживание в реальном мире.

Сегодня исследователи ИИ не представляют, как можно воспроизвести в роботе процессы мышления. Большинство ученых просто поднимает руки и говорит, что как-нибудь громадные сети компьютеров сами выдадут «системные эффекты», так же как иногда из хаоса спонтанно возникает порядок. Если же прямо спросить, как именно эти системные эффекты приведут к возникновению сознания, большинство пожимает плечами и закатывает глаза. Мы не знаем, как сделать робота, который обладал бы сознанием, но вообразить робота, который превзошел бы нас, мы в состоянии. Для оценки уровня сознания воспользуемся всем уже сказанным.

Такой робот должен великолепно проявлять себя в третьем качестве: он сможет гораздо лучше, чем мы, производить сложнейшие расчеты и моделирование будущего; он сможет рассмотреть больше вариантов, под разными углами, более подробно и глубоко. Его модели будут более точными, чем наши, потому что он будет лучше владеть здравым смыслом и законами природы, а потому лучше видеть закономерности. Он научится замечать проблемы, которые человек мог бы недооценить или просто не заметить. Более того, он научится ставить перед собой собственные цели. Если роботы поставят себе цель, в частности, помогать роду человеческому, все в порядке. Но если однажды окажется, что человечество мешает достижению какой-то их цели, последствия могут быть весьма неприятными. Все это порождает следующий вопрос: что станет с человечеством, если будет реализован второй сценарий?

Когда роботы превзойдут людей

В одном сценарии нас, ничтожных человечков, просто отодвинут в сторону как пережиток эволюции. Более приспособленные виды развиваются и сменяют менее приспособленные — это закон эволюции. Возможно, существование человечества на этом закончится и последние люди будут доживать свой век в зоопарках под любопытными взглядами наших творений-роботов. Возможно, такова наша судьба: дать жизнь суперроботам, которые затем будут относиться к нам как к чудовищно примитивной и не слишком существенной главе своей эволюции. Может быть, в этом и состоит наша историческая роль — породить тех, кто сменит нас на пути эволюции. В этом сценарии нашей задачей будет побыстрее уйти с пути разумных роботов.

Дуглас Хофштадтер признался мне, что, возможно, таков естественный порядок вещей, но мы должны относиться к этим сверхразумным роботам как к собственным детям — ведь они и впрямь наши дети в каком-то смысле. Если человек может заботиться о своих детях, сказал он мне, то почему он не может так же заботиться и о разумных роботах, которые тоже являются нашими детьми?

Ганс Моравек представляет, как может чувствовать себя человек, которого обошли и оставили далеко позади роботы: «…жизнь может показаться бессмысленной, если нам суждено будет провести ее за глупым разглядыванием нашего сверхразумного потомства, в то время как они будут пытаться растолковать нам свои все более впечатляющие достижения упрощенным языком, чтобы мы могли понять».

Если настанет наконец судьбоносный день, когда роботы обойдут нас разумом, мы не только перестанем быть самыми разумными существами на Земле; наши создания смогут изготовить собственные копии и даже улучшить их, так что «дети» будут умнее «родителей». Эта армия самовоспроизводящихся роботов положит начало бесконечному ряду будущих поколений, причем каждое следующее будет умнее предыдущего. А поскольку теоретически роботы смогут создавать следующие поколения очень быстро, со временем этот процесс вплотную подойдет к экспоненциальному взрыву, и бесчисленные роботы в своем ненасытном стремлении к разумности начнут истощать ресурсы планеты.

В одном из возможных сценариев этот ненасытный аппетит ко все более высокому интеллекту со временем истощит все ресурсы планеты и Земля целиком превратится в компьютер. Некоторые считают, что сверхразумные роботы отправятся с Земли к звездам, чтобы там продолжить свой бесконечный квест; они доберутся до других планет, звезд и галактик и попытаются превратить в компьютеры и их. Но поскольку планеты, звезды и галактики находятся от нас невероятно далеко, Земля-компьютер, возможно, сумеет изменить законы природы, так чтобы можно было путешествовать быстрее скорости света и поглощать целые звездные системы и галактики. Некоторые даже верят, что в конце концов этот сверхкомпьютер сможет поглотить всю Вселенную, так что Вселенная тоже станет разумной.

Получается сингулярность. Слово это первоначально пришло из мира релятивистской физики — моей научной специализации, где сингулярность представляет собой точку с бесконечной гравитацией, откуда ничто не может улететь, такую как черная дыра. Поскольку свет тоже не может оттуда улететь, увидеть что-либо за этим горизонтом не представляется возможным.

Идея ИИ-сингулярности впервые была высказана в 1958 г. в беседе между двумя математиками, Станиславом Уламом (которому довелось сделать ключевой шаг в разработке водородной бомбы) и Джоном фон Нейманом. Улам писал: «Один из разговоров крутился вокруг все ускоряющегося технического прогресса и изменений в образе жизни людей, по которым похоже, что приближается некая важная сингулярность в истории человеческого рода, после которой дела человечества, какими мы их знаем, не смогут продолжаться». Различные варианты этой идеи витали в воздухе уже несколько десятков лет. Но именно тогда ее подхватил, усилил и популяризовал в своих романах и эссе писатель-фантаст и математик Вернор Виндж.

Но все это не дает ответа на главный вопрос: когда наступит эта сингулярность? При нашей жизни? Может быть, в следующем столетии? Или никогда? Можно вспомнить, что участники Азиломарской конференции 2009 г. решили: до этого знаменательного момента может пройти от 20 до 1000 лет.

Есть человек, которого в настоящее время можно, пожалуй, назвать выразителем идей сингулярности. Это изобретатель и автор бестселлеров Рей Курцвейл; он очень любит делать предсказания, основанные на экспоненциальном развитии техники. Курцвейл однажды сказал мне, что при взгляде ночью на далекие звезды, по идее, там можно отыскать какие-то космические свидетельства подобной же сингулярности, имеющей место в далекой-далекой галактике. Если эта стремительно расширяющаяся сингулярность обладает способностью пожирать или переделывать целые звездные системы, следы ее деятельности должны оставаться и быть заметны. (Его противники говорят, что он поднимает вокруг пресловутой сингулярности едва ли не религиозный шум. Однако сторонники возражают, что Курцвейл, судя по его послужному списку, обладает необычайной способностью верно предугадывать будущее.)

Курцвейл всерьез столкнулся с компьютерной революцией, когда основал несколько компаний в разных областях, имеющих отношение к распознаванию образов; речь шла о технологиях распознавания речи, оптического распознавания символов и о разработке электронных клавишных музыкальных инструментов. В 1999 г. он написал бестселлер «Эпоха духовных машин: когда компьютеры превзойдут интеллектом человека», в котором предсказал дату этого события. В 2005 г. он написал книгу «Сингулярность уже близка», в которой изложил свои предсказания более подробно. Путь к знаменательному дню, когда компьютеры превзойдут человека в разумности, будет состоять из нескольких этапов.

К 2019 г., предсказывает он, персональный компьютер стоимостью в 1000 долларов по чистой вычислительной мощности сравняется с человеческим мозгом. Вскоре после этого компьютеры оставят нас далеко позади. К 2029 г. тот же персональный компьютер стоимостью в 1000 долларов будет уже в 1000 раз мощнее человеческого мозга. К 2045 г. все тот же ПК за 1000 долларов будет обладать в миллиард раз более мощным интеллектом, чем все человечество, вместе взятое. Способности даже небольших компьютеров будут намного превосходить способности всего рода человеческого.

После 2045 г. компьютеры станут настолько продвинутыми, что смогут производить собственные копии в еще более продвинутом варианте, открывая тем самым путь к технологической сингулярности. Стремясь удовлетворить эту нескончаемую и ненасытную жажду компьютерной мощности, они начнут поглощать Землю, астероиды, планеты и звезды и смогут даже повлиять на космологическую историю нашей Вселенной.

Мне довелось побывать в гостях у Курцвейла в его офисе в пригороде Бостона. Проходя по коридору, вы видите на стенах дипломы полученных им премий и наград, а также некоторые из разработанных им музыкальных инструментов, которыми пользуются лучшие музыканты, такие как Стиви Уандер. Курцвейл рассказал мне, что в его жизни был поворотный момент. В 35 лет ему неожиданно поставили очень неприятный диагноз: диабет II типа. Внезапно он, что называется, упал с небес на землю и понял, что может не дожить до исполнения собственных пророчеств. После многих лет небрежения тело его состарилось до срока. Курцвейл был потрясен диагнозом, но рук не опустил.

Он подошел к вопросу собственного здоровья с теми же энтузиазмом и энергией, с какими относился к компьютерной революции. (Сегодня он принимает в день более 100 таблеток и написал несколько книг о революции в деле продления жизни. Он считает, что революция в создании микроскопических роботов приведет к появлению средств очистки и ремонта человеческого тела, которые позволят ему жить вечно. Его философия состоит в том, что он хотел бы прожить достаточно, чтобы увидеть революционные медицинские новинки, которые позволят продлить жизнь до бесконечности. Иными словами, он хочет прожить достаточно долго, чтобы жить вечно.)

Недавно он пустился в амбициозный проект по организации университета сингулярности при Исследовательском центре NASA имени Эймса в районе Сан-Франциско, который будет готовить ученых к близкому наступлению технологической сингулярности. Вообще, существует множество вариаций и комбинаций этих тем. Сам Курцвейл считает: «Это не будет вторжение разумных машин откуда-то из-за горизонта. Мы и сами сольемся с этой технологией… Мы поместим эти умные устройства в наши тела и мозг, чтобы жить дольше и счастливее».

Любая противоречивая идея — а идея технологической сингулярности, согласитесь, весьма противоречива — обязательно порождает обратную реакцию. Митч Капор (Mitch Kapor), основатель Lotus Development Corporation, говорит, что сингулярность — это своего рода «разумный замысел для людей с коэффициентом интеллекта 140… Утверждение о том, что мы приближаемся к моменту, когда все изменится, станет просто невообразимо не так, как сейчас, — это в основе своей, на мой взгляд, проявление религиозного импульса. И никакое размахивание руками не может заслонить от меня этот факт».

Дуглас Хофштадтер сказал: «Это как если бы вы взяли много хорошей еды и немного собачьего дерьма и смешали бы все вместе, так чтобы невозможно было разобраться, что хорошо и что плохо. Это почти однородная смесь чепухи и отличных идей, и очень трудно различить, где что, потому что говорят об этом умные люди; они не глупы». Никто не знает, чем все это обернется. Но мне лично наиболее вероятным представляется следующий сценарий.

Наиболее вероятный сценарий: дружественный ИИ

Во-первых, ученые, вероятно, примут некоторые простые меры к тому, чтобы роботы не были опасны. В качестве минимальной меры в мозг робота можно поместить специальный чип, который будет автоматически выключать своего носителя при возникновении у него мыслей об убийстве людей. При таком подходе все разумные роботы будут снабжены отказоустойчивым механизмом, который любой человек сможет в любой момент включить, особенно если робот вдруг начнет вести себя неправильно. При малейшем намеке на неисправность и сбои в функционировании робота любая голосовая команда немедленно выключит его.

Или можно создать специальных роботов-охотников, обязанностью которых будет нейтрализация роботов с отклонениями в поведении. Роботы-охотники будут превосходить обычных роботов по скорости, силе и координации и смогут без труда захватывать девиантных роботов. В их схему будет заложено понимание слабых мест любой автоматической системы, любого робота, а также принципы их поведения в определенных обстоятельствах. Охотником на сбойных роботов может стать и человек. В фильме «Бегущий по лезвию бритвы» был показан отряд особо тренированных агентов, в который входил и главный герой в исполнении Харрисона Форда; эти агенты владели специальными техниками, необходимыми для выявления и нейтрализации роботов-преступников. На постепенное восхождение роботов по эволюционной лестнице разума уйдет много десятилетий тяжкой работы, поэтому появление разумных роботов не станет внезапным.

Человечество невозможно будет захватить врасплох и сразу же загнать в зоопарки, как зверей. Сознание, в моем понимании, — это скорее процесс, ход которого можно оценивать, а не внезапное эволюционное событие, и восхождение роботов по шкале сознания будет идти медленно и постепенно и займет не один десяток лет. В конце концов, на развитие человеческого сознания у матери-природы ушли миллионы лет. Так что для человека не станет неожиданностью, когда Интернет внезапно «проснется» или роботы ни с того ни с сего начнут самостоятельно планировать собственное будущее.

Именно такой подход предпочитал писатель-фантаст Айзек Азимов. В его произведениях каждому роботу еще на заводе намертво встраивали в сознание три непреложных закона, не позволявших им выйти из-под контроля. Цель знаменитых трех законов робототехники, придуманных им, состояла в том, чтобы не дать роботам нанести вред человеку или себе самим. (Если очень коротко, эти три закона гласят, что робот не может нанести вред человеку, что он должен повиноваться человеку и что он должен заботиться о себе, именно в этом порядке.)

(Даже азимовские законы не избавляют от проблем в тех случаях, когда ситуация порождает противоречие между тремя законами. Представьте, к
примеру, что кому-то удалось создать благожелательного робота. Что произойдет, если человечество вдруг сделает губительный выбор и поставит под угрозу собственное существование? Дружественный робот может решить, что необходимо взять под контроль правительство и не дать человеку нанести себе вред. Именно с этой проблемой столкнулся Уилл Смит в кинофильме «Я, робот», когда центральный компьютер решил, что для спасения человечества «некоторыми людьми необходимо пожертвовать, а от некоторых свобод отказаться». Чтобы не позволить роботам поработить человечество и спасти его, некоторые предлагают дополнить законы робототехники еще одним, нулевым законом: робот не может нанести вред человечеству или поработить его.)

Однако многие ученые склоняются к варианту так называемого «дружественного ИИ», при котором подразумевается, что человек с самого начала сделает роботов доброжелательными созданиями. Поскольку именно мы — создатели роботов и именно мы будем их разрабатывать, ничто не помешает нам сделать так, чтобы роботы с самого начала занимались только полезными и добрыми делами.

Понятие «дружественный ИИ» или «дружественный сверхразум» ввел в обращение Элиезер Юдковский (Eliezer Yudkowsky), один из основателей Института сингулярности по искусственному интеллекту. Дружественный ИИ несколько отличается от законов Азимова, которые предполагается навязывать роботам, возможно против их воли. (Более того, законы Азимова, привнесенные в сознание роботов извне, могут побудить их поступить наоборот и заняться поиском хитрых путей их обхода.) В дружественном ИИ, напротив, ничто не мешает роботам убивать и безобразничать. Здесь нет законов, насаждающих искусственную мораль. Скорее можно сказать, что эти роботы с самого начала придуманы так, что для них естественным является желание помогать людям, а не губить их. Они сами выбирают путь добра.

Такой подход породил новое направление, получившее название «социальной робототехники». Его цель — наделить роботов качествами, которые помогут им безболезненно войти в человеческое общество. Ученые компании Hanson Robotics, к примеру, утверждают, что единственная задача их исследований — разработка роботов, которые «эволюционируют в социально разумные существа, способные любить и достойные места в расширенной человеческой семье».

Проблема с подобными подходами в том, что больше всего — и намного! — денег в разработки по искусственному интеллекту вкладывают военные, и роботы, создаваемые по их заказам, специально предназначены для выслеживания и убийства людей. Несложно вообразить себе будущих роботов-солдат, задачей которых будет распознавать солдат противника (людей) и уничтожать их с безошибочной эффективностью. При этом придется принимать чрезвычайные, невообразимые меры, чтобы гарантировать, что военные роботы не обернутся против своих хозяев. К примеру, беспилотный роботизированный самолет Predator управляется дистанционно, так что все его действия постоянно контролируют люди, но когда-нибудь самолеты-беспилотники, вероятно, станут автономными и получат возможность самостоятельно выбирать и поражать цели. Сбой в системе управления такого автономного самолета может вызвать катастрофические последствия.

В будущем, однако, все большая доля финансирования в разработку роботов будет поступать из гражданского коммерческого сектора, особенно в Японии, где назначение роботов — помогать, а не разрушать. Если такая тенденция сохранится, дружественный ИИ действительно может стать реальностью. В этом сценарии в робототехнике со временем возьмут верх потребительский сектор и рыночные силы, так что вкладывать деньги в
дружественный ИИ станет чрезвычайно выгодно.

Отрывок из книги Мичио Каку "Физика будущего"