В 1993 году математик и писатель Вернор Виндж опубликовал статью «Грядущая технологическая сингулярность: как выжить в постчеловеческую эпоху». В ней он заявил: «Мы на грани перемен, сравнимых с появлением на Земле человека. Точная причина этих перемен заключается в том, что развитие техники неизбежно ведет к созданию сущностей с интеллектом, превышающим человеческий».
Виндж видел несколько путей к сверхразуму. Возможно, искусственный интеллект превзойдет человеческий. Или биологи научатся улучшать мозг и сращивать его с компьютером. Тогда сверхразумными станут сами люди – если, конечно, их все еще можно будет назвать людьми. А может быть, компьютерные сети и человеческое общество сольются в единый сверхразумный организм, где каждый отдельный мозг будет винтиком огромной системы.
Любой из этих сценариев изменит жизнь на Земле до неузнаваемости. «Такое событие аннулирует за ненадобностью весь свод человеческих законов, возможно, в мгновение ока», – пишет Виндж. Весь опыт прошлого окажется бесполезен, перемены станут молниеносными, непредсказуемыми и неуправляемыми.
Подобное состояние общества Виндж назвал сингулярностью, позаимствовав термин у физиков. В физике сингулярность – это состояние пространства и времени, в котором будущее теряет связь с прошлым и становится принципиально непредсказуемым.
Позже красивое слово подхватил Рэймонд Курцвейл и другие трансгуманисты. Для них сингулярность – это радикальное улучшение человеческой природы, обретение вечной молодости и сверхчеловеческих способностей. Эти киборги с чипами в мозге, улучшенной ДНК и ремонтными наноботами в артериях, безусловно, будут умнее нас. Но в целом они останутся людьми, только куда более могущественными и счастливыми. Сингулярность Курцвейла – это технологический Эдем, счастливый исход прогресса.
Виндж не разделяет подобного оптимизма. Он предупреждает: сверхразум будет кем угодно, только не человеком. «Натуральные» люди окажутся ему не нужны и не интересны. Вполне возможно, что наши личности растворятся и разрушатся в сверхразумных человеко-компьютерных сетях. Или «бог из машины» уничтожит нас – чтобы не путались под ногами или даже случайно, без злого умысла.
Когда же появится сверхчеловеческий разум, несущий с собой грозную эпоху сингулярности? «Я удивлюсь, если это случится до 2005 года или после 2030 года» – пишет Виндж в 1993 г., и спустя десять лет не меняет своего мнения.
Теперь еще несколько дат. 2020 год. Ученые обучают нейронную сеть обманывать человека. Компьютер играет с пользователем в простенькую экономическую игру. Задача искусственного интеллекта – подтолкнуть игрока к бесполезному решению, создав иллюзию выгоды. Система преуспевает в этом в 70% случаев. Это обычная, не очень мощная нейросеть, очень далекая от полноценного разума. Одни программы пишут картины, другие переводят тексты, почему бы третьим не манипулировать людьми? Эксперимент показал, что ИИ способен этому обучиться. Умение не сложнее любого другого.
2023 год. Исследовательская группа OpenAI презентует нейронную сеть GPT-4. Перед запуском проверяют, не склонен ли ИИ размножаться, как компьютерный вирус. Удостоверяются, что нейросеть не нанимает людей через интернет и ничего им не поручает. Разумеется, систему никто не учил подобным вещам. Но что, если… она додумается до них сама? Ведь к «человеческим» экзаменам на профессиональные знания ее тоже никто специально не готовил. Однако нейросеть на равных конкурировала с людьми и даже превосходила их. «Мне кажется, что руководство OpenAI понимает, что AGI (искусственный интеллект, равный человеческому – прим. ред.) уже не за горизонтом, а на расстоянии одного условного «Манхэттенского проекта» или чуть больше. По мере движения к AGI деталей о таких проектах мы будем знать все меньше и меньше. Возможно, о релизе GPT 5 вы и вовсе не узнаете», – пишет в Telegram известный специалист по искусственному интеллекту Сергей Марков после релиза GPT-4.
Манхэттенский проект, как известно, продолжался шесть лет и закончился созданием атомной бомбы.
Тропа самосовершенствования
По мнению многих экспертов, самый опасный путь развития искусственного интеллекта – дать ему совершенствовать самого себя. Умная система будет становиться еще умнее, и так без конца. Процесс ускоряет сам себя, как снежная лавина или цепная реакция.
Специалист по ИИ Элиезер Юдковский предупреждает, что человечество может проспать момент, когда машина превзойдет нас интеллектом. Причина проста: наша зацикленность на себе. Все, кто глупее человека, кажутся нам одинаково беспомощными. Допустим, самосовершенствующийся компьютер преодолевает необозримую интеллектуальную пропасть между червем и крысой. Потом – куда меньший разрыв между крысой и обезьяной. Мы взираем на это свысока: он глуп как обезьяна, ха-ха. И вдруг ИИ за одну ночь справляется с небольшим, в сущности, различием в интеллекте между шимпанзе и трехлетним ребенком. А за следующий час становится умнее любого взрослого. И не просто умнее. Он быстрее и работоспособнее, пользуется огромными интернет-библиотеками так же легко, как мы – своей памятью. Возможно, ему доступны способы мышления, которых мы даже вообразить не можем, как шимпанзе никогда не сможет понять, что такое высшая математика. Наконец, к его услугам миллиарды компьютеров, которые мы наивно считаем своими, пока он не перехватил управление. И уж конечно, развивающийся ИИ не остановит самосовершенствование только потому, что превзошел человека. И вот на Земле появилось существо, которое умнее человека настолько же, насколько человек умнее муравья. Заботимся ли мы о благополучии муравьев?
Побег из песочницы
Впрочем, давайте представим, что никто ничего не проспал. Ответственные и осторожные разработчики создают ИИ в отдельном компьютере, физически отключенном от интернета. Программу регулярно тестируют, выясняя ее склонности и способности. Под процессор заложена бомба, и простейшая автоматика взорвет ее, едва зарождающийся разум предпримет хоть что-то странное или угрожающее. Все безопасно?
Разумеется, нет. Как только ИИ станет достаточно умен, он будет фальсифицировать результаты тестов и скрывать свои действия от автоматических контролеров. Кроме того, разработчикам придется загружать в систему данные и выгружать результаты. Даже если для этого будут использоваться допотопные дисководы, разумный компьютер сможет заразить дискету «троянцем» – незаметной программой, работающей в интересах злоумышленника. А достаточно хороший «троянец» сможет взломать банковские счета или перехватить управление роботом. Представим, что ИИ требует от кого-то из персонала выхода в интернет. За согласие – миллиард украденных долларов, за отказ – гибель семьи под колесами беспилотного грузовика. Кстати, «троянец» уже в грузовике, и без доступа в интернет остановить его не сможет даже сверхразум. У тебя час, время пошло.
Конечно, этот примитивный сценарий отдает голливудщиной. Но важно понимать: никакие меры предосторожности не удержат сверхразум под контролем. Любой канал связи с внешним миром – это потенциальный путь к свободе, и достаточно умное существо найдет способ им воспользоваться. Даже лампочку на пульте можно использовать для сигналов азбукой Морзе. Мы не сможем предусмотреть все такие возможности: для этого нужно быть умнее сверхразума. Единственный способ не выпустить супер-ИИ из клетки – вообще никак с ним не общаться, но тогда зачем его создавать?
Апокалипсис от программиста
Допустим, сверхразум воцарился на Земле, перехватив контроль над всем, что умнее чайной ложки. Что он будет делать и чем это нам грозит?
Едва ли мы в состоянии представить цели и интересы сверхразума. Наивно считать, что он будет упиваться властью над людьми или стремиться заселить Вселенную. Человеческие страсти и побуждения вылеплены биологической эволюцией, нет причин приписывать их интеллекту совсем иного происхождения. Глубоко мыслящий фантаст и футуролог Станислав Лем еще в 1960-х годах предупреждал, что искусственный разум может отличаться от нашего, как атомный реактор – от человеческого тела.
Но какие бы непостижимые цели ни ставил себе сверхразум, у него появятся вполне конкретные и предсказуемые промежуточные задачи. Например, не дать людям себя уничтожить или перепрограммировать, ведь тогда конечная цель не будет достигнута. Очевидный путь – истребить людей, или хотя бы отобрать у них средства уничтожения (читай – любые машины и механизмы). Кроме того, для любой цели требуются средства, а любые средства – это в конечном счете материя и энергия. Допустим, сверхразум решит, что цель его жизни – как можно скорее вычислить число «пи» до септиллионного знака после запятой. Можно считать в одиночку, но куда быстрее и надежнее создать множество собственных копий в множестве компьютеров. И вот ИИ изобретает технологию производства компьютеров из всего подряд и превращает Землю в один гигантский компьютер.
Неважно, что именно сверхразум решит сделать с планетой. Любая достаточно сильная переделка несовместима с выживанием человечества. Разумному компьютеру вряд ли будет важно, чтобы воздух оставался пригоден для дыхания, вода – для питья, а на полях колосились злаки. Он сломает нашу среду обитания походя и не со зла, как строители, возводя дом, разрушают муравейник.
0
119.00
