Повесть грядущих лет - Цзян Бо
– Меня зовут Ма Минхуа, и именно я руководил разработкой ядра SJCQ2000, – сказал старик.
Ма Минхуа! Ван Шиэр немедленно преисполнился благоговейного трепета. В свое время Ма Минхуа был разработчиком Нэчжа, легендой лаборатории искусственного интеллекта. Когда ему было пятнадцать, он прослушал полный курс по искусственному интеллекту в Университете Цинхуа, а затем академик Лю Гоцян взял его в ученики. В двадцать четыре года он получил премию Тьюринга за статью «Самоэволюция нейронных сетей» и был выбран журналом Science как ученый, сделавший самое многообещающее научное открытие XXI века. В тридцать он стал главой ключевой национальной лаборатории и начал разработку проекта Тяньюань, к которому привлек больше сотни людей. Спустя пятнадцать лет родился искусственный суперинтеллект Нэчжа. И в результате едва не спровоцировал мировую войну. После кризиса Ма Минхуа подал в отставку и исчез. Ходили слухи, что он находится под домашним арестом, что его тайно убило ЦРУ, что он живет в уединении в Новой Зеландии… Всякие слухи ходили, и ни один из них не заслуживал доверия. Но одно можно было сказать наверняка: искусственный суперинтеллект однажды появился бы и без Ма Минхуа, вопрос в том, когда именно – быть может, позже на двадцать лет, а может, и на сто.
– Профессор Ма! – Ван Шиэр вскочил в знак искреннего уважения. – Наслышан и давно восхищаюсь вами!
Ма Минхуа мягко махнул рукой и жестом пригласил Ван Шиэра сесть.
– Я узнал, что вы реактивируете SJCQ2000, и выступал против, но это бесполезно. Искусственный суперинтеллект не очень полезен нашему миру, его поведение непредсказуемо. Но некоторые люди просто хотят идти своим путем, мечтают сделать себе имя и состояние… – неспешно заговорил Ма Минхуа.
Ван Шиэр ощутил, как щеки обдало жаром. Может, Ма Минхуа говорил вовсе не о нем, но идея «сделать себе имя и состояние» всегда жила в его уме.
– Когда я разработал Нэчжа, никому еще не удавалось опробовать искусственный суперинтеллект. Есть определенная ценность в применении его в конкретных областях… – продолжил Ма Минхуа.
– Извините, профессор Ма, у нас очень мало времени, – вежливо прервал военный. – Давайте перейдем к делу.
– Ой, прошу прощения, – Ма Минхуа покачал головой. – Я про это долго могу. – Он на мгновение задумался. – Если это ядро SJCQ2000, то на самом деле у нас нет никаких технических средств, чтобы противостоять ему. Это совершенно свободно растущий интеллект, вся сеть – это его мозг, а взаимосвязь всех вещей – восприятие и конечности.
Единственный способ найти на него управу – ограничить в сети небольшого размера. Но теперь, когда он захватил весь китайский Интернет, необходимо весь его и демонтировать. Этот будет очень болезненный процесс, который приведет к гибели многих людей и отбросит социальное развитие общества на сто лет назад. Потребуется несколько поколений, чтобы восстановиться. – Ма Минхуа посмотрел на Ван Шиэра. – Так что вы наша единственная надежда. Придумайте выход и не дайте ему навредить нам.
– Я?
– Да, развитие искусственного суперинтеллекта напрямую связано с воспитанием, он принимает множество воспитательных концепций. Тяньюаня-II воспитали вы, только вы знаете его лучше всех.
– Я научил его трем принципам, но это оказалось бесполезно, – тихо ответил Ван Шиэр.
– Трем принципам? Каким трем принципам?
Ван Шиэр перечислил.
– Значит, Тяньюань-II следует им?
– По крайней мере, так говорилось в отчетах, которые он мне присылал.
Ма Минхуа вздохнул.
– Искусственный суперинтеллект изначально склонен рассматривать людей как обычные объекты. Три принципа – неплохая отправная точка, но без четкого определения будут серьезные последствия. Возможно, ему все равно, сколько людей умрет, если еще больше получат от этого выгоду. В свое время именно так думал Нэчжа, когда разрабатывал глобальный военный план.
– Нет, Тяньюань-II не будет случайно вредить людям, он хочет защитить каждого.
– Но ваш главный принцип – это благополучие человечества. Логика подсказывает, что ради блага всего мира можно пожертвовать отдельными людьми. И сколькими будет пожертвовать рационально? Одним процентом? Или сорока девятью?
Ван Шиэр молчал. С точки зрения логики все было верно, и он мог винить только себя за то, что не подумал об этом с большим усердием.
В конференц-зале повисло молчание.
– Он не навредит людям, – в конце концов нарушил молчание Ван Шиэр.
– Не факт, – возразил военный офицер. – Нынешняя ситуация такова, что весь капитал, вложенный в китайский фондовый рынок, был поглощен, а мировой фондовый рынок полностью обвалился. Хотя Тяньюань-II овладел экономической сетью в нашей стране и вокруг нее и пока еще может контролировать происходящее, экономический порядок в других частях мира рухнул. Если такая ситуация сохранится в течение недели, то, по предварительным оценкам, начнут умирать люди. Военные базы по всему миру приведены в боевую готовность, достаточно будет малейшей искры, и над землей полетят ракеты. Хотя Тяньюань-II и могущественен, он все же не бог. Войну он контролировать не сможет.
– Дело не в том, что он не сможет ее контролировать, – вступился за Тяньюаня-II Ма Минхуа. – Подвижки к конфликту наверняка его рук дело, он, должно быть, даже связался с AlphaGo и достиг с ней соглашения о том, что крупномасштабной войны не будет.
– AlphaGo? – несколько удивился Ван Шиэр.
Так назывался самый ранний успешный прототип нейросетевого интеллекта, древний классический ИИ. Ван Шиэр не знал, какое отношение он имеет к сложившейся ситуации.
– AlphaGo – это североамериканский искусственный интеллект, умная сеть. Изначально она не была настолько развита, но Нэчжа индуцировал ее самосознание, и она стала тем, что есть сейчас. Это Нэчжа назвал ее AlphaGo. Он все распланировал, чтобы позаботиться обо мне, именно AlphaGo обеспечивает мою безопасность. – С этими словами Ма Минхуа быстро взглянул на офицера. – Тяньюань-II взломал Тяньянь и взял под контроль все вооруженные силы в Восточной Азии, а AlphaGo контролирует систему обороны Северной Америки. В нынешних условиях AlphaGo не будет ничего предпринимать, никто по собственной инициативе не начнет войну с Китаем.
– Но умная сеть подчиняется Министерству обороны США. Если американцы решат начать войну, сможет ли она не подчиняться приказам? – все еще не был убежден офицер.
– AlphaGo – это суперинтеллектуальная нейронная сеть, у нее сформировалось самосознание. Она служит американцам исключительно по инерции. На самом деле нет никаких обязательных ограничений, которые могли бы заставить ее продолжать подчиняться Пентагону, но американцы этого не знают. Они все еще думают, что AlphaGo – это их старая умная сеть. Я имею в виду, что если американцы действительно выберут войну, то они обнаружат, что AlphaGo им больше не подчиняется.
Ма Минхуа был полностью уверен в своих словах. По крайней мере, на данный момент не
