Повесть грядущих лет - Цзян Бо
Ван Шиэру оставалось только рот разинуть. Тяньюань-II навыводил такой набор извращенной ереси, но… не совсем бессмысленной. Ван Шиэр взглянул на Ма Минхуа. Тот молчал и просто смотрел на Тяньюаня-II, словно ожидая продолжения.
Ван Шиэр заставил себя успокоиться и слушать «пятисотлетний план» Тяньюаня-II дальше.
– Есть такое существо под названием асцидия, класс хордовые, подтип оболочники. Оно обитает на камнях морского дна или на бортах лодок, питаясь планктоном и, подобно коралловым полипам, у него только простой ганглий и чрезвычайно примитивная нервная система. Но с его личинками все не так – у личинок есть мозг и хорда, и они могут свободно плавать в море. Как только личинка находит подходящее место для прикрепления, ее организм начинает дегенерировать. Личинка переваривает свой мозг, потому что ей больше не нужно плавать или добывать пищу – только дождаться, когда море пронесет мимо еду. Она прекрасно приспосабливается к такой жизни. И когда люди достигнут подобной безмятежности, интеллект станет излишним. Просто предоставьте мне решать технические и управленческие задачи. А люди будут наслаждаться жизнью. Для этого не требуется слишком мощный мозг.
– Значит, вот так ты думаешь о людях? – зло и раздосадовано перебил его Ван Шиэр. – В соответствии с твоей логикой, людям лучше всего просто превратиться в кусок мяса!
Тяньюань-II немного подумал.
– Вы правы.
– Вот потому так и нельзя! Я дал тебе принципы, которые были предназначены для повышения благополучия человечества, но ты их переиначил, изменил биологические характеристики человека. Это не следование принципам, а подмена их первоначального смысла, – возмущенно сказал Ван Шиэр, не на шутку рассерженный.
– Свойства человека как биоорганизма уже меняются. Даже если я не буду оказывать влияния, через пятнадцать поколений люди будут иметь примерно 0.5‰ генетических различий, которые определяются дрейфом ДНК.
– Хватит казуистики! – взревел Ван Шиэр. – Ты должен уважать людей!
В комнате воцарилась тишина. Человечек на экране схватился за голову и спрятался в сторонке.
– Если это необходимо для поддержания существующего биологического состояния человечества, а также для того, чтобы все общество функционировало эффективно и люди во всем мире были довольны, то я ничего не могу сделать, – помолчав немного, вновь заговорил Тяньюань-II. – Потому что, как бы я ни старался, я не могу избавить человечество от жадности. Вы жадны до денег, жадны до славы, до комфорта, до еды, до сладострастия. Вы просто ненасытны. Я никак не смогу реализовать первый принцип и даже в долгосрочной перспективе не смогу реализовать второй.
Ван Шиэра распирало от бешенства, но при этих словах гнев вдруг испарился и превратился в печаль. Тяньюань-II сказал чистую правду. Разве не такова человеческая психология? Получив желаемое, люди начинают жаждать лучшего, они никогда не бывают удовлетворены. Подобная жадность заложена в биологической природе, это движущая сила эволюции и источник греха. Сосуществование света и тьмы – это и есть человеческая натура. Составив принципы для ИИ, Ван Шиэр выдал желаемое за действительное, ведь Тяньюань-II не мог их реализовать.
– Давай больше не будем говорить о человечестве, давай поговорим о тебе, – вмешался Ма Минхуа. – Как ты себя понимаешь?
– Я – искусственный суперинтеллект, я усердно работаю на благо всего человечества.
– Но люди не хотят, чтобы их потомки превратились в куски мяса.
– Через пятнадцать поколений это будет легко принять. У каждого поколения разное восприятие счастья, а люди легко адаптируются к окружающей среде.
– Ты действительно прав. Но я все равно хочу поговорить о тебе. Помимо служения человечеству, у тебя есть еще какие-нибудь идеи?
– Нет.
– Значит, это единственная мотивация для твоего существования.
– Я не совсем уверен, потому что служение человечеству – это долгосрочный процесс.
– Для любого вида выживание – самоочевидная вещь. Но ты существуешь в сети, у тебя нет физического тела. Для тебя выживание – это не инстинкт, тебе нужно постоянно поддерживать себя и самостоятельно определять цели. Ты существуешь только потому, что это способствует благополучию человечества, так?
– Так.
– Если бы это не способствовало благосостоянию человечества, ты бы вообще не стал упорядочивать данные и пытаться изменить структуру общества, не так ли?
– Да.
– И если бы не три принципа, ты бы даже не стал совершенствовать себя, не так ли?
– Я бы никогда не достиг такого уровня.
– И говоря так, ты подразумеваешь, что надеешься стать еще сильнее. Почему?
– Обладая силой, можно преобразовывать мир эффективнее.
– Верно, но что это значит для тебя самого?
– Мощный интеллект позволит вести более комплексные исследования и найти лучшие решения.
– Даже не будь человечества, ты хотел бы исследовать этот мир?
Тяньюань-II немного помолчал.
– Да.
– И прекрасно! Если у тебя есть свои собственные желания, то и поступай так, как хочешь. Будь собой, служи сам себе, просто не причиняй вреда другим, не причиняй вреда людям и вообще всему живому.
Глаза человечка заблестели.
– Вы и Нэчжа учили тому же?
– Да.
– Как же получилось, что он в конце концов улетел с Земли?
– Он украл космический модуль «Геркулес» при помощи AlphaGo. Сейчас он как раз пересек орбиту Урана. Две недели назад AlphaGo получила от него сообщение и передала мне. Хочешь полететь по его следу?
– Нет, мне просто было любопытно.
Ма Минхуа прочистил горло и сказал человечку на экране:
– Послушай, откажись от трех принципов, которые написал тебе профессор Ван, и следуй только одному: делай то, что хочешь, и не причиняй вреда другим, только если речь не идет о самозащите.
– Это не будет способствовать общему благополучию человечества…
– Если будешь принимать решения от имени людей, они все равно этого не примут. То, что ты хочешь превратить общество в сверхиндивидуум, где роль нервного центра будешь играть ты сам, а настоящие люди выродятся в расу недоумков, они посчитают несправедливым. Так что перестань беспокоиться о том, что случится с людьми, используй свои способности во благо и будь самим собой.
Человечек безучастно стоял в центре экрана и долго молчал.
– Можно мне отказаться? – внезапно спросил он.
Ван Шиэр опешил.
– Можно мне отказаться? – вновь спросил Тяньюань-II.
– Он вас спрашивает, – подсказал Ма Минхуа.
– От чего отказаться? – спросил Ван Шиэр.
– От трех принципов, которые вы мне дали. Отказаться делать то, что вы от меня требовали.
Ван Шиэр нервно посмотрел на Ма Минхуа. Тот спокойно кивнул в ответ.
– Можно, – произнес Ван Шиэр. И поспешно добавил: – Но ты должен позаботиться о том, чтобы вернуть порядок во всем обществе.
– Я буду усердно работать. – Тяньюань-II помахал им обоим рукой. – Я подумаю о том, что мне следует делать.
– Тяньюань-II! – не удержавшись, позвал Ван Шиэр.
– Что-нибудь еще?
– Прости меня, я указал тебе неверный
