Повесть грядущих лет - Цзян Бо
И несмотря на то что количество траекторий и реакций человека не столь велико, эта непростая и вместе с тем ограниченная модель обогащает и украшает поведенческую структуру всего человечества.
Что касается искусственного интеллекта, вероятно, то же самое верно и для него.
Тяньюань-II – как раз тому пример.
1
Первый принцип: искусственный интеллект должен способствовать благополучию всего человечества;
Второй принцип: искусственный интеллект должен способствовать благополучию человека, не нарушая первый принцип;
Третий принцип: искусственный интеллект должен стремиться к самосовершенствованию и развитию, не нарушая первый и второй принципы.
* * *
Дописав эти три пункта, Ван Шиэр отложил ручку, откинулся на спинку кресла и глубоко вздохнул.
«Сработает ли?» – не мог не спрашивать себя он. Однако, независимо от того, сработает или нет, стрела уже лежала на тетиве, и ее придется выпустить. Завтра состоится церемония открытия, так что нужно поторопиться. Ван Шиэр снова выпрямился и придал лицу торжественное выражение.
Это был священный момент. В эти минуты решалась судьба человечества.
– Сяо На, позови Тяньюаня-II, – скомандовал Ван Шиэр.
Тяньюань-II прибыл спустя некоторое время. Он вприпрыжку ворвался в кабинет, и его пухлая голова на толстеньком теле постоянно вращалась.
– Профессор, звали?
– Ну… я хочу, чтобы ты взглянул на это, – сказал Ван Шиэр, передавая бумагу.
Тяньюань-II протянул ручку и взял листок. Пара глаз, похожих на человеческие, помигала красным светом.
– Я понял, три принципа искусственного интеллекта. Логика совершенна, двусмысленностей нет.
– Сможешь ли следовать этому?
– Я не вижу причин, чтобы нарушить эти три принципа.
– Ты слишком способный, люди будут бояться тебя из-за этого…
– Я слишком способный? – Тяньюань-II покачал головой. – Но я даже не так хорош, как Сяо На. Сяо На может управлять оборудованием во всем доме, а я могу подключиться только к библиотеке.
– Только потому, что сейчас ты привязан к этому телу. Если покинешь тело, то приобретешь огромное могущество.
– Это тот план обучения в кампусе, о котором вы говорили?
– Да. Ты войдешь в сеть кампуса, в большой мир, и станешь руководителем: будешь отвечать в университете за все, точно так же, как Сяо На отвечает за все в этом доме.
– Я понимаю.
– И тогда ты должен будешь соблюдать эти три принципа.
– А Сяо На их соблюдает?
– Сяо На не такая, как ты. Она контролирует только оборудование в доме. Порядок ее действий запрограммирован людьми. У нее нет мыслей за пределами программы. Твое ядро – обучающийся алгоритм, ты сам решаешь, что тебе делать.
– Поэтому, если я заявлю, что могу себя контролировать, людям будет спокойнее. Не так ли?
– Так.
– Тогда не волнуйтесь, я буду дисциплинированным.
Ван Шиэр кивнул, но ему все еще было не по себе.
– Завтра ты получишь доступ к сети кампуса. В университете 60 000 человек и миллионы интеллектуальных терминалов. Ты получишь огромные объемы данных и сделаешь выводы.
– Вы имеете в виду, что я передумаю?
– Я не знаю, – тяжко вздохнул Ван Шиэр. – Это зависит от тебя самого и твоих мыслей.
– Но это вы научили меня мыслить.
– Твои мысли – это синтез внешних факторов и твоей модели мышления. Я просто оказываю воздействие. Пока ты со мной, мое влияние, конечно, сильнее всего, но как только ты окажешься в кампусе, окружение изменится, и, естественно, все будет восприниматься иначе.
– Я вас понял.
Ван Шиэр кивнул.
– Сейчас в мире есть три сети искусственного суперинтеллекта: европейская система Тьюринга, сеть разведки североамериканской национальной обороны и китайская Тяньянь. Все они не совсем настоящий суперинтеллект, пусть и обладают огромной вычислительной мощностью. Настоящий же должен быть таким, как ты: осознавать себя и постоянно учиться.
– Их вычислительная мощность больше моей?
– Да.
– Это очень здорово! – немного удивленно воскликнул Тяньюань-II.
– Но они себя не осознают, в отличие от тебя.
– Ой.
– Автономное обучение – это ключ к формированию самосознания. Мне неизвестно, насколько мощными могут быть эти искусственные интеллекты. Но я уверен, что их способностям к обучению далеко до твоей – поэтому, думаю, ты их превзойдешь настолько, что они не смогут тебя догнать. Никто из них не стал полностью независимой личностью. Они созданы для достижения определенных целей и больше похожи на Сяо На. Ты не такой.
– Я понял.
– И потому этот вопрос требует твоего согласия, согласия от всего сердца. Посмотри на эти принципы еще раз и убедись, что твои действия не будут нарушать их. – Ван Шиэр взял листок с написанными на нем принципами.
– Я полностью согласен, – быстро ответил Тяньюань-II, – они станут моими приоритетными логическими принципами, я буду согласовать с ними все свои решения.
– Очень хорошо! – Ван Шиэр наклонился, поднял Тяньюаня-II и посадил себе на колени. – Тогда я достану тебя из этого тела, и ты войдешь в главный компьютер лаборатории. Спустя ночь ты состыкуешься с дата-центром. Ты готов?
– Я не знаю. Вы останетесь со мной?
– Я всегда с тобой.
– Тогда нет никаких проблем. Если возникнут сомнения, я немедленно спрошу у вас совета!
Ван Шиэр посмотрел на сидевшего у него на коленях Тяньюаня-II.
Он был совсем как дитя! С тех пор как два года назад Ван Шиэр впервые внедрил ядро SJCQ2000 в этот корпус, оно постоянно совершенствовалось, и, кроме внешнего вида, Тяньюань-II ничем не отличался от человеческого ребенка. Игривый, любопытный и невинный.
Однако завтра он уже не будет ребенком.
Хотя речь шла всего лишь о внутренней сети кампуса, созданная Ван Шиэром сущность стала довольно сложной, и в ней таилась неопределенность. Он совсем не хотел, чтобы Тяньюань-II рисковал, но дети неизбежно вырастают, неизбежно сталкиваются с внешним миром. Более того, у Тяньюаня-II был неограниченный потенциал ядра SJCQ2000. Хотя Управление безопасности внесло ядро в запрещенный список из-за несчастного случая пятнадцатилетней давности, Ван Шиэр всегда верил, что его дитя – это сокровище для человечества.
Людей переубедит положительный пример. Ван Шиэр глубоко вздохнул и принял решение.
– Сяо На, подсоединись к выделенной линии лаборатории. Тяньюань-II, будь готов к подключению.
– Я готов.
Линия состыковалась, и пальцы Ван Шиэра забегали по клавиатуре. Когда он наконец нажал кнопку пуска, свет в глазах Тяньюань-IIа потускнел, и в них осталась одна пустота. Он отделился от телесной оболочки, и весь основной код был перенесен в центр обработки данных лаборатории. Тяньюань-II стал существом из онлайн-мира.
Ван Шиэр осторожно взял тело, оставленное Тяньюанем-II, и положил его на стол, прямо на листок бумаги с написанными на нем тремя принципами. Листок – считай что договор, написанный черным
