Реальность на кону: Как игры объясняют человеческую природу - Келли Клэнси
Тем временем в США инженер Артур Сэмюэл работал над программой, которая cмогла бы играть в шашки. Изначально он задумал этот проект как эффектный трюк, чтобы выбить финансирование для завершения работы над компьютером, который он проектировал, но вышло так, что шашечная программа стала главным направлением его исследований на следующие 30 лет. Сэмюэл был не особенно сильным шашистом, и первые версии его системы работали лишь настолько хорошо, насколько он мог их запрограммировать. Чтобы создать машину, способную превзойти его собственные ограниченные таланты, он взялся за воплощение мечты Тьюринга о программе, которая могла бы обучаться сама, – и заодно популяризировал в 1959 г. термин «машинное обучение».
К концу 1950-х гг. Сэмюэл натолкнулся на стратегию игровой тренировки, которая станет основной для всей сферы разработки ИИ, – самоигру (англ. self-play). При таком подходе программа тренируется в игре против собственных копий. Эти копии корректируют свои параметры после каждой партии, чтобы повысить долю побед. Самоигра оказалась столь эффективной отчасти потому, что игроки лучше всего учатся у примерно равных соперников. Когда программа играет с собственной копией, ей всегда противостоит тот, кто играет на ее же уровне. Если свести ее с куда более сильным игроком, она может так ничему и не научиться, поскольку ее будут постоянно громить. Слабый соперник тоже не годится: победы будут даваться слишком легко – и у программы не появится стимула к совершенствованию.
Однако обучение посредством самоигры требует очень много времени, а учитывая тогдашнюю редкость компьютеров, это была роскошь, доступная лишь немногим исследователям. К тому моменту Сэмюэл работал в компании IBM, руководство которой не разделяло его энтузиазма по поводу шашек. Каждую ночь, пока коллеги спали по домам, а корпоративные компьютеры простаивали, Сэмюэл пробирался в лабораторию, чтобы с полуночи до семи утра тренировать свою программу. К 1956 г. она играла достаточно хорошо, чтобы соперничать с начинающими игроками. Впечатленный успехом, достигнутым Сэмюэлом исподтишка, президент IBM организовал публичную демонстрацию программы, и акции компании в одночасье подскочили на 15 долларов.
_ _ _ _
Параллельно с попытками специалистов по информатике создать мыслящие машины, нейробиологи старались разобраться в биологических основах интеллекта. В 1980-е гг. молодой врач по имени Вольфрам Шульц организовал собственную лабораторию, занимавшуюся болезнью Паркинсона. Он планировал фиксировать электрическую активность дофаминовых нейронов, чтобы лучше понять ту роль, которую они играют в управлении движением. Хотя дофаминовые нейроны составляют менее 1% всех нейронов мозга, их относительно легко обнаружить и изучать, поскольку они сосредоточены в нескольких расположенных рядом областях среднего мозга. Шульц и его коллеги имплантировали электроды в мозг макак и замеряли активность дофаминовых нейронов, пока животные выполняли простые двигательные задачи[47]. Исходя из данных об участии этих нейронов в процессе движения, можно было ожидать, что они будут активироваться всякий раз, когда подопытные макаки меняют положение. Вместо этого они срабатывали в те моменты, когда животным давали награду.
Это было не совсем неожиданно. Да, дофамин как-то задействован в движении, но для чего в конечном итоге нужно движение, как не для стремления к награде и избегания наказания? Биологи фрагмент за фрагментом составляли целостное представление об этой ориентирующей системе. Ученые XIX в., очарованные недавно открытым электричеством и смутно осознававшие его роль в нервной деятельности, вживляли стимулирующие электроды в мозг людей и животных, руководствуясь скорее энтузиазмом, чем разумом. В первой половине XX в. нейрохирург Уайлдер Пенфилд усовершенствовал эту методику и использовал ее для создания функциональной карты мозга. Он характеризовал участки мозга в соответствии с эффектами от их стимуляции: зрительная кора, например, была помечена им как «свет и тени». Стимуляция области, которую он называл «памятью», погружала подопытного в воспоминания настолько яркие, что казалось, будто они разворачиваются в настоящем. Префронтальная кора, задействованная в принятии решений, стала «тишиной», поскольку ее стимуляция прерывала внутренние монологи пациентов. «Всю мою научную жизнь, – писал Пенфилд, – меня занимал главный вопрос, который веками не давал покоя и ученым, и философам: едины ли разум и тело?» Создавалось впечатление – почти чересчур удобное, – будто психические функции можно напрямую сопоставить с конкретными областями мозга[48].
За этим последовала целая волна экспериментов со стимуляцией, связывающих области мозга с вызываемым ими поведением. Стимуляция где-то в глубине мозга крыс делала их агрессивными. Стимуляция другой области вызывала у них страх, и эти крысы избегали возвращаться в те места, где получили разряд. В 1953 г., во время своей первой операции по вживлению крысе электрода, молодой ученый по имени Джеймс Олдс сделал случайное открытие. Он удачно промахнулся на долю миллиметра, и вместо страха разряд, казалось, вызвал у крысы чувство удовлетворения[49]. Животное снова и снова возвращалось в то место, где получило разряд, вместо того чтобы его избегать. Как в игре «Горячо-холодно», крысу можно было «притянуть» к любой точке, посылая электрический стимул после каждого движения в нужном направлении[50].
Олдс быстро соорудил систему с рычагом, которая позволяла животному самостоятельно вызывать стимуляцию. Крыса с вживленным в мозг электродом непрерывно нажимала на этот рычаг. Последующие исследования показали, что крысы предпочитали такую стимуляцию еде, воде и даже спариванию. Они нажимали на рычаг, даже если это сопровождалось болезненным ударом тока. Подобно наркоманам, животные нажимали на рычаг целыми днями, день за днем, часто до изнеможения, конвульсий, а иногда и смерти. Таким образом гибли крысы, кошки, обезьяны и даже один дельфин. Эти результаты вызвали бурный интерес средств массовой информации, а футурологи предсказывали, что все наши устремления и желания скоро заменит электрофизиологическое удовлетворение. Писатель-фантаст Айзек Азимов заключал: «Очевидно, все желанные вещи в жизни желанны лишь постольку, поскольку они стимулируют центр удовольствия. Прямая его стимуляция делает все остальное ненужным»[51].
Позднее было обнаружено, что стимуляция этой области вызывает выброс дофамина[52]. На смену репутации дофамина как «молекулы движения» вскоре пришло его новое амплуа – «молекулы удовольствия». Однако эта ассоциация всегда была сомнительной. Люди с вживленными в аналогичную область мозга электродами не испытывали при разряде никакого удовольствия. Ощущение больше походило на непреодолимое желание. Испытуемые сообщали, что потребность нажимать на рычаг напоминала порыв почесать зудящее место. Не имея возможности поговорить с животными, мы не можем сказать, ощущают ли они то, что мы называем наградой, как нечто приятное. Скорее, награда закрепляет поведение, которое к ней приводит, в соответствии с «законом эффекта»
