Иной разум. Как «думает» искусственный интеллект? - Андрей Владимирович Курпатов

Многослойный перцептрон

То есть, получив информацию в общем «цехе переговоров», каждый вектор-работник уходит в свою персональную «лабораторию» — многослойный перцептрон, чтобы её осмыслить и обработать. Эта «лаборатория» — небольшая, но очень мощная нейронная сеть из нескольких слоёв, которую можно представить как серию сложных фильтров или детекторов[89][90].

Именно здесь и хранятся выученные моделью закономерности, факты и «правила» о мире, извлечённые из триллионов текстов в процессе обучения. То есть многослойный перцептрон — это, по сути, модель мира, которой пользуется система, чтобы понимать сам мир.

У каждого из нас есть модель мира, хотя мы этого и не осознаём, но если в нашем восприятии что-то перестанет с ней согласовываться, мы точно озадачимся. Например, мы сильно удивимся, если нам повстречается летающий крокодил или человек с тремя головами.

Вы вряд ли осознаёте, что в вашей модели мира есть «запрет» на летающих крокодилов и трёхголовых людей, но он есть. Тогда как бегущего крокодила или человеческое тело без головы, даже если никогда не были свидетелями чего-то подобного, вы вполне можете допустить.

То есть знания в нашей модели мира — это не набор каких-то чётких правил, а скорее некое внутреннее понимание «возможного» и «невозможного». Многослойный перцептрон — это в некотором отношении именно такое «понимание» мира.

Услышав фразу «Шерлок Холмс достал скрипку», наш мозг мгновенно и автоматически «подтягивает» из своей модели мира всё, что у нас связано с этим образом: туманный Лондон, дом на Бейкер-стрит, доктора Ватсона. Эти понятия не были названы, но они «всплывают» и обогащают наше понимание сцены.

Многослойный перцептрон — это механизм, который производит такую же операцию «подтягивания» релевантных знаний для каждого вектора, прошедшего через него[91]. Но важно понимать, что это у ИИ свои ассоциации, он не видит нашей «картинки в голове». Это статистические соответствия, то есть сами наши «модели мира» созданы из совершенно «другого теста».

Мы строим своё понимание через телесный и сенсорный опыт, а также через взаимодействие с другими людьми и обучение языку. Тогда как ИИ строит свои знания о мире из текстовых корреляций, поэтому у него совершенно иная «модель мира».

Так или иначе, работник-вектор, переходя в пространство многомерного перцептрона, обогащается множеством знаний о «возможном» и «невозможном» с точки зрения некого аналога нашей «модели мира», которая есть у данного ИИ.

Например, если на входе вектор сильно напоминает «короля», многослойный перцептрон может добавить к нему признаки «власть», «монархия», «история». Если же слои перцептрона научились распознавать комбинацию признаков «Александр» и «Пушкин» (информация, которую вектор получил благодаря механизму внимания), они могут активироваться и добавить к этому вектору новый, ранее отсутствовавший признак — «поэт».

Таким образом, если механизм внимания — это про то, как связать слова в предложении, то многослойный перцептрон — это про то, как обогатить каждое слово дополнительными знаниями о мире. Это две чередующиеся фазы: сначала общение и погружение в контекст, потом — индивидуальное размышление о том, что бы это могло значить.

Коллективное обсуждение в цехе механизма внимания и последующая обработка в лаборатории многослойного перцептрона — всего лишь один сборочный конвейер на нашей фабрике, один слой. В современных моделях таких «конвейеров» — слоёв, установленных друг за другом, — может быть больше сотни, что стало возможным благодаря прорывам в области глубокого обучения, таким как работы Джеффри Хинтона и его коллег[92].

Каждый вектор, покинув зал заседаний с круглым столом, проходит слой многослойного перцептрона, обогащается дополнительными знаниями и возвращается на общее совещание к своим коллегам. Они снова что-то выкрикивают-обсуждают и расходятся по вторым слоям своих «лабораторий», затем снова собираются, совещаются и снова расходятся…

Они повторяют этот вход-выход слой за слоем, проводя новые и новые раунды своих «переговоров» в контексте и проходя новые же этапы «осмысления» в модели мира. При этом каждый раз они общаются уже не как «сырые» векторы слов-токенов, а как гораздо более сложные, обогащённые контекстом и знаниями сущности.

С каждым новым слоем уровень абстракции растёт:

• на первых слоях векторы могут обсуждать простые синтаксические связи;

• на средних — улавливать сложные семантические роли и метафоры;

• на самых высоких — анализировать общий тон, стиль и даже авторский замысел текста.

Впрочем, и это ещё не всё.

Многоголовое внимание

После того как вы поняли примерную логику самого процесса контекстуального и общего обогащения, просто вообразите, что на каждом слое проводится не один «круглый стол», а десятки одновременно, и каждый — со своей специализацией. Это механизм получил название «многоголовое внимание».

Представьте себе не один общий цех, а огромный конференц-зал, где одновременно работают сотни групп-столов.

• Первая группа обсуждает, какие слова являются подлежащими, а какие — сказуемыми. Вторая ищет, какие местоимения на какие существительные ссылаются. Третья отслеживает причинно-следственные связи. Четвёртая анализирует эмоциональную окраску…

• И в этой логике — сотня параллельных обсуждений с теми же самыми векторами, где результаты собираются вместе, обогащают исходные векторы всей сотней точек зрения (от каждой головы внимания) и только затем отправляются в «лаборатории» многослойного перцептрона.

Представить эту сложность практически невозможно. Но если вы задумаетесь над тем, что происходит в столь грандиозной системе расчётов, то поймёте, что этот процесс — есть ничто иное, как постоянное углубляющееся и расширяющееся понимание.

Всё начинается с общих, поверхностных знаний, а затем они словно бы всё сильнее вворачиваются в контекст ситуации, с которой работает ИИ. Причём сам этот контекст не оторван от «действительности», а постоянно, с каждым новым оборотом, расширяется общими представлениями модели о мире.

Таким образом, механизм трансформера — это реально гигантская, многоуровневая фабрика. Каждый её этаж-слой состоит из огромного конференц-зала, где информация анализируется параллельно с десятков ракурсов, и тысяч индивидуальных лабораторий, где она обогащается знаниями. И таких этажей — огромное множество.

Совершенно грандиозная конструкция! При этом механизм внимания просто связывает, а перцептрон — лишь преобразует. То есть, по существу, это обычные математические операции. Но когда сотни слоёв, каждый из которых оснащён десятками «голов внимания», работают вместе в колоссальном масштабе, на выходе получается нечто, что ведёт себя так, как будто оно понимает смысл.

Мы видим чудо осмысленного диалога, но за ним не стоит никакой «призрак в машине». За ним стоит невероятная сложность: грандиозность архитектуры и масштаб вычислений, которые переходят в принципиально новое качество.

Специализировать

Величайший прогресс в развитии производительной силы труда… явился, по-видимому, следствием разделения труда.