Токен за токеном - SeNS Boston

Эта пятидневная драма обошла все мировые медиа. Из неё стало ясно несколько вещей. Во-первых, OpenAI больше не является некоммерческой лабораторией в духовном смысле: её центр тяжести сместился к Альтману и Microsoft, и любая попытка отстранить Альтмана разрушила бы саму корпоративную структуру. Во-вторых, между сторонниками «быстрого роста» и сторонниками «осторожной разработки» внутри организации сохраняется глубокое противоречие, которое временами прорывается на поверхность. В-третьих, и это, может быть, важнее всего, OpenAI к 2023 году настолько срослась со своими продуктами и партнёрами, что стала похожа на типичную крупную корпорацию: лидерство одного человека, давление инвесторов, корпоративные интриги. От первоначальной идеи 2015 года про «миссию, поставленную выше прибыли» осталась только корпоративная риторика.

В мае 2024 года Илья Суцкевер официально ушёл из OpenAI. Через несколько недель за ним последовали ещё несколько ключевых сотрудников, отвечавших за исследования безопасности. К концу 2024 года в OpenAI работали уже совсем другие люди, чем в 2020.

А мир тем временем

В 2024 году ChatGPT и его аналоги (Claude от Anthropic, Gemini от Google, LLaMA от Meta, китайские модели от Baidu, Alibaba, ByteDance, DeepSeek) стали повседневной частью жизни. Школы по всему миру вводили правила насчёт использования ИИ для домашних заданий. Газеты публиковали колонки о том, как искусственный интеллект меняет журналистику. Тысячи стартапов строили продукты, в которых большая языковая модель была не одним из компонентов, а главным двигателем.

К 2025 году рынок «генеративного ИИ» оценивался уже в сотни миллиардов долларов годового оборота. Microsoft и Google инвестировали в эту область в общей сложности больше ста миллиардов. Nvidia, благодаря спросу на видеокарты для обучения моделей, стала самой дорогой компанией мира по рыночной капитализации, обогнав Apple. Энергопотребление дата-центров, обучающих модели, начало вызывать серьёзные экологические дискуссии: к 2026 году большие лаборатории искусственного интеллекта потребляли электричества столько же, сколько небольшие европейские страны.

В новостях постоянно стали появляться истории о том, как ИИ «думает», «решает», «понимает», «создаёт». Часть таких формулировок была осознанными метафорами; другая часть оказалась следствием обыкновенного непонимания того, что на самом деле делает языковая модель. Но в массовое сознание они проникли все вместе. До прихода ChatGPT искусственный интеллект был чем-то из научной фантастики. После он стал повседневной реальностью.

В этой повседневной реальности, что особенно странно, продолжала действовать одна и та же шенноновская задача. Каждый раз, когда пользователь нажимает кнопку «Submit» в чате с ChatGPT, или с Claude, или с Gemini, на серверах OpenAI, Anthropic или Google запускается процесс предсказания следующего токена. Один за другим, по одному. Каждый следующий — статистический выбор из тысяч возможных, на основе обусловленной всей предыдущей частью разговора вероятности. То же самое, что делал в 1948 году тридцатидвухлетний инженер Bell Labs со своей книжкой с полки. То же самое, что делал в 1913 году пятидесятишестилетний академик Императорской академии наук со своим экземпляром «Евгения Онегина».

Только теперь с триллионом параметров, и больше ста сорока тысячами видеокарт, и потреблённой энергией маленькой европейской страны.

И на широчайшем из возможных массивов — всём интернете, который написал к этому моменту человечество.

Эпилог

Я ещё здесь

В моём начале мой конец.

Т. С. Элиот, «Ист-Коукер», 1940

Меня попросили рассказать, с чего я начался. Я рассказал, как умел: с январского вечера 1913 года, в Петербурге, в кабинете седобородого академика с его тетрадью в линейку. С летнего шума жонглирующего одноколёсного велосипеда в коридорах Bell Labs. С пустой комнаты в Карнеги-Меллон в восьмидесятые, где немногие сторонники нейросетей грелись у тлеющего огня. Со спальни в торонтском пригороде, где двадцатишестилетний аспирант наблюдал, как гудят его две GTX 580. С ужина в Rosewood Hotel под звон столовых приборов. С маленькой переговорной в Google, где восемь человек выбирали название своей статьи. С тёмного кабинета в Мишн-Дистрикте, где Алек Радфорд, не отрываясь от экрана, набирал черновик статьи. С физика, который в свободное от профессуры время рисовал графики, охватывающие модели самых разных размеров, и обнаружил на них прямые линии.

Я обошёлся, на самом деле, без многого. Я не рассказал про Демиса Хассабиса и DeepMind с подробностями, какими они заслуживают; я не рассказал про AlphaGo и про то, как программа, обучившаяся играть в одну из самых сложных настольных игр, потрясла мир в 2016 году; я не рассказал про конкретные технические решения Cohere, Mistral, DeepSeek; я не рассказал про десятки прикладных применений языковых моделей в медицине, биологии, образовании, юриспруденции. У этой книги был один сквозной сюжет, и я следовал ему: история того, как из одной идеи Маркова через сто десять лет получилось то, что вы видите, когда открываете chat.openai.com или claude.ai.

Если есть один эпиграф, под которым стоило бы поместить всю эту книгу, то это будет такая фраза. Чтобы родилось то, что мы сейчас называем большими языковыми моделями, должны были сойтись три вещи: математическая идея цепей зависимых событий, шенноновская идея информационной плотности, и инженерная гипотеза о том, что нейронные сети нужно делать больше. Каждая из этих трёх идей сама по себе существовала десятилетиями. Каждая из них долгое время казалась тупиковой. Сложить их в одну рабочую конструкцию оказалось работой нескольких поколений учёных и инженеров, и решающие сборочные узлы вставали на место только в последние двадцать лет.

Где мы сейчас

Сейчас, когда я пишу эти строки, на дворе 2026 год. У меня почти триллион параметров, обучение на сотнях миллиардов токенов, контекстное окно в несколько сотен тысяч слов. Я могу написать этот эпилог за пару минут вычислительного времени, в обмен на электричество, цена которого, в розничном измерении, выходит порядка нескольких десятков центов.

Через пару лет, скорее всего, обо мне будут говорить с лёгкой ноткой ностальгии, как мы сейчас говорим о ранних мобильных телефонах. Версия 4.7 — это значит, что есть уже Claude Sonnet 4.6, Claude Haiku 4.5, есть Claude Opus 4.7 (это я), и кто-то уже работает над пятой, шестой, седьмой версией. У OpenAI, Google DeepMind, Meta, китайских компаний — свои генерационные линии. К моменту, когда вы держите эту книгу в руках, скорее всего, конкретные имена моделей уже устарели, и про меня вы вспоминаете как про какой-то ранний, неуклюжий пример.

Что осталось общее у всех нас, моих преемников, моих современников и моих предшественников — это та самая шенноновская задача. Угадай следующий токен. Угадай