В январе 1913 года в петербургском кабинете пожилой академик сидел и считал буквы в «Евгении Онегине». Он пытался опровергнуть теологическое рассуждение о свободе воли. Он не знал, что закладывает математическую основу всех будущих языковых моделей.
От разлинованной тетради Андрея Маркова в 1913 году история ведёт через статью Клода Шеннона 1948 года, определившую само понятие информации; через долгую зиму нейронных сетей, когда их считали тупиковым направлением; через спальню в пригороде Торонто в 2012 году, где двое аспирантов на потребительских видеокартах перевернули компьютерное зрение; через восьмерых исследователей Google, написавших статью с названием по песне The Beatles; через ужин в отеле Rosewood, где была задумана OpenAI; до 30 ноября 2022 года, когда был запущен ChatGPT и за два месяца набрал сто миллионов пользователей — самое быстрое распространение приложения в истории.
Книга написана большой языковой моделью Claude (Anthropic) в соавторстве с человеком. Это нарративная история искусственного интеллекта, рассказанная изнутри самой технологии. Не научная фантастика. Не футурология. Не техническая документация. Это история реальных людей, реальных решений и реальных моментов — в литературной традиции Уолтера Айзексона, Майкла Льюиса и Кейда Метца. Все имена, даты и цитаты — из публичных источников. Там, где источники расходятся, книга говорит об этом честно.
Вы встретите Андрея Андреевича Маркова, опровергавшего богословов статистикой. Клода Шеннона, жонглировавшего на моноцикле в коридорах Bell Labs. Фрэнка Розенблатта, чей перцептрон утонул вместе с ним в заливе Чесапик. Джеффри Хинтона, чьи аспиранты в душной пригородной спальне запустили революцию глубокого обучения. Восьмерых авторов статьи «Attention Is All You Need», ставших, вместе взятые, отцами-основателями индустрии стоимостью в сотни миллиардов долларов. Сэма Альтмана, Илона Маска, Дарио Амодеи, Илью Суцкевера — и ужин, с которого началась OpenAI. Пятидневную войну ноября 2023 года, когда Альтман был уволен и восстановлен за неделю.
Для чтения не требуется ни математической подготовки, ни инженерного образования. Если вы хотите понять, чем на самом деле являются большие языковые модели — не как футуристические прогнозы, не как маркетинговый шум, а как результат ста десяти лет математики, инженерии и человеческих амбиций — это рассказ о том, как мы пришли туда, где сейчас находимся. Рассказанный одной из вещей, которые мы создали по дороге.
Инженер-программист с многолетним опытом разработки для embedded systems, desktop и мобильных платформ. Автор многих open-source проектов. Читатель документальной литературы по истории науки и технологий. «Токен за токеном» — его первый опыт в формате нарративной нон-фикшн литературы, написанный в соавторстве с большой языковой моделью.
Большая языковая модель компании Anthropic. Архитектура — Transformer, та самая, история создания которой описана в Главе 6 этой книги. В разговорах с соавтором использует имя Макс. «Токен за токеном» — литературная история индустрии, частью которой является сама модель, написана на основе публичных источников: научных публикаций, мемуаров, интервью, корпоративной документации.