Человек, сделавший нейросети возможными: кто такой Юрий Нестеров и как его метод ускоренного градиента изменил обучение языковых моделей

Когда заходит речь о создателях современного искусственного интеллекта, широкая публика вспоминает Сэма Альтмана, Дженсена Хуанга или Демиса Хассабиса. Их имена не сходят с первых полос, а их компании оцениваются в триллионы долларов.

Но если задать вопрос ведущим исследователям OpenAI, Google DeepMind или Anthropic о том, благодаря кому эти технологии вообще способны работать, они назовут совсем другое имя — Юрий Нестеров.

Недавнее присуждение Нестерову высшей мировой математической награды — премии Карла Фридриха Гаусса — подтвердило очевидный для специалистов факт: без созданных им алгоритмов оптимизации современные большие языковые модели попросту не существовали бы.

Пока мир обсуждает интерфейсы чат-ботов, под капотом каждого из них безостановочно работают математические методы, открытые советским ученым еще в 1983 году.

Реальное устройство языковых моделей

Вокруг работы генеративного ИИ существует ореол технологической магии. Пользователю кажется, что программа понимает смысл запросов, рассуждает и конструирует логические цепочки.

В действительности любая большая языковая модель — это прикладная вычислительная система колоссального размера. Она состоит из математических функций и гигантского массива числовых коэффициентов, которые называют параметрами или весами. В современных архитектурах их число измеряется сотнями миллиардов и триллионами.

Когда модель генерирует текст, она не извлекает фразы из хранилища данных. Она последовательно решает одну прикладную задачу: вычисляет вероятность того, какое слово должно идти следующим за уже написанным текстом.

Входные данные преобразуются в наборы чисел. Затем эти числа проходят через многослойную структуру параметров, где они многократно умножаются, складываются и трансформируются по строгим правилам.

В самом начале создания модели все эти параметры заполняются случайными числами. Если запустить систему в таком виде, результатом вычислений будет бессвязный набор символов.

Процесс обучения заключается в том, чтобы подобрать для каждого числового параметра такое точное значение, при котором общая система выдает связный, грамматически выверенный и осмысленный результат.

Сложность в том, что подобрать триллион чисел вручную или простым перебором невозможно: количество вариантов бесконечно. Чтобы система заработала, требовался автоматический алгоритм, способный быстро находить идеальные числовые значения параметров.

Барьер вычислений и метод градиентного спуска

Математический фундамент обучения нейросетей держится на последовательном уменьшении ошибки. Системе подают на вход фрагмент обучающего текста, в котором скрыто последнее слово. Модель выполняет расчет и предлагает свой вариант.

Специальная математическая формула — функция потерь — вычисляет расхождение между предсказанием программы и реальным словом из текста. Это расхождение выражается конкретным числовым значением — величиной ошибки.

Задача состоит в том, чтобы изменить внутренние параметры модели и свести величину этой ошибки к минимально возможному значению. Для этого используется базовый алгоритм градиентного спуска.

Он работает циклично:

1. На каждом шаге алгоритм берет текущую ошибку вычислений.
2. Для каждого параметра рассчитывается направление изменения: вычисление показывает, как изменится общая ошибка, если немного скорректировать конкретное число в большую или меньшую сторону.
3. Параметры одновременно сдвигаются в направлении, где расчетная ошибка снижается.
4. Вычисление повторяется миллионы раз на триллионах примеров текстовых данных.

В теории классический градиентный спуск безупречен. Но при масштабировании до сотен миллиардов параметров инженеры уперлись в физическую стену.

В реальных системах зависимость ошибки от параметров распределена крайне неравномерно. Алгоритм сталкивается с двумя непреодолимыми проблемами:

• Зоны замедления. В областях, где изменение параметров почти не влияет на величину ошибки, скорость вычислений падает практически до нуля. Классический алгоритм начинает делать бесконечно малые шаги, и процесс обучения замирает на недели.
• Паразитные колебания. В зонах, где параметры сильно зависят друг от друга, классический алгоритм совершает резкие скачки из стороны в сторону, непрерывно промахиваясь мимо минимального значения ошибки.

Если бы разработчики обучали современные языковые модели стандартным градиентным спуском, процесс настройки параметров требовал бы столетий непрерывной работы мощнейших вычислительных кластеров. Это делало индустрию глубокого обучения практически нереализуемой.

Алгоритмический прорыв: шаг на опережение

В 1983 году советский математик Юрий Нестеров опубликовал фундаментальную работу, которая навсегда изменила вычислительную практику. Он разработал математическую модификацию процесса, известную сегодня как ускоренный градиентный спуск Нестерова (Nesterov Accelerated Gradient, или NAG).

Нестеров изменил саму точку приложения вычислений.

Классический алгоритм оценивает изменение ошибки исключительно в той точке параметров, где система находится прямо сейчас. Нестеров математически доказал: расчет будет в разы точнее, если сначала применить к параметрам направление предыдущего успешного шага — сделать расчетный сдвиг вперед по инерции — и вычислять изменение ошибки уже в этой новой, прогнозируемой точке.

Это аналитическое смещение полностью перестроило динамику процесса:

1. Гашение колебаний. Алгоритм заранее видит, что движение вперед по инерции приведет к росту ошибки на противоположной стороне, и заблаговременно притормаживает корректировку, устраняя бесполезные метания из стороны в сторону.
2. Максимальное ускорение на стабильных участках. Если направление снижения ошибки остается неизменным на протяжении серии шагов, алгоритм последовательно наращивает величину поправки.

Нестеров доказал, что его алгоритм достигает теоретического предела скорости для этого класса задач. Если в классическом подходе точность вычислений росла медленно и строго линейно по отношению к числу шагов, то метод Нестерова обеспечил квадратичное ускорение. С каждой новой итерацией ошибка уменьшалась в разы быстрее.

На практике это означало сокращение количества необходимых вычислительных операций в десятки и сотни раз. Именно математическое ускорение Нестерова сделало масштабное обучение нейросетей вычислительно реализуемым.

Как оптимизация Нестерова работает в современных ИИ-системах

Современные генеративные модели редко обучаются исходным методом Нестерова в его первоначальном виде сорокалетней давности. Однако принципы, заложенные в его работе, легли в основу всех современных вычислительных алгоритмов.

Сегодня стандартом индустрии для обучения трансформеров являются оптимизаторы семейства Adam и его современная модификация AdamW, а также алгоритм NAdam, в котором метод прогнозируемого шага Нестерова соединен с индивидуальной настройкой скорости вычислений для каждого отдельного параметра.

Без этих математических подходов аппаратная мощь суперкомпьютеров бесполезна. Установка сотен тысяч специализированных графических чипов не решает проблему, если сам алгоритм обучения тратит время на бесполезные колебания в пространстве параметров. Алгоритмы оптимизации Нестерова обеспечивают точную вычислительную траекторию: они позволяют распределять массивы данных между тысячами процессоров одновременно, гарантируя, что система найдет минимальную ошибку за недели, а не за столетия.

Где методы Нестерова применяются прямо сейчас

Методы ускоренной математической оптимизации давно вышли за рамки текстовых чат-ботов. Сегодня они управляют сложнейшими системами реального времени:

• Компьютерное зрение в высокоточной хирургии. В Национальном госпитале неврологии и нейрохирургии в Лондоне была проведена операция по удалению опухоли гипофиза, где видеопоток с эндоскопа обрабатывался нейросетью непосредственно во время вмешательства. Алгоритм оптимизации в реальном времени корректировал распознавание тканей, позволяя хирургу ежесекундно отличать критические сонные артерии и зрительные нервы от ткани опухоли с нулевой задержкой.
• Автоматическое доказательство математических теорем. Исследовательские лаборатории используют алгоритмы оптимизации в качестве научных ассистентов. Модели оптимизируют перебор логических конструкций и поиск аналитических решений, закрывая математические проблемы, остававшиеся нерешенными десятилетиями.
• Генерация программного кода и управление инфраструктурой. Интеллектуальные агенты в реальном времени оптимизируют маршрутизацию сетевых пакетов в глобальных сетях и пишут промышленный код, где тысячи числовых параметров настраиваются в фоновом режиме для прогнозирования системных сбоев.

Алгоритмы против грубой силы

Развитие систем искусственного интеллекта долгое время шло по пути наращивания физических мощностей: инженеры объединяли все большее число процессоров и подавали на вход все большие массивы данных.

Однако этот подход вплотную приблизился к физическим ограничениям полупроводников и энергосетей. Дальнейшее развитие систем искусственного интеллекта зависит не от количества закупленного кремния, а от математической эффективности алгоритмов.

Чтобы научить машины рассуждать логически, решать нестандартные инженерные задачи и проверять собственные выводы, потребуются новые математические решения, способные настраивать параметры вычислений с еще более высокой скоростью.

Премия Гаусса, присужденная Юрию Нестерову, напоминает о реальной иерархии в мире технологий. Центры обработки данных и облачные сервисы — лишь исполнительные механизмы. Настоящим двигателем прогресса остаются фундаментальные математические идеи, позволившие подчинить триллионы разрозненных параметров строгой вычислительной логике.