Квантовый процессор улучшил точность языковой модели Llama 3.1

Компания Multiverse Computing опубликовала на платформе arXiv исследование, в котором продемонстрировала повышение точности большой языковой модели с помощью квантовых вычислений. Работа является первым подтверждённым случаем практического улучшения уже развёрнутой ИИ-системы посредством квантового компьютера.

В качестве базовой модели использовалась Llama 3.1 8B с 8 миллиардами параметров. Исходные параметры модели были заморожены, после чего в неё интегрировали специализированные квантовые блоки — унитарные адаптеры Кэли. Дообучение выполнялось на квантовом процессоре IBM Quantum System Two, оснащённом 156 кубитами.

Добавление всего 6000 новых параметров — прирост в 0,000075% от общего объёма — снизило показатель перплексии модели на 1,4%. Перплексия отражает способность модели предсказывать следующее слово: чем она ниже, тем точнее модель.

По итогам тестирования зафиксированы конкретные исправления ошибок. Исходная модель утверждала, что кольца есть только у Сатурна. После квантовой доработки модель корректно указала, что кольцами обладают все планеты-гиганты Солнечной системы. Также улучшились ответы на вопросы по биологии, в частности о последствиях генного потока.

Основным препятствием для масштабирования квантовых вычислений остаётся шум — ошибки, возникающие из-за внешних помех в ходе квантовых операций. На текущем этапе квантовые компьютеры способны выполнять лишь ограниченный набор вычислений в лабораторных условиях.

Источник: Techno-Science.net