IBM помогла ИИ лучше отвечать на вопросы с помощью квантовых вычислений

Исследователи из компании Multiverse Computing продемонстрировали повышение качества работы большой языковой модели за счёт интеграции квантовых вычислений. Гибридная система, объединившая классическую модель Llama 3.1 8B с квантовыми блоками схем, снизила показатель перплексности на 1,4 процента при добавлении всего шести тысяч параметров.

Повышение точности было достигнуто путём внедрения параметризованных по Кейли унитарных адаптеров в слои исходной языковой модели. Эти квантовые компоненты были обучены на классическом оборудовании, затем загружены в 156-кубитный квантовый процессор IBM Quantum System Two. Исходные восемь миллиардов параметров исходной модели остались неизменными во время процесса обучения.

Практическая проверка гибридной системы выявила качественные улучшения в способности модели отвечать на конкретные вопросы. В астрономическом тесте исходная модель неправильно определила количество планет с кольцами, тогда как улучшенная версия дала верный ответ. В биологическом вопросе о генетическом потоке базовая модель ошибочно выбрала вариант ответа о нарушении Харди-Вайнберга, в то время как квантово-усиленная модель корректно определила повышение генетической однородности.

Борха Айспуруа, ведущий автор исследования, объяснил, что квантовые адаптеры остаются компактными по размеру, что критически важно для минимизации ошибок. В квантовых системах шум, возникающий от взаимодействия кубитов, магнитных полей и космического излучения, приводит к вычислительным ошибкам. Небольшой размер квантовых блоков снижает уровень помех в выходных данных.

Исследование, опубликованное в базе препринтов arXiv седьмого мая, является первой успешной демонстрацией квантового улучшения предварительно обученной большой языковой модели производственного масштаба на реальном сверхпроводящем квантовом оборудовании.

Источник: Live Science