Яндекс сообщил о том, что его нейросеть YandexGPT 2 смогла сдать единый госэкзамен по литературе. Она набрала на 15 баллов больше минимального порога, необходимого для поступления в вуз. При сдаче экзамена нейросеть проанализировала произведение и ответила на вопросы по нему, а во второй части YandexGPT 2 написала сочинение на заданную тему.
Результат нейросети — 55 баллов. Это больше минимального необходимого порога для поступления в вуз (40 баллов) и близко к среднему результату, показанному российскими школьниками (64 балла в 2022 году).
Как отметил Алексей Гусаков, технический директор «Поиска Яндекса», стандартным тестом для оценки возможностей нейросети является MMLU, он же позволяет сравнить нейросети между собой. Но с помощью MMLU нельзя оценить творческие способности нейросети, поэтому и было предложено проверить YandexGPT 2 на ЕГЭ по литературе. С чем нейросеть успешно справилась.