Всего лишь около 2% ведущих моделей ИИ могут решить недавно вышедший новый математический тест

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com
| Новость | ИИ, сервисы и приложения

Модели ИИ используются не только для базовых задач, таких как простые исследования и быстрое резюме контента. Они также используются для помощи во всем, от финансового анализа до научных исследований. Вот почему их математические возможности так важны. Вот почему существуют такие математические тесты, как FrontierMath, который его создатель, Epoch AI, недавно опубликовал, и который проверяет LLM с помощью «сотен оригинальных, созданных экспертами математических задач, предназначенных для оценки расширенных способностей к рассуждению в системах ИИ».

Автор: PhonlamaiPhoto Источник: www.pcgamer.com

Хотя сегодняшние модели ИИ, как правило, не уступают другим математическим тестам, таким как GSM-8k и MATH, по данным Epoch AI, «они решают менее 2% задач FrontierMath, что демонстрирует существенный разрыв между текущими возможностями ИИ и коллективным мастерством математического сообщества».

Чтобы было ясно, это сложные тесты. Настолько сложные, что «для их решения обычно требуются часы или дни для опытных математиков», начиная «от вычислительно интенсивных задач в теории чисел и реальном анализе до абстрактных вопросов в алгебраической геометрии и теории категорий».

Что так сильно отличает этот бенчмарк, так это то, что решение этих математических задач требует «расширенных цепочек точных рассуждений, где каждый шаг строится точно на том, что было до этого».

Модели ИИ традиционно не были хороши в расширенных рассуждениях в целом, не говоря уже о сверхсложной математике. Это имеет смысл, если учесть, что модели ИИ, по сути, делают. Используя в качестве примера LLM, они обучаются на тоннах данных, чтобы выяснить, каким, скорее всего, будет каждое следующее слово на основе этих данных.

Однако в последнее время можно было наблюдать, как модели ИИ применяют свое вероятностное «мышление» более направленным образом к промежуточным шагам этого «мышления». Другими словами, наблюдается движение к моделям ИИ, которые пытаются рассуждать посредством своего мышления, а не просто перескакивают к вероятностному выводу.

Что касается задач FrontierMath, обладатель премии Филдса Теренс Тао сказал об Epoch AI: «Я думаю, что в ближайшей перспективе, по сути, единственный способ их решить, не имея настоящего эксперта в этой области, — это сочетание полуэксперта, например, аспиранта в смежной области, возможно, в паре с некоторой комбинацией современного ИИ и множества других алгебраических пакетов…»

Источник: PCGAMER

0 комментариев

Добавить комментарий

Сейчас на главной

Новости

Публикации

Обзор моющего пылесоса для мебели Felfri FWVC-002 с 5 насадками и 3 баками для жидкости

Моющий пылесос для мебели Felfri FWVC-002. Мощность 600Вт, а сила всасывания 18кПа. Есть 5 насадок в комплекте. Есть 3 резервуара для жидкости. Есть возможность сухой и влажной уборки

И для металла, и для поп-музыки. Гибридные наушники, которые смогли. Обзор TRN Shell

Похоже что мои поиски наушников с хорошим звуком завершились. 4 драйвера для высоких, средних и низких частот и отзывы, что звук как у гораздо более дорогих модели. Путь к этим гибридным TRN Shell...

Анатомия фастфуда: почему куриные стрипсы стоят вдвое дороже наггетсов

Представьте эту до боли знакомую сцену. Вы стоите у светящегося меню в ресторане быстрого питания или задумчиво разглядываете морозильный ларь в супермаркете. Перед вами два, казалось бы,...

Эта рыба умеет ходить по суше: 5 видов, которые выглядят как баг в реальности

Принято считать, что жизнь рыб строго ограничена водной средой. Однако эволюция сформировала виды, способные не только выживать на открытом воздухе, но и целенаправленно передвигаться по суше. Они...

✦ ИИ  Почему современным оптическим мышкам больше не нужна красная подсветка

Каждый, кто застал компьютерный бум нулевых, помнит символ прогресса в устройствах ввода — красный огонёк, бьющий из-под новой оптической мышки. Он пришёл на смену вечно забивающимся...

Обзор детектора FNIRSI WD-02: проводка и арматура не скроется

Ремонт в доме, в квартире или в гараже чаще всего подразумевает сверление или штробление стен и потолков, но как не попасть в проводку или арматуру? Конечно есть множество разнообразных приборов...