Компания Samsung запустила платформу TrueBench для измерения производительности ИИ на рабочих местах

Компания Samsung Electronics Co. в четверг представила платформу, предназначенную для оценки производительности моделей искусственного интеллекта (ИИ) на рабочих местах. TrueBench предоставит компаниям полный набор показателей для отслеживания производительности больших языковых моделей (LLM) на реальных рабочих местах. «В последнее время, по мере того как компании внедряют искусственный интеллект для решения задач, растет спрос на измерение производительности LLM», — говорится в сообщении компании.

«Однако существующие тесты в первую очередь измеряют общую производительность, в основном ориентированы на английский язык и ограничены структурой вопросов и ответов с одним поворотом», — добавили в компании.

Чтобы устранить такие ограничения, Samsung заявила, что платформа оценивает задачи, связанные с работой, включая создание контента и анализ данных, в 10 категориях и 46 подкатегориях. Сервис доступен на 12 языках, включая корейский, английский и японский.