Языковую ИИ-модель для Дании пришлось обучать на материалах форума Heste-Nettet, посвящённого лошадям

Датским учёным, пожелавшим в 2021 году подготовить набор данных на местном языке для обучения ИИ, пришлось столкнуться с серьёзными трудностями. Многие материалы на датском, включая новости, были строго защищены законом от несанкционированного использования. В этих условиях пришлось найти крайне необычное решение. Форум для любителей лошадей оказался основой для датской ИИ-модели.

У учёных были и другие источники языковой информации, вроде датских налоговых законов, но язык в них оказался слишком сухим, чтобы на его основе можно было бы обучить действительно работоспособный искусственный интеллект. При этом оказалось, что посвящённый лошадям ресурс Heste-Nettet богат материалами на самые разные темы и их обсуждают в весьма свободной форме. Созданный ещё в 1997 году форум был одним из первых в датском сегменте интернета, поэтому вскоре на площадке стали обсуждать что угодно — от проблем поиска партнёров до вопросов лечения детей, университетских задач по математике и кулинарных тем.

Как сообщает Bloomberg, с Heste-Nettet знакомы практически все жители Дании, здесь обсуждаются многие вопросы, используется живая разговорная речь и, что немаловажно, в отличие от материалов СМИ, посты не защищаются строгими правовыми нормами. Некоторые считают, что форум часто заменяет в Дании Википедию, хотя по-прежнему сохраняет свой «лошадиный вектор», и это заметно даже по главной странице сайта.

По словам профессора Леон Дерчинского (Leon Derczynski) из Копенгагена, возглавлявшего проект, на сайте присутствует «очень богатый» материал, как связанный, так и не связанный с лошадьми и открытый для свободного использования. Материалы с Heste-Nettet составили 22 % от всего датского датасета, использовавшегося для обучения. Это чрезвычайно много в контексте обучения языковых моделей общего назначения — например, X (бывшая Twitter) не способна обеспечить такой объём данных на датском языке для тренировки.

Источник: Bloomberg