✦ ИИ Сколько «стоит» русский язык в нейросетях: посчитал токены одного текста в пяти токенизаторах
Нейросети по API считают токены, а не слова. Я прогнал одно рабочее письмо на русском и английском через пять токенизаторов и посчитал, во сколько раз русский текст дороже.