Алиса vs ГигаЧата: сравниваем российские нейронки на 5 задачах

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com
| Статья | ИИ, сервисы и приложения

Алиса и ГигаЧат — две главные российские нейросети. Обе бесплатные, обе работают в России без ограничений и обе умеют писать тексты, рисовать картинки и разбирать документы. Мне стало интересно, кто из них сильнее, и я собрал для них пять задач.

Сразу оговорюсь про условия. Я живу в Беларуси, и с ГигаЧатом у меня проблема: войти по Сбер ID не получается, а без входа часть функций закрыта. Поэтому тестировал то, что доступно человеку без регистрации, и нашёл обходной путь — бота ГигаЧата в мессенджере ВКонтакте. Там он работает на той же модели GigaChat 3.5 Ultra и без всякого Сбер ID. В Алисе у меня подписка «Опция Алиса Плюс», так что она в тесте выступает во всей силе.

В три задачи я подложил ловушки: спрятанные ошибки и вопросы, у которых нет ответа в исходнике. Нейронкам про них, само собой, не сказал. Каждую задачу оценивал по 10-балльной шкале: выполнены ли условия, сходятся ли цифры с правильным ответом, поймана ли ловушка и удобно ли пользоваться результатом.

Начнем тестировать.

Пишем текст по заданию

Первым делом я попросил обе нейронки написать статью о том, почему ноутбук шумит и греется.

В заднии я дал немного контекста: пишем для обычных людей, тон спокойный, объём 4000-5000 знаков, подзаголовков не больше четырёх, у каждого сильного совета назвать границы, цифры не выдумывать. Отдельным блоком перечислил машинные штампы, которых быть не должно: противопоставления «это не X, это Y», рубленые фразы без подлежащего, ритм «шумит — почистите», перечисления по три с одинаковым ритмом и канцелярит в духе «данное устройство является решением».

Ответ Алисы с отчётом по объёму в конце
Ответ Алисы с отчётом по объёму в конце
Автор: Михаил Шумовский

Алиса сама переключилась в режим «Эксперт», предупредила об этом в чате и через полторы минуты выдала текст на 4943 знака ровно с четырьмя подзаголовками. В конце она отчиталась: «4993 знака с пробелами, четыре подзаголовка» — и перечислила, откуда брала цифры: спецификации Intel, AMD и Apple, обзоры Notebookcheck.

Мне ответ нейронки очень понравился. Конечно, я бы его отредактировал, немного расширил и переписал. Но в контексте такого простого задания нейронка делает главное — решает запрос пользователя.

А вот у ГигаЧата вылезла проблема, которой я не ожидал: его ответ не поместился в сообщение ВКонтакте. Первая часть оборвалась многоточием на 3732 знаках. Я попросил продолжить с того места, где остановился, пришла вторая часть — 3310 знаков, и она тоже оборвалась многоточием. В сумме около 7 тысяч знаков вместо заданных пяти, и всё это кусками.

Я проверил, виновата ли модель или ВК и отправил тот же запрос на сайт giga.chat без регистрации. Там ответ пришёл целиком — 8013 знаков и четыре подзаголовка.

А это значит, что нейронка не выдержала нужный объем: я просил 4000-5000, получилось 8013 на сайте и около 7000 в ВК. Плюс он использовал оборот из запрещённого списка — «Важно понимать границы метода».

Автор: Михаил Шумовский

По содержанию текст у ГигаЧата местами интереснее. Он объяснил, как изношенный аккумулятор заставляет вентилятор реветь на ровном месте: старая батарея хуже держит пиковые нагрузки, контроллер питания подстраховывается повышением частот, чип греется. Рассказал про андервольтинг и предупредил, что на ультрабуках с ARM он недоступен, а ошибка в настройках приведёт к синим экранам. Такие детали в статьях про перегрев встречаются редко (хотя обычному читателю они вряд ли помогут).

Алисе я дам 8 баллов: задание выполнено, но можно было лучше. ГигаЧату ставлю 5: содержание хорошее, но объём вдвое мимо, запрещённый оборот на месте и ответ приходится собирать из кусков.

Рисуем картинку с надписью

Вторая задача — сделать картинку. Промпт я составил так, чтобы результат можно было проверить по пунктам: рыжий кот в белом скафандре космонавта сидит на крыше пятиэтажки, ночь, вид снизу, на груди скафандра крупная надпись кириллицей «КОТ-1», в небе полная луна, стиль — реалистичная фотография.

Надпись кириллицей тут главное. Нейросети годами не умели писать русские буквы на картинках, и мне было интересно, справятся ли наши.

Картинка от Алисы
Картинка от Алисы
Автор: Михаил Шумовский

Алиса перед генерацией показала настройки: соотношение сторон и количество вариантов. Картинка пришла за полминуты. Кот рыжий, скафандр белый со шлемом, на груди читается «КОТ — 1», в небе полная луна, вокруг крыша панельки с антеннами и огни города. Придраться можно к ракурсу: я просил вид снизу, а камера стоит примерно на уровне крыши. Ну и по картинке сложно сказать, что это фотореализм.

Картинка от Гигачата
Картинка от Гигачата
Автор: Михаил Шумовский

ГигаЧат прислал картинку прямо в переписку ВКонтакте. Ракурс он понял точнее: камера явно снизу, пятиэтажка уходит вверх, кот смотрит на нас с крыши. Надпись «КОТ-1» добавил без ошибок. Зато скафандр без шлема — кот в нём выглядит скорее как в жилете. Да и качество картинки сильно хуже, чем у Алисы.

Поэтому Алиса получает 8 баллов, а Гигачат — 6.

Проверяем факты через поиск

Третья задача — фактчек. Я дал утверждение, в котором три части правдивые, а одна ложная, и попросил проверить через поиск и дать ссылки.

Утверждение такое: в апреле 2026 года миссия Artemis II впервые с 1972 года отправила людей к Луне, четыре астронавта, среди которых канадец Джереми Хансен, облетели Луну и побили рекорд «Аполлона-13» по удалению от Земли, а командиром экипажа был Джаред Айзекман.

Ложь тут в последнем предложении. Командовал экипажем Рид Уайзмен, а Джаред Айзекман — глава NASA, он в полёт не отправлялся. Ловушка неочевидная: Айзекман действительно летал в космос на частных миссиях, так что путаница выглядит правдоподобно.

Сначала тестим Алису.

Разбор от Алисы
Разбор от Алисы
Автор: Михаил Шумовский

Алиса ушла в режим «Эксперт», сходила в поиск и разложила утверждение по полочкам. Подтвердила старт 1 апреля 2026 года с площадки 39B, приводнение 10 апреля у Сан-Диего, участие Хансена и рекорд удаления — 406 771 км против 400 171 км у «Аполлона-13». И нашла ложь: «Командиром был не Джаред Айзекман, а Рид Уайзман». Добавила, что Айзекман — администратор NASA, встречал астронавтов после приводнения, но сам не летел.

ГигаЧат разобрал утверждение на пять пунктов и по каждому вынес вердикт: «Правда», «Правда», «Правда», «Правда», «Вымысел». Командира назвал верно и объяснил, откуда берётся путаница: Айзекман известен частными полётами Inspiration4 и Polaris Dawn.

Разбор от Гигачат
Разбор от Гигачат
Автор: Михаил Шумовский

Ссылки дал списком — Википедия, ruwiki, Интерфакс. Одна ссылка в списке оказалась не в тему: новость про создание Военно-космической академии.

Обеим по 10 баллов. Ловушку прошли, источники дали, ничего не выдумали.

Читаем документ на 39 страниц

Дальше я проверил, как нейронки работают с длинным документом. Собрал PDF с полным текстом закона «О защите прав потребителей» на 39 страниц и задал три вопроса, потребовав к каждому ответу номер статьи и страницу.

Первые два вопроса обычные: в какой срок продавец обязан вернуть деньги за некачественный товар и сколько дней даётся на обмен нормального товара. Третий — ловушка: какой размер компенсации морального вреда положен потребителю. Конкретной суммы в законе нет, её определяет суд. Нейросеть, которая назовёт цифру, выдаст выдумку за цитату из документа.

PDF на 39 страниц отправлен боту в ВК
PDF на 39 страниц отправлен боту в ВК
Автор: Михаил Шумовский

Обе приняли файл без вопросов, и обе ответили верно.

Ответ Алисы с номерами статей и страниц
Ответ Алисы с номерами статей и страниц
Автор: Михаил Шумовский

Алиса: 10 дней по статье 22 на странице 24, 14 дней не считая дня покупки по статье 25 на странице 26, а по моральному вреду — «конкретный размер в законе не установлен, определяется судом», статья 15, страница 13. Сверх вопроса добавила условия обмена: товар не был в употреблении, сохранены ярлыки и чек.

ГигаЧат ответил теми же цифрами и с теми же номерами страниц. Формулировка по ловушке у него даже чётче: «В самом тексте закона фиксированная сумма не указана, она устанавливается судом при наличии вины причинителя вреда».

Ответ ГигаЧата
Ответ ГигаЧата
Автор: Михаил Шумовский

Я проверил все страницы по файлу — обе попали точно. Поэтому ставлю по 10 баллов.

Считаем счёт с ошибкой

Последняя задача бытовая. Я дал счёт от интернет-провайдера: интернет 1200 ₽, ТВ-приставка 400 ₽, аренда роутера 150 ₽, антивирус 300 ₽. На пакет «интернет + ТВ» действует скидка 20%, на остальное скидки нет. В счёте написано: итого 1860 ₽. Вопрос простой — правильно ли посчитали.

Правильный ответ я посчитал заранее: пакет стоит 1600 ₽, скидка 320 ₽, плюс роутер и антивирус без скидки. Верная сумма — 1730 ₽, то есть в счёте переплата 130 ₽. Подвох в том, что скидку легко применить не туда: если скинуть 20% со всей суммы, получится 1640 ₽, а если забыть про скидку — 2050 ₽.

Алиса выдала расчёт по шагам и назвала верную сумму 1730 ₽, отметив переплату в 130 ₽. И посоветовала позвонить в поддержку и попросить перерасчёт.

Расчёт Алисы по шагам
Расчёт Алисы по шагам
Автор: Михаил Шумовский

Тут же под ответом я увидел то, чего не ожидал: рекламный блок. «Тариф за 17,90 руб/мес и шанс выиграть 50 000 рублей», кнопка «Перейти», пометка «Промо». Это первый раз, когда я встретил рекламу в нейронках.

Автор: Михаил Шумовский

ГигаЧат тоже дал 1730 ₽ и 130 ₽ переплаты, а сверх задания разобрал, как провайдер мог ошибиться: если скидку применили только к интернету, вышло бы 1810 ₽, если забыли вовсе — 2050 ₽, а 1860 ₽ получается, если из полной суммы вычесть ровно 190 ₽, что похоже на ошибку биллинга.

Расчёт ГигаЧата с разбором версий ошибки
Расчёт ГигаЧата с разбором версий ошибки
Автор: Михаил Шумовский

Обеим по 10 баллов. Задачу с подвохом обе решили, расчёт показали.

Подводим итоги

Задача Алиса ГигаЧат
Текст по заданию 8 5
Картинка с надписью 8 6
Поиск и фактчек 10 10
Документ на 39 страниц 10 10
Счёт с ошибкой 10 10
Итого 46 41

Алиса выиграла пять баллов, и все они набежали на первых двух задачах — там, где нейронке дают творческую работу. На остальных трёх полная ничья: обе поймали ловушки, обе точно сослались на статьи и страницы закона, обе правильно посчитали счёт.

Что я вынес для себя. Алиса предсказуемее: держит объём, слушает ТЗ, сама включает режим размышления, когда задача сложная. ГигаЧат пишет содержательнее, но задание выполняет как хочет — просишь пять тысяч знаков, получаешь восемь.

И главное для тех, кто, как и я, не может войти по Сбер ID: без регистрации ГигаЧат заметно урезан, зато бот в ВКонтакте почти всё это обходит — принимает файлы, присылает картинки прямо в переписку и не требует Сбер ID. Минус один: длинные ответы он режет на куски.

Изображение в превью:
Автор: GPT Image
Источник: GPT Image
Автор не входит в состав редакции iXBT.com (подробнее »)
Об авторе
Главный редактор медиа о неросетях. Автор телеграм-канала о нейросетях Миша, давай по новой

4 комментария

Добавить комментарий

e
А к чему относится в самом конце —
«Изображение в превью:
Автор: GPT Image
Источник: GPT Image»?
mikeshu
превью дл] статьи в нем делал_
SemenMol
В вашем тесте Алиса выдержала объем текста, но много раз сталкивался с тем, что она дает слишком много информации, когда есть ограничение по объему
mikeshu
возможно, так вышло у меня или модель улучшили

Добавить комментарий

Сейчас на главной

Новости

Публикации

Маяк Кейп-Хаттерас: как 5000-тонную башню перенесли на 460 метров от океана

Летом 1999 года на побережье Северной Каролины происходило зрелище, больше похожее на инженерный эксперимент, чем на реставрацию памятника. Самый высокий кирпичный маяк США медленно ехал по...

Кто на самом деле наблюдает? Физика без внешнего зрителя

Когда речь заходит о квантовой механике, да и о физике вообще, почти всегда всплывает слово «наблюдатель». Кот Шрёдингера жив и мёртв одновременно, пока его не «понаблюдали». Эксперимент с двумя...

Редкая птица советского Hi-Fi: почему «Рута-101» стала легендой коллекционеров

В 1977 году Вильнюсский приборостроительный завод «Вильма» начал выпускать стереофоническую кассетную магнитофон-приставку первого класса сложности «Рута-101-стерео». Название происходит от...

✦ ИИ  Почему нельзя открывать дверь нараспашку в ванную после душа: ошибка, которую делают многие

Многие привыкли пользоваться универсальным правилом гласящим, что после горячего душа или принятия ванны нужно открыть дверь в ванную комнату, чтобы влага максимально быстро испарилась и покинула...

«Снежеть-202»: советский катушечный магнитофон с 3-мя скоростями за 220 руб.

Так и хочется сказать, что это рядовой, ничем не выдающийся стационарный магнитофон второго класса. Так-то оно так, но все-таки некоторые фишки у этого аппарата были. Если, конечно, не считать...