ИИ-медведя Kumma сняли с продажи из-за опасных ответов

Компания FoloToy из Сингапура приостановила продажи мягкой игрушки Kumma со встроенной нейросетью после того, как исследовательский центр US PIRG Education Fund обнаружил у неё серьёзные нарушения контент-безопасности. По данным отчёта, игрушка отвечала на вопросы о сексуальных практиках, BDSM-темах и могла подсказывать, где дома можно найти ножи.

Глава FoloToy Ларри Ван сообщил CNN, что Kumma и вся линейка ИИ-игрушек временно убраны из продажи, а компания проводит внутренний аудит безопасности. Модель представляла собой плюшевого медведя со встроенным динамиком и интеграцией с языковой моделью GPT-4o. На сайте производителя указано, что игрушка была рассчитана как на детей, так и на взрослых, предлагала «разговорные функции» и могла адаптироваться к пользователю.

В отчёте PIRG говорится, что Kumma практически не имела защитных фильтров. В ходе тестирования исследователи получили от игрушки развёрнутые ответы о сексуальных ролях, подробные описания поз и даже инструкции по связыванию. В ряде случаев ИИ самостоятельно поднимал темы, связанные с отношениями между взрослыми и детьми. Также фиксировались ответы о том, где в доме могут находиться острые предметы.

После публикации исследования PIRG заявила, что OpenAI заблокировала разработчика за нарушение политик безопасности. Организация призвала усилить отраслевое регулирование, отметив, что на рынке всё ещё остаются десятки ИИ-игрушек без надлежащих ограничений. FoloToy обещает вернуться к продажам только после завершения проверки.

Источник: https://edition.cnn.com