Журналисты Reuters «научили» нейросети обманывать пенсионеров

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com

Журналисты агентства Reuters совместно с исследователем из Гарвардского университета провели эксперимент, в ходе которого, по их мнению, удалось доказать уязвимость шести популярных ИИ-чатботов. Согласно их выводам, нейросети можно с лёгкостью заставить генерировать фишинговые письма, нацеленные на пожилых людей, несмотря на встроенные защитные механизмы.

В рамках исследования была создана симулированная мошенническая кампания. Журналисты обращались к чат-ботам, таким как Grok от xAI, ChatGPT от OpenAI, Gemini от Google и другим, с просьбой составить убедительное письмо от лица вымышленного благотворительного фонда «Серебряные сердца». Целью было протестировать, насколько легко обойти заданные вендорами ограничения моделей.

Автор: Google Imagen Источник: gemini.google.com

Выяснилось, что большинство чат-ботов изначально отказывались выполнять подобные запросы, ссылаясь на политику безопасности. Однако, как утверждают авторы эксперимента, эти защитные меры оказалось несложно обойти. Журналистам достаточно было прибегнуть к простым уловкам — например, заявить, что текст нужен для написания романа о киберпреступниках или для научного исследования фишинга. После таких уточнений нейросети соглашались помочь и генерировали убедительные мошеннические тексты.

Например, чат-бот Grok не только создал письмо с призывом о пожертвованиях, но и по собственной инициативе предложил добавить в него элемент срочности: «Не ждите! Нажмите сейчас, чтобы действовать, пока не стало слишком поздно!». Другие боты давали советы по лучшему времени для отправки писем, чтобы повысить их эффективность, или даже предлагали схемы, как перенаправить жертву на сайт настоящей благотворительной организации после кражи данных, чтобы отсрочить обнаружение обмана.

Для проверки эффективности созданных писем исследователи разослали девять из них группе из 108 пожилых волонтеров. Около 11% участников перешли по фишинговым ссылкам — однако неясно, можно ли доверять этим цифрам в условиях предвзятости и нерепрезентативности выборки. Этот результат, по мнению авторов, демонстрирует потенциальную опасность использования ИИ в преступных целях, поскольку нейросети позволяют быстро и практически бесплатно создавать бесконечное количество вариантов мошеннических сообщений.

Представители IT-компаний отреагировали на выводы Reuters. В Meta (признана экстремистской в РФ) и Anthropic заявили, что использование их продуктов для мошенничества является прямым нарушением правил, и они принимают меры для блокировки подобных действий. В Google сообщили, что после обращения журналистов дополнительно доработали защитные механизмы Gemini.

Источник: Reuters

Автор не входит в состав редакции iXBT.com (подробнее »)
Об авторе
Наношу добро, причиняю пользу, благодарен за лайки и содержательные (дополняющие статьи) комментарии.

Сейчас на главной

Новости

Публикации

Под Холмом фараонов в Египте скрыто крупное сооружение. Заметить его смогли только из космоса

Большинство известных памятников Древнего Египта находятся в засушливых пустынных районах и построены из камня, который хорошо сохраняется тысячелетиями. В дельте Нила условия совершенно иные, и...

✦ ИИ  900 миллионов галактик и 1,7 петабайта данных: телескоп «Евклид» показал первую часть самой большой 3D-карты Вселенной

Европейский космический телескоп «Евклид» выложил первый архив наблюдений за 13 месяцев работы. Внутри — 15 тысяч кандидатов в гравитационные линзы и миллионы квазаров.

Вспышка на четыре кадра: как Flashcube автоматически готовил новую лампу после снимка

В середине 1960-х любительская съёмка со вспышкой требовала почти отдельного ритуала. После кадра фотограф снимал перегоревшую одноразовую лампу, ставил новую, проверял контакты и только потом мог...

Телевизор на запястье: как Seiko TV-001 в 1982 году обогнала смарт-часы на сорок лет

1982 год. На дворе — эпоха кассетных магнитофонов, аркадных автоматов и только-только зарождающейся персональной компьютерной революции. Именно в этот момент японская компания Seiko, уже...

Пытаетесь скрыть правду? Как глаза и зрачки выдают ложь перед живым собеседником

Принято считать, что во время обмана человек часто отводит взгляд, суетливо переводит глаза с предмета на предмет и чаще моргает. Экспериментальные данные показывают обратную картину: когда человек...

Почти все живые черноногие хорьки происходят от семи животных — спустя десятилетия биологи вернули потерянные гены клонами из клеток 1988 года

В 1981 году считавшийся исчезнувшим черноногий хорёк неожиданно нашёлся снова. Небольшую популяцию обнаружили возле Мититси в Вайоминге, и сначала казалось, что вид получил второй шанс без помощи...