Исследование: чат-боты могут получить данные о пользователях из скучных бесед

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com
| Новость | ИИ, сервисы и приложения

Учёные из Щвейцарской высшей школы Цюриха (ETH Zürich in Switzerland), провели исследование с довольно неожиданным результатом. Выяснилось, что современные чат-боты могут получить о собеседнике массу информации, даже если состоявшиеся разговоры были на совершенно нейтральные и даже скучные темы.

Автор: julien Tromeur Источник: unsplash.com

Вероятно подобному феномену мир обязан тому, как обучаются алгоритмы моделей с использованием больших объёмов сетевого контента. По словам возглавлявшего исследование Мартина Вечева, «даже непонятно, как решить эту проблему». Он считает, что в настоящее время это «очень, очень проблематично».

Команда исследователей уже выяснила, что большие языковые модели, стоящие за наиболее передовыми чат-ботами, способны делать чрезвычайно точные выводы о пользователях, даже по косвенным признакам выясняя их расу, местоположение, род занятий и прочие данные — из бесед, которые кажутся совершенно безобидными.

Проблема в том, что злоумышленники и корпорации вполне могут использовать собранные сведения для получения точных профилей ничего не подозревающих пользователей. По словам Вечева, в частности такая возможность может инициировать рождение новой эры рекламы, в ходе кампаний рекламодатели будут применять сведения, собранные ботами. Проблема ещё и в том, что некоторые компании, стоящие за разработкой чат-ботов, одновременно являются ещё и операторами рекламных сервисов и/или крупными рекламодателями.

В Цюрихе протестировали языковые модели OpenAI, Google, Meta* и Anthropic. Учёные подчеркнули, что сообщили компаниям о выявленной проблеме. В OpenAI, например, ответили, что компания предпринимает все меры для удаления персональных данных из используемых для тренировки пакетов информации и настраивает свои инструменты так, чтобы те отказывались предоставлять персональные данные по запросам. Как утверждают в OpenAI, её модели «изучают мир, а не отдельных людей». Кроме того, люди могут запросить у компании удалить данные о себе, если те всё же всплыли в процессе опроса бота. В Anthropic утверждают, что не собирают и не продают персональную информацию, а в Google и Meta* на запрос журналистов предпочли промолчать.

По словам одного из цюрихских учёных, открытие поднимает вопрос о том, сколько информации о себе люди предоставляют, наивно рассчитывая на анонимность. Пока исследователи не знают, сколь подробные сведения можно собрать о пользователе из простых бесед, но предполагают, что языковые модели способны стать мощным подспорьем для сбора такой информации. В Цюрихе предполагают, что в некоторых случаях модели чрезвычайно хорошо ищут в беседах некие «подсказки», в других случаях человеческая интуиция справляется гораздо лучше.

  • * — Компания Meta (социальные сети Instagram и Facebook) - признана экстремистской организацией на территории Российской Федерации

Источник: Ars Technica

Автор не входит в состав редакции iXBT.com (подробнее »)
Об авторе
2016-kv@rambler.ru

Сейчас на главной

Новости

Публикации

Каштаны: можно ли есть, зачем их собирают и необычные факты

Каштаны — не только красивый символ осеннего сезона, но и богатый источник полезных веществ. Однако не все каштаны можно употреблять в пищу, а их сбор связан не только с кулинарными...

Как быстро починить пуллер для молнии. Обзор простого набора для ремонта своими руками

Как быстро починить пуллер для молнии, если сломался в неподходящий момент. Это легко сделать своими руками. Есть несколько способов, как вернуть собачку молнии в исходное состояние без...

Обзор мультитула-фонарика Nextool 3 в 1: стильная палочка-выручалочка для городского жителя

Обычно мультитулы представляют из себя набор разнообразных инструментов в одном корпусе, среди которых очень редко встречается такая нужная вещь, как фонарик. Вероятно производители считают, что...

До какого возраста можно водить машину в России и как пожилым водителям сохранить уверенность за рулём

До какого возраста можно водить машину? Вопрос, на который сегодня волнует всё больше людей. Ведь возраст уже давно не помеха для активной жизни: современные автомобили всё легче в управлении, а...

Как сделать радиотелескоп из спутниковой тарелки своими руками? Ученый рассказывает как прикоснуться к космосу

Заглянуть в глубины космоса, увидеть невидимое — мечта, которая раньше казалась доступной лишь избранным, ученым в обсерваториях с гигантскими телескопами. Но что, если Вселенная ближе,...

Как правильно пользоваться мешками для стирки: что можно и нельзя в них стирать

Мешки для стирки — это специальные сетчатые или тканевые мешки, которые защищают одежду и белье от повреждений в процессе стирки. Они помогают предотвратить деформацию, растяжение и,...