ИИ в очередной раз провалил тест на «человечность», но уже совсем скоро ChatGPT может заменить живого собеседника

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com
| Новость | Оффтопик

В Калифорнийском университете города Сан-Диего провели тестирование нескольких популярных чат-ботов на способности выдавать ИИ за живого человека. А для тестирования использовался уже проверенный годами эмпирический тест Тьюринга, показывающий способность чат-бота выдавать себя за человека, поддержать любой разговор. Суть теста заключается в определении искусственного интеллекта мыслить как живой человек. По правилам теста живой человек общается с живым человеком и «компьютером», который должен выдавать себя за человека.

Источник: evercare.ru

Новый эксперимент охватил более 650 добровольцев, с которыми провели более 1800 опросов. При опросах использовались три виртуальных чата выдающих себя за реального собеседника. Но, чтобы действительно показать разницу в способностях мыслить и давать правильные ответы использовались различные языковые модели. Так, ChatGPT использовал бесплатную версию GPT-3.5 и GPT-4 с доступом по подписке, а также устаревшую версию виртуального собеседника ELIZA, которая появилась еще в 1966 году.

Для правдоподобности работы ИИ стоял запрет на работу бота, что он является человеком. Это усложняло задачу ChatGPT и собеседникам. Во время опроса задавались вопросы, согласно которым, отвечающему следовало доказать, что он живой человек, а не бот. В таком разговоре бот всегда являлся ответчиком.

Источник: twitter.com

По полученным результатам опроса устаревший виртуальный собеседник ELIZA смогла убедить менее 30% опрошенных, что она человек. ChatGPT с бесплатной языковой моделью GPT-3.5 показал плохие результаты и смог убедить менее 15% опрошенных, что он человек. А вот бот с GPT-4 смог «обмануть» более 40% опрошенных, что он человек. Но для успешного прохождения теста требуется не менее 50%, поэтому все чат-боты провалили тест считаться живым собеседником.

Во время теста исследователи заметили, что среди опрошенных менее 65% смогли правильно идентифицировать живого собеседника, поэтому результат ChatGPT GPT-4 на довольно неплохом уровне.

Источник: https://twitter.com

Сейчас на главной

Новости

Публикации

Обзор Infinix Smart 8 Pro: стоит ли своих денег этот ультрабюджетный смартфон?

Бюджетный смартфон Infinix Smart 8 залетел на рынок с двух ног, предлагая низкую цену и хорошие характеристики, за счет чего получил отличный фидбек от многих пользователей. В конце января была...

Опыт проживания на первом, последнем этажах и в угловой квартире: почему я больше туда ни ногой

Сегодня хочу поделиться своим опытом проживания на крайних этажах и в угловой квартире в течение нескольких лет, обозначить реальные проблемы и предостеречь читателей от необдуманной покупки или...

Слияние сверхмассивных черных дыр: почему мы не видим этот феномен и что произойдет, если он случится

Во Вселенной есть множество загадок, которые заставляют нас задумываться о происхождении и будущем космоса. Одна из таких загадок — это слияние сверхмассивных черных дыр, которые обитают...

Почему американцы устанавливают выключатели внутри санузла, а русские снаружи

У наших людей хватает отличий с американцами в проектировании жилых помещений. Но порой есть такие вопросы, которые вызывают наибольший интерес, чем прочие. И один из них звучит так: почему в их...

Два по 100 Вт: обзор игрового 15,6" ноутбука Machenike L15 Pro Star XT с i7-13700H и RTX 4060

Machenike L15 Pro Star XT — свежая модель в линейке L15, которая комплектуется процессором Intel i7-13700H и видеокартой Nvidia RTX 4060 с объемом памяти 8 ГБ. Эта связка вполне...

Отключаем защитник Windows

Не всем пользователям Windows требуется наличие работающего в фоне Windows Defender, ибо, несмотря на свою полезность, защитная программа имеет дурную привычку вмешиваться в дела пользователя. Чего...