ИИ в очередной раз провалил тест на «человечность», но уже совсем скоро ChatGPT может заменить живого собеседника

В Калифорнийском университете города Сан-Диего провели тестирование нескольких популярных чат-ботов на способности выдавать ИИ за живого человека. А для тестирования использовался уже проверенный годами эмпирический тест Тьюринга, показывающий способность чат-бота выдавать себя за человека, поддержать любой разговор. Суть теста заключается в определении искусственного интеллекта мыслить как живой человек. По правилам теста живой человек общается с живым человеком и «компьютером», который должен выдавать себя за человека.

Новый эксперимент охватил более 650 добровольцев, с которыми провели более 1800 опросов. При опросах использовались три виртуальных чата выдающих себя за реального собеседника. Но, чтобы действительно показать разницу в способностях мыслить и давать правильные ответы использовались различные языковые модели. Так, ChatGPT использовал бесплатную версию GPT-3.5 и GPT-4 с доступом по подписке, а также устаревшую версию виртуального собеседника ELIZA, которая появилась еще в 1966 году.

Для правдоподобности работы ИИ стоял запрет на работу бота, что он является человеком. Это усложняло задачу ChatGPT и собеседникам. Во время опроса задавались вопросы, согласно которым, отвечающему следовало доказать, что он живой человек, а не бот. В таком разговоре бот всегда являлся ответчиком.

По полученным результатам опроса устаревший виртуальный собеседник ELIZA смогла убедить менее 30% опрошенных, что она человек. ChatGPT с бесплатной языковой моделью GPT-3.5 показал плохие результаты и смог убедить менее 15% опрошенных, что он человек. А вот бот с GPT-4 смог «обмануть» более 40% опрошенных, что он человек. Но для успешного прохождения теста требуется не менее 50%, поэтому все чат-боты провалили тест считаться живым собеседником.

Во время теста исследователи заметили, что среди опрошенных менее 65% смогли правильно идентифицировать живого собеседника, поэтому результат ChatGPT GPT-4 на довольно неплохом уровне.

Источник: https://twitter.com