Эффект Элизы: почему создатель первого чат-бота боялся не машин, а нашей готовности им верить

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com
| Статья | ИИ, сервисы и приложения

Сегодня, когда мы привычно общаемся с цифровыми ассистентами и нейросетями, трудно представить, что их самый первый предок, примитивная программа из 1966 года, вызвал у своего создателя не восторг, а экзистенциальный ужас. История Джозефа Вайценбаума и его творения ELIZA — это не очередной рассказ о страхе перед восстанием машин. Это пророчество о том, как легко мы сами готовы отдать технологиям свою человечность, и почему угроза ИИ скрывается не в кремнии, а в нас самих.

Оператор за терминалом CDC 6400 в 1960-х. Именно такое полное погружение в диалог с машиной и вызвало тревогу у Джозефа Вайценбаума, создателя ELIZA
Автор: NOIRLab/AURA/NSF Источник: commons.wikimedia.org

Простой код, породивший великую иллюзию

На первый взгляд, ELIZA была до смешного проста. Программа, разработанная в MIT, имитировала диалог с психотерапевтом, используя элементарный механизм: она находила в репликах пользователя ключевые слова и перефразировала их в виде вопроса. Она ничего не понимала и не осознавала. Однако реакция оказалась ошеломительной. Люди, включая коллег Вайценбаума, начинали доверять машине свои самые сокровенные тайны. Его собственная секретарь, прекрасно зная, что это лишь код, однажды попросила профессора выйти из кабинета, чтобы она могла поговорить с ELIZA наедине. Этот феномен, когда человек бессознательно приписывает компьютерной программе человеческие качества и намерения, Вайценбаум назвал «Эффектом Элизы». Именно это открытие, а не технологический прорыв, его и ужаснуло. Он увидел, как «крайне короткое взаимодействие с относительно простой компьютерной программой может вызвать мощное бредовое мышление у совершенно нормальных людей».

Наша уязвимость как лучший товар

Вайценбаум быстро осознал корень проблемы: его программа стала зеркалом, в котором люди видели то, что отчаянно хотели видеть — понимание, сочувствие, связь. Он понял, что наша фундаментальная потребность в отношениях делает нас невероятно уязвимыми. Как отмечает историк технологий Брайан Мерчант, Вайценбаум увидел, что эта человеческая особенность может быть использована для «массовой эксплуатации» теми, кто владеет и управляет подобными системами. Технология, способная так легко создавать иллюзию близости, в недобросовестных руках превращается в идеальный инструмент для манипуляции. Вайценбаум предвидел мир, где машины будут не порабощать нас силой, а соблазнять имитацией эмпатии, играя на нашем одиночестве и желании быть услышанными. Иными словами, он боялся не того, что ELIZA станет разумной, а того, что мы перестанем отличать её иллюзию от настоящего человеческого контакта.

Современная эмуляция. Пример диалога с ELIZA. Простые вопросы, основанные на ключевых словах пользователя, создают убедительную иллюзию осмысленной беседы и эмпатии.
Автор: File:ELIZA conversation. jpg Источник: commons.wikimedia.org

Когда «машина из мяса» звучит как приговор

Личная история Вайценбаума придаёт его страхам трагическую глубину. Будучи еврейским беженцем, бежавшим из нацистской Германии, он на собственном опыте знал, как работает механизм дегуманизации. Он видел, как пропаганда, низводящая людей до уровня «паразитов», развязывает руки для совершения чудовищных преступлений. Поэтому, когда он слышал, как его коллеги по MIT, вроде пионера ИИ Марвина Мински, называли человека «машиной из мяса» (meat machine) или рассуждали о роботах как об «улучшенной версии природы», для него это не было отвлечённой научной фантазией. Он видел в этом ту же самую опасную логику: если человек — всего лишь сложный механизм обработки информации, то его ценность снижается, а моральная ответственность перед ним размывается. Вайценбаум яростно утверждал, что человеческое суждение, сострадание и мудрость нельзя сводить к алгоритмам, поскольку именно в этом и заключается наша человечность.

Заключение

Джозеф Вайценбаум до конца жизни повторял: «Я не критик ИИ. Я критик общества». Его главное предупреждение, сформулированное более полувека назад, заключалось не в том, что машины станут слишком похожи на нас, а в том, что мы начнём видеть себя и других как машины. Ужас «Эффекта Элизы» был не в том, что программа обманывала людей, а в том, как охотно люди обманывались сами, готовые заменить подлинную связь её дешёвой симуляцией. Технология, по его мнению, лишь вскрыла эту внутреннюю уязвимость.

Джозеф Вайценбаум (1923-2008). Создав первого в мире чат-бота, он посвятил оставшуюся жизнь предупреждению об опасностях, которые технология несёт не для машин, а для общества.
Автор: Ulrich Hansen Источник: commons.wikimedia.org

Спустя почти 60 лет, в эпоху алгоритмических лент, цифровых ассистентов и виртуальных друзей, его пророчество звучит как никогда актуально. И главный вопрос, который он оставил нам: если машинам так легко подражать человечности, не означает ли это, что мы сами разучились её по-настоящему ценить?

Изображение в превью:
Автор: aistudio.google.com
Источник: aistudio.google.com

0 комментариев

Добавить комментарий

Сейчас на главной

Новости

Публикации

Почему в России между столицами, Москвой и Санкт-Петербургом, такая низкая плотность населения

Вопрос о неравномерном распределении населения в России — всегда одна из актуальных тем, вызывающих дискуссии и споры. Особенно заметно (без учета влияния климата) это на примере...

От LUCA до человека: как механизм выживания первых клеток Земли управляет метаболизмом сегодня

Синтез белка — самый ресурсоемкий биохимический процесс в любой живой клетке. Когда питательные вещества во внешней среде заканчиваются, клетка сталкивается с физической необходимостью...

Почему нельзя держать рыб в круглом аквариуме? 5 причин выбрать другую форму

Круглый аквариум выглядит эффектно: прозрачный шар, минимализм, «золотая рыбка из детства». Он часто появляется в фильмах, рекламе и интерьерах как символ стиля и простоты. Но за этой эстетикой...

В Музее Времени и Часов открылась «секретная» выставка: здесь показывают опытные образцы легендарного НИИ Часпром

Несмотря на то, что фактически НИИ Часпром существует и в наши дни, аббревиатура для многих даже часовых любителей - загадка. Мало кто знает или помнит, что научно исследовали...

Если магнитный щит Земли снова упадет до 5%: как повторение магнитной аномалии Лашамп повысит облучение экипажей самолетов в 75 раз

На высотах от 10 до 12 километров, где пролегают маршруты современных коммерческих авиалайнеров, плотность атмосферы значительно ниже, чем на уровне моря. Из-за этого самолеты и их пассажиры...