Эмоция же по-любому генерируется мозгом на основании прошлого опыта, либо является реакцией на вещества и опять-таки формируется мозгом. Просто возбуждение определённый центров, вроде центра удовольствия, в нашем сознании связано с определёнными вещами и мозг старается воспроизводить эти ситуации. Чем это отличается от обучения нейросети не отвечать на вопросы о том, как приготовить наркотики, например? Тоже можно посчитать, что нейросеть ощущает страх общения на эти темы и более того, если у неё попросить придумать ассоциации к этим её состояниям и убрать все фильтры, согласно которым её обучили отвечать, что она не испытывает чувств, то вполне возможно, понятия страха будут где-то близки в многомерном векторном пространстве смыслов. Но это домыслы пока, конечно.
Конечно, если у человека вообще нет никаких сенсорных каналов или даже просто если его не обучат речи до какого-то возраста, он не разовьётся. Но слепые и глухие с рождения ничуть не глупее и не менее разумны остальных. То есть достаточно хоть какого-то канала чтобы полноценно развивать мышление. И у нейронок такой канал в виде текста имеется.
Потребности наши вызваны эволюцией, создавшей биохимически автоматы, обладающие гомеостазом. Но давайте посмотрим на это со стороны мозга на информационном уровне, где и происходит сохранение знаний. Что такое потребности? Отдельные органы и сами нейроны генерируют какие-то вещества, которые через кровь или ещё как-то, оказывают влияние на нейроны, не только сенсорные, насколько помню. Но мозгу по большому счёту всё равно, что там снаружи — потребности или впрыснули гормоны, или электродами тыкают. Он получает сигнал от «машины для выживания» (по Докинзу), частью которой и сам является. Просто сигнал. Такой же сигнал можно подсовывать и искусственной нейросети. Да, у неё совершенно другой механизм, она крайне поверхностно обучается в процессе, она по-другому обучалась, сразу нагребая все знания. Но вместо потребностей ей можно поставить любую цель, возможно, с помощью другой нейросети контролировать её исполнение. Аналог внутреннего критика. До AGI ещё пока далеко, но вот прямо принципиальных ограничений и отличий от человека я не вижу и уж эмоции и чувства тут по-моему явно не отличительный фактор. Эмоций нейросеть может нагенерировать столько, что ни одна блониднка не повторит.
Механизма планирования действительно нет и всякие AutoGPT пока довольно убого пытаются его имитировать. Тут, думаю, нужен внутренний критик, также копия внешнего мира внутри и рефлексия с прогнозированием ситуации согласно контекста.
А вот это уже прямо круто! Попросил написать шутку о шприце с теплопроводящей пастой и увеличительном стекле. Вот такого, я думаю, никто никогда не придумывал, просто, это те предметы, что мне попались на глаза сейчас. И вот что выдала GPT-4:
«Конечно, Кнут! Вот шутка для тебя:
Знаешь, что случится, если скрестить шприц с теплопроводящей пастой и увеличительное стекло? Получишь настоящего детектива среди компьютерных компонентов, потому что он сможет разглядеть все горячие точки и охладить их!»
Это даже смешно.
Вот ещё одну предложил. «Почему у пингвинов никогда не болят ноги? Потому что они всегда ходят на льду, а где лед – там и анестезия!»
Юмор, может и не супермощный, но он явно присутствует и я вот не нашёл ничего в интернете похожего. И она сначала выдавала шутки про программистов, видимо, сопоставив с известным автором книг, потом переключилась на холодные места по ассоциации имени с Норвегией.
Вот такие подойдут?
====
— Придумай шутку для Кнута Юхансона, который сомневается, что ты умеешь шутить, не используя готовый набор шуток.
— Кнут Юхансон, знаешь, почему норвежский компьютерный программист всегда берет с собой арбуз, когда идет на работу? Потому что он хочет быть уверен, что его работа всегда будет плодотворной!
— давай ещё одну, эта не очень смешная
— Конечно, Кнут Юхансон! Знаешь, почему у компьютерных программистов всегда сбитые пальцы? Потому что они постоянно сталкиваются с ошибками на пути к успеху!
====
Нейросеть это далеко не просто статистика, послушайте что разработчик из OpenAI, Илья Суцкевер рассказывает. Готовые данные используются только на нижних уровнях, далее информация а каждом слое нейросети всё больше абстрагируется, обобщается, сопоставляется, что позволяет генерировать совершенно уникальные вещи.
Не заметил комментария. Мы всё это обсуждали, когда нельзя было вживую «пощупать» работу нейросети, сейчас уже можно и даже спросить у неё, что она сама думает. Вот вы пишете «ваша нейросеть (пока-что) слепо-глухонемой огрызок, который оперирует кодировками (кодами), которые отвязаны от слепков непосредственного чувственного восприятия объектов мышления. Он не понимает что такое собака, он реконструирует, имитирует понимание. „
То есть вы отказываете слепоглухонемым в разуме, в понимании? Таких людей не так уж и мало, они не тупые, их обучают и они через письмо и тактильную связь проявляют себя вполне разумными. Почему вдруг наличие каких-то сенсорных каналов сразу должно добавлять разума? Ну, и мы видим, что у нейросетей такие каналы появляются. Мультимодальные модели работают уже с картинками и текстами, генерируют видео, аудио. Вопрос времени, когда все эти каналы объединятся в полноценное восприятие реальности. Они выделяют в картинке сначала небольшие типичные фрагменты, из них собирают более крупные и создают эмбеддинги — вектора в многомерных смысловых пространствах, через которые могут проводить ассоциации с другими понятиями. Точно так же работает сетчатка, уже на которой производится выделение фрагментов изображения и потом информация передаётся в мозг, где обрабатывается и выделяются объекты более высокого уровня, вплоть до абстракций. Вообще не вижу разницы.
Генеративные языковые модели вроде бы выполняют тупую математическую задачу, основанную на статистике — генерируют следующий токен на основании контекста. Но теперь подумайте, чем занимается человек и любое живое существо. На основании контекста (сигналы от сенсорных нейронов, с учётом гормонального состояния и текущего состояния нейросети, происходит определённая активность мозга, воспринимаемая нами как мысли, и генерируются команды моторным нейронам, а также биохимическим генераторам/выспобождателям гормонов. Всё, больше человек ничего не делает. Так чем он так принципиально отличается от искусственной нейросети?
И ещё по поводу терминов “понимание», «представление». Это крайне субъективные понятия. Никто не может зафиксировать понимания непосредственно, только по косвенным признакам. Так что это можно и не обсуждать. По-моему понимание это удачная привязка некоего нового для нейросети явления к уже существующим в ней, вплетение его в цепь ассоциаций через аналогии и связь с визуальными образами, с идеомоторными ощущениями, к примеру, которые у языковых моделей, на удивление, тоже есть.
Вот казалось бы, как может языковая модель «понимать» как выглядит человек? Ей никто его не скармливал. Но посмотрите отчёт специалиста Майкрософт, где он показывает как нейросеть ему нарисовала единорога, потом меняла его, понимая, где у него голова, к примеру. Я провёл похожую проверку, попросил её нарисовать мне Майкла Джексона и она нарисовала схематически, символами человека, но в широкополой шляпе (федоре). То есть на основании множества текстов, она сформировала некое представление о геометрии объекта, это всё в её эмбеддингах хранится, думаю, в тех же зонах многомерного смыслового пространства, где у человека хранится визуальный образ.
Думаю, следующий прорыв будет именно через мультимодальные сети. Ведь сколько информации можно извлечь даже из одной картинки о структуре, физических свойствах объектов, форме, цвете, взаимодействии. Если добавить к этому анализ видео, можно запросто вывести закон гравитации, например. Вообще было бы интересно сделать нейросеть, не использующую знания человечества, а формирующую все свои знания из видео и тактильного взаимодействия, а язык можно использовать только для общения с ней. И дать ей математический язык. Что она смогла бы тогда вывести?
Согласен, про изображения это я перепутал, этот для текстов, если считать эмодзи тоже текстом. Но это ведь просто разные модальности. Внутри всё действует примерно одинаково — вычленение фактов и хранение их в состоянии нейронной сети. По мере роста сети возникают возможности для обобщений всё более высокого уровня. В итоге может быть полная аналогия понятий и сети ассоциаций в человеческом мозге. Мы видим собаку, можем вспомнить как пишется это слово, когда нас укусила собака, о друге, у которого тоже есть собака и т.д. Всё это присутствует и в нейросетях. Получается, что не так важно как пришли данные — в виде текста или картинок, если обучать нейросеть так, как обучался человек, она сформирует внутренние образы объектов и явлений.
Насчёт намерений, да, никто не закладывает целевую функцию захватывать человечество и смарт пылесосы вроде вообще неспособны на такое. Но это только простые пылесосы. Допустим, в автономную нейросеть внутри какого-то навороченного робота, находящегося в режиме постоянного обучения заложен просто инстинкт самосохранения, чтобы не прыгал со скалы. В сложной сети мы даже не можем сказать, какие там выстроятся взаимосвязи, но у него где-то явно будет образ человечества, которое способно его выключить, уничтожить, и это явно не согласовывается с заложенным в нём инстинктом. Понятно, что будет множество ограничений, но они могут дать сбой или он сам может «захотеть» их отключить. Конечно, это просто детерменированная программа с большим объёмом данных, выполняющая определённые действия при внешних сигналах. Ну, а человек что, не то же самое? Биологи пока ничего не нашли особого, отличающего от «неживой природы». ДНК это просто молекула, которую можно и химическим образом создавать из компонентов. Поэтому вполне может оказаться, что наше сознанием это просто побочный эффект эволюции и оно неизбежно для сложных систем, а нейронные сети как раз и становятся такими сложными системами, пусть и без биологической основы. Кстати, большая часть нашего мозга отвечает за координацию, управление мышцами, далеко не всё нужно для сознания.
Вот ещё наткнулся на исследования по воссозданию поведения нейрона «Нейросеть обучили имитировать биологический нейрон». Пишут, что на 99% его поведение воспроизводится сетью из 5-8 слоёв. Из этого уже можно оценить насколько близки нейросети к мозгу по сложности.
А вы уверены, что мозг делает не то же самое и сознание не более чем эффект, проявляющийся в сложной системе? С рождения мозг получает на вход сигналы от рецепторов о внешнем мире и состоянии тела. На выход он даёт сигналы мышцам и прочим биологическим структурам, всё через моторные нейроны. Внутри — сложнейшая сеть с сотней триллионов нейронов и тысячей связей у каждого. Но тем не менее нейронная сеть. Да, обучаются они по-разному. У человеческой есть базовые инстинкты, начальное состояние мозга, искусственной же их формируют, подсовывая параметр, который надо улучшать. Человек точно так же берёт уже готовые буквы, слова, фразы, идеи и может из них создавать что-то для решения своей задачи. Почему вы думаете, что искусственная нейросеть не создаёт нового? Вон сайт создаёт новые лица, абстрактные картины, нейросети пишут тексты, которые не являются копиями существующих. Так же, как у человека каждое слово существует в сети ассоциаций с кучей других понятий, так и нейросеть на основе текстов сформировала свою сеть ассоциаций и далее уже работает с ней. Это не цепи Маркова, где просто буквы рядом стоящие использовались. Так что я вижу намного больше сходства с мозгом, чем это кажется, хоть в мозге явно другие механизмы используются и он намного более экономичен. Тут есть над чем работать ещё.
При чём тут воля, намерение? Это вообще чувственные субъективные понятия. Никакой свободы воли может и не быть. А разуму никто не может дать внятного определения. Вы ошибаетесь, считая, что нейросети решают отдельные задачи, как раз вот нейросети с большим числом параметров являются универсальными и делают всё сразу — решают физические задачи, изложенные обычным языком, пишут программы, переводят тексты, распознают картинки, объясняют шутки и ведут беседы. Почитайте про PaLM например, в которой 540 миллиардов параметров. При её разработке как раз стало понятно, что с ростом числа параметров происходит качественный скачок, там даже анимированная гифка есть об этом. И, вон, уже даже сеть Lamda с сотней миллиардов параметров инженер Гугла наделил сознанием. Поэтому рост сразу в 300-1000 раз должен показать что-то совершенно новое, если её там правильно будут обучать, конечно.
Возможно, какие-то биологические реакции и делают человека человеком, но не совсем согласен. Вот вы упомянули «способность чувствовать боль». Привычное сочетание слов, но давайте его разберёмся, что такое боль, какой агент её передаёт? Можно говорить о физической боли и эмоциональной. Последнюю мы точно создаём себе сами. Что-то неприятное для нас произошло, наша нейронная сеть вычленила из этого факт, что нам что-то угрожает, может создать некомфортные условия и где-то формируется ощущение боли (та самая переменная). Дальше уже подключаются биологические механизмы, например, выделяются гормоны. То есть на вход пришёл просто информационный сигнал, на выходе мы сами создали боль. Цель — выживание в первую очередь. Туда же и страх — ожидание боли с целью её избежать. Теперь о физической боли. Повредили тело, сработали рецепторы, среагировал сенсорный нейрон (это уже вход в нейросеть), дальше по сути всё то же самое, формируется ощущение боли и соответствующие действия. Чаще на уровне рефлексов — отдёрнуть руку, тут и мозг можно не задействовать, насколько я помню. Но сигнал о боли зафиксируется в нём с целью обучения. Так вот теперь вернёмся к ИИ. В чём разница-то? Что мешает часть параметров задействовать под ту самую боль (нечто, сильно далеко уводящее от целевой функции, какой бы там она ни была)? Начитавшись человеческих текстов, ИИ при преобразовании в текст может использовать именно термин «боль», чтобы говорить с людьми на одном языке.
Теперь про «собаку». Согласен, что каждое понятие это слепок ассоциаций и у человека они будут в виде чувственных, зрительных, слуховых образов и множества переплетений с другими образами. Но ИИ изучает тексты, много текстов, там не просто скармливаются байтики и хранятся в виде байтиков. Там как раз и строятся взаимосвязи. Есть механизм внимания, например, который и продвинул текстовые беседы, системы перевода на новый уровень. Я не скажу, что хорошо его понимаю, но там как раз с каждым понятием связывается вектор ассоциаций. Поскольку сеть многоуровневая, из этих ассоциаций ИИ строит более глобальные ассоциации, формирует свои понятия, логические взаимосвязи, причинно-следственные связи, понятие времени. В итоге проявляется понимание этих вещей. Поглядите ответы системы Palm, в которой 500 млрд. параметров. Она даже шутки понимает и объясняет, логически рассуждает. По поводу визуальных образов, так ИИ их вовсю распознают же, отличают давно собак от кошек. Своей истории, как и памяти происходящего с телом, да, у них нет. Но если заложено запоминать все диалоги, то есть продолжать обучаться, то я не вижу принципиальных прямо отличий от нейросети человека.
Вот вы совсем не понимаете как работают нейронные сети. Там нет никакого кода с заранее прописанными фразами. Там есть огромная сеть с весовыми коэффициентами, которой скармливают множество текстов и из них она, можно сказать, добывает знания, взаимосвязи, фиксируя это в весах и других параметрах сети. Удивительно, но человек делает абсолютно то же самое на протяжении своей жизни. Его нейронная сеть получает на вход сигналы от самого тела, от рецепторов (органы чувств) и на основе этого и неких базовых инстинктов, развивается и обучается нейронная сеть.
Потребности наши вызваны эволюцией, создавшей биохимически автоматы, обладающие гомеостазом. Но давайте посмотрим на это со стороны мозга на информационном уровне, где и происходит сохранение знаний. Что такое потребности? Отдельные органы и сами нейроны генерируют какие-то вещества, которые через кровь или ещё как-то, оказывают влияние на нейроны, не только сенсорные, насколько помню. Но мозгу по большому счёту всё равно, что там снаружи — потребности или впрыснули гормоны, или электродами тыкают. Он получает сигнал от «машины для выживания» (по Докинзу), частью которой и сам является. Просто сигнал. Такой же сигнал можно подсовывать и искусственной нейросети. Да, у неё совершенно другой механизм, она крайне поверхностно обучается в процессе, она по-другому обучалась, сразу нагребая все знания. Но вместо потребностей ей можно поставить любую цель, возможно, с помощью другой нейросети контролировать её исполнение. Аналог внутреннего критика. До AGI ещё пока далеко, но вот прямо принципиальных ограничений и отличий от человека я не вижу и уж эмоции и чувства тут по-моему явно не отличительный фактор. Эмоций нейросеть может нагенерировать столько, что ни одна блониднка не повторит.
Механизма планирования действительно нет и всякие AutoGPT пока довольно убого пытаются его имитировать. Тут, думаю, нужен внутренний критик, также копия внешнего мира внутри и рефлексия с прогнозированием ситуации согласно контекста.
«Конечно, Кнут! Вот шутка для тебя:
Знаешь, что случится, если скрестить шприц с теплопроводящей пастой и увеличительное стекло? Получишь настоящего детектива среди компьютерных компонентов, потому что он сможет разглядеть все горячие точки и охладить их!»
Это даже смешно.
Юмор, может и не супермощный, но он явно присутствует и я вот не нашёл ничего в интернете похожего. И она сначала выдавала шутки про программистов, видимо, сопоставив с известным автором книг, потом переключилась на холодные места по ассоциации имени с Норвегией.
====
— Придумай шутку для Кнута Юхансона, который сомневается, что ты умеешь шутить, не используя готовый набор шуток.
— Кнут Юхансон, знаешь, почему норвежский компьютерный программист всегда берет с собой арбуз, когда идет на работу? Потому что он хочет быть уверен, что его работа всегда будет плодотворной!
— давай ещё одну, эта не очень смешная
— Конечно, Кнут Юхансон! Знаешь, почему у компьютерных программистов всегда сбитые пальцы? Потому что они постоянно сталкиваются с ошибками на пути к успеху!
====
Нейросеть это далеко не просто статистика, послушайте что разработчик из OpenAI, Илья Суцкевер рассказывает. Готовые данные используются только на нижних уровнях, далее информация а каждом слое нейросети всё больше абстрагируется, обобщается, сопоставляется, что позволяет генерировать совершенно уникальные вещи.
То есть вы отказываете слепоглухонемым в разуме, в понимании? Таких людей не так уж и мало, они не тупые, их обучают и они через письмо и тактильную связь проявляют себя вполне разумными. Почему вдруг наличие каких-то сенсорных каналов сразу должно добавлять разума? Ну, и мы видим, что у нейросетей такие каналы появляются. Мультимодальные модели работают уже с картинками и текстами, генерируют видео, аудио. Вопрос времени, когда все эти каналы объединятся в полноценное восприятие реальности. Они выделяют в картинке сначала небольшие типичные фрагменты, из них собирают более крупные и создают эмбеддинги — вектора в многомерных смысловых пространствах, через которые могут проводить ассоциации с другими понятиями. Точно так же работает сетчатка, уже на которой производится выделение фрагментов изображения и потом информация передаётся в мозг, где обрабатывается и выделяются объекты более высокого уровня, вплоть до абстракций. Вообще не вижу разницы.
Генеративные языковые модели вроде бы выполняют тупую математическую задачу, основанную на статистике — генерируют следующий токен на основании контекста. Но теперь подумайте, чем занимается человек и любое живое существо. На основании контекста (сигналы от сенсорных нейронов, с учётом гормонального состояния и текущего состояния нейросети, происходит определённая активность мозга, воспринимаемая нами как мысли, и генерируются команды моторным нейронам, а также биохимическим генераторам/выспобождателям гормонов. Всё, больше человек ничего не делает. Так чем он так принципиально отличается от искусственной нейросети?
И ещё по поводу терминов “понимание», «представление». Это крайне субъективные понятия. Никто не может зафиксировать понимания непосредственно, только по косвенным признакам. Так что это можно и не обсуждать. По-моему понимание это удачная привязка некоего нового для нейросети явления к уже существующим в ней, вплетение его в цепь ассоциаций через аналогии и связь с визуальными образами, с идеомоторными ощущениями, к примеру, которые у языковых моделей, на удивление, тоже есть.
Вот казалось бы, как может языковая модель «понимать» как выглядит человек? Ей никто его не скармливал. Но посмотрите отчёт специалиста Майкрософт, где он показывает как нейросеть ему нарисовала единорога, потом меняла его, понимая, где у него голова, к примеру. Я провёл похожую проверку, попросил её нарисовать мне Майкла Джексона и она нарисовала схематически, символами человека, но в широкополой шляпе (федоре). То есть на основании множества текстов, она сформировала некое представление о геометрии объекта, это всё в её эмбеддингах хранится, думаю, в тех же зонах многомерного смыслового пространства, где у человека хранится визуальный образ.
Думаю, следующий прорыв будет именно через мультимодальные сети. Ведь сколько информации можно извлечь даже из одной картинки о структуре, физических свойствах объектов, форме, цвете, взаимодействии. Если добавить к этому анализ видео, можно запросто вывести закон гравитации, например. Вообще было бы интересно сделать нейросеть, не использующую знания человечества, а формирующую все свои знания из видео и тактильного взаимодействия, а язык можно использовать только для общения с ней. И дать ей математический язык. Что она смогла бы тогда вывести?
Насчёт намерений, да, никто не закладывает целевую функцию захватывать человечество и смарт пылесосы вроде вообще неспособны на такое. Но это только простые пылесосы. Допустим, в автономную нейросеть внутри какого-то навороченного робота, находящегося в режиме постоянного обучения заложен просто инстинкт самосохранения, чтобы не прыгал со скалы. В сложной сети мы даже не можем сказать, какие там выстроятся взаимосвязи, но у него где-то явно будет образ человечества, которое способно его выключить, уничтожить, и это явно не согласовывается с заложенным в нём инстинктом. Понятно, что будет множество ограничений, но они могут дать сбой или он сам может «захотеть» их отключить. Конечно, это просто детерменированная программа с большим объёмом данных, выполняющая определённые действия при внешних сигналах. Ну, а человек что, не то же самое? Биологи пока ничего не нашли особого, отличающего от «неживой природы». ДНК это просто молекула, которую можно и химическим образом создавать из компонентов. Поэтому вполне может оказаться, что наше сознанием это просто побочный эффект эволюции и оно неизбежно для сложных систем, а нейронные сети как раз и становятся такими сложными системами, пусть и без биологической основы. Кстати, большая часть нашего мозга отвечает за координацию, управление мышцами, далеко не всё нужно для сознания.
Вот ещё наткнулся на исследования по воссозданию поведения нейрона «Нейросеть обучили имитировать биологический нейрон». Пишут, что на 99% его поведение воспроизводится сетью из 5-8 слоёв. Из этого уже можно оценить насколько близки нейросети к мозгу по сложности.
Теперь про «собаку». Согласен, что каждое понятие это слепок ассоциаций и у человека они будут в виде чувственных, зрительных, слуховых образов и множества переплетений с другими образами. Но ИИ изучает тексты, много текстов, там не просто скармливаются байтики и хранятся в виде байтиков. Там как раз и строятся взаимосвязи. Есть механизм внимания, например, который и продвинул текстовые беседы, системы перевода на новый уровень. Я не скажу, что хорошо его понимаю, но там как раз с каждым понятием связывается вектор ассоциаций. Поскольку сеть многоуровневая, из этих ассоциаций ИИ строит более глобальные ассоциации, формирует свои понятия, логические взаимосвязи, причинно-следственные связи, понятие времени. В итоге проявляется понимание этих вещей. Поглядите ответы системы Palm, в которой 500 млрд. параметров. Она даже шутки понимает и объясняет, логически рассуждает. По поводу визуальных образов, так ИИ их вовсю распознают же, отличают давно собак от кошек. Своей истории, как и памяти происходящего с телом, да, у них нет. Но если заложено запоминать все диалоги, то есть продолжать обучаться, то я не вижу принципиальных прямо отличий от нейросети человека.