Коллапс модели ChatGPT. Искусственный интеллект представляет угрозу для самого себя

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com
| Мнение | ИИ, сервисы и приложения

Эксперты предупреждают, что контент, созданный искусственным интеллектом, может представлять угрозу для самой технологии ИИ, которая его породила.

Источник: devsday.ru

В недавней статье о том, как обучаются генеративные инструменты ИИ, такие как ChatGPT, команда исследователей из университетов Оксфорда и Кембриджа обнаружила, что большие языковые модели, лежащие в основе этой технологии, могут потенциально обучаться на контенте, созданном другими ИИ. Данное явление ученые назвали «коллапс модели».

Исследователи утверждают, что генеративные инструменты ИИ могут выдавать ответы низкого качества на запросы пользователей, так как их модели обучаются на «синтетических данных», а не на уникальном человеческом контенте, который делает их ответы особенными.

Другие исследователи в области ИИ придумали свои термины для описания этого метода обучения. В исследовании, опубликованном в июле, ученые из университетов Стэнфорда и Райса назвали его «Синдромом модельной автографии», при котором «поглощающий себя» цикл обучения ИИ контенту, созданному другими ИИ, может привести к тому, что генеративные инструменты ИИ будут «обречены» на ухудшение «качества» и «разнообразия» создаваемых ими изображений и текста.

Джатан Садовски, старший исследователь в лаборатории исследований новых технологий в Австралии, который изучает ИИ, назвал это явление «ИИ Габсбургов», утверждая, что системы обученные на выходных данных других генеративных инструментов ИИ, могут создавать «изуродованные мутации ответов».

В то время как конкретные последствия этих явлений остаются неясными, некоторые эксперты в области технологий считают, что «коллапс модели» может затруднить определение исходного источника информации, на основе которой обучена модель ИИ. В результате поставщики точной информации, такие как СМИ, могут решить ограничить свой контент, чтобы предотвратить его использование для обучения ИИ. Генеральный директор фирмы по исследованиям технологий Constellation Research Рэй Ванг в своем эссе предположил, что это может породить «эпоху тьмы общественной информации».

Новые термины появились, когда ИИ-генерированный контент захлестнул Интернет с момента запуска ChatGPT в ноябре прошлого года. На 28 августа NewsGuard, компания, оценивающая надежность новостных веб-сайтов, выявила 452 «ненадежных ИИ-генерированных новостных издания с минимальным или отсутствующим человеческим контролем», содержащих статьи с ошибками.

Источник: https://www.businessinsider.com/

Автор не входит в состав редакции iXBT.com (подробнее »)
Об авторе
Нейрофилософ. Пишу статьи на темы будущего, искусственного интеллекта и науки. Рассуждаю о том, как существовать в новом мире.
Полный перечень статей можно найти на моем сайте Блог Илона Мерлина
Присоединяйтесь в ТГ канал. Там представлен сборник мыслей, инструкций и советов по адаптации к миру будущего. Кодекс Мерлина

16 комментариев

Добавить комментарий

109540024423636599616@google
Всё равно что внутри семьи всем перетрахаться и нарожать несколько поколений.
Elon_Merlin
Все верно, поэтому и сравнили этот принцип с семьей Габсбургов. Они на протяжении многих веков совокуплялись друг с другом и потом всякие отклонения у новых поколений начали проявляться.
В
можно было с ашкеназами сравнить
t
Терминатор, переваривший сам себя — это сильно!
112325122555592123982@google
Ага. Циклическая ссылка в искусственном мирке. ИИ создает изображения по описанию, у него там заложены миллионы картинок с подписями. А сможет от по человеческой картинке дать ее словесное описание? Да еще такое качественное, чтобы другой ии понял и создал аналогичную картинку. Мне просто интересно! Но я думаю, что нет. У ИИ нет смысла, он не понимает смысл того что говорит (пишет) и делает (рисует, проектирует).
112325122555592123982@google
То есть, что в него напихали, то он и выдает с небольшими вариациями, синонимами. Напишут- что черное это белое, и он так и будет считать и выдавать результаты. Верно? Так вот надо запустить к нему в мозги вирус и будет веселье всеобщее))))
6617366@vkontakte
попробуйте объяснить, что означает «понимает», и вы поймете, что сами этого не понимаете
4
Пока никакого ИИ не существует. На настоящий момент это просто маркетинговый термин.
Elon_Merlin
Стопудово, вообще интеллект предполагает создание чего-то нового, а тут получается просто переработка больших объемов информации и выдача наиболее релевантных данных
s
Я согласен что до ии далеко, но с другой стороны и человек это то что впитал его мозг, видел и читал, то что осталось в голове из вычитанного.
S
Не совсем. Генеративные системы ИИ, такие как GPT, именно что создают новый контент. Да, на основании заложенных в них данных, но наш «естественный» интеллект по сути тоже так работает — мы действуем на основе своего опыта. Грань между компиляцией фрагментов чужих данных и созданием чего-то принципиально нового очень тонкая.
S
Что значит имеет отношение к интеллекту? Интеллект очень сложно определить. Есть довольно размытое определение _искусственного_ интеллекта для каждого из четырех уровней. Причем первый уровень — это, например, обычная нейросеть, способная классифицировать данные на входе. Такие технологии существуют и используются уже много лет. А четвертый уровень пока даже на горизонте не маячит (и это хорошо, потому что это реально опасная штука). GPT сейчас где-то между 2 и 3 уровнем. Но в СМИ все четыре уровня ИИ мешают в один. Если хотите разъяснений, например, найдите ролик на эту тему на канале Pro Hi-Tech (там все разъясняют реальные специалисты в этой области, а не ведущие канала).
s
Не понимаю людей которые даже сгенерированный текст не могут вычитать и поправить, на сколуони или тупые или ленивые, как они рефераты писали и учились?
Bez_imeni
Ну ты же свой коммент не вычитал? И получилось «на сколуони». Вот и они шлёп-шлёп и готово.
s
С телефона писал, там клавиатура меняет иногда, на пк я вычитываю и орфографию правлю, с текстом на нейронках вряд ли работают с мобилы. Да и статьи ведь оформляют картинками, хоть бегло можно же пройтись по тексту и по смыслу вставлять картинки под нужным параграфом.

Добавить комментарий

Сейчас на главной

Новости

Публикации

Спутники зафиксировали потерю 12 триллионов тонн льда в Гренландии и Антарктиде — и дело оказалось не в таянии

В массовом представлении убыль полярных льдов выглядит простым процессом: температура воздуха растет, солнечные лучи нагревают поверхность, лед переходит в жидкое состояние и стекает в океан....

Почти как у человека: ученые измерили температуру тела тираннозавра по его зубам

С момента открытия первых костей Tyrannosaurus rex в начале двадцатого века ученые пытались определить уровень его метаболизма. В палеонтологии сформировались три основные точки зрения.Первая...

Revox C115: почему дека стоила в 3,5 раза дороже донора Marantz SD-60, хотя почти ничем от него не отличалась

На немецком рынке в 1990 году Marantz SD-60 продавался за 998 марок. Это примерно 550 долларов по тогдашнему курсу, сумма, кстати, знакомая коллекционерам винтажного аудио и по независимым...

Древнекитайское общежитие: как появились дома-крепости Тулоу и живут ли в них сегодня

Так называемые человейники, вырастающие в окрестностях больших городов как грибы, принято считать чем-то плохим априори. Хотя множество людей, втиснутых в пространство одного огромного здания с...

Обзор мини-ПК Ninkear MBOX18 — свежая модель, тихая и холодная

Свежая модель мини-ПК на современной энергоэффективной архитектуре Wildcat Lake с процессором Intel Core i3 304. В этом обзоре посмотрю, на что способна новинка Ninkear MBOX18 в реальных задачах, а...

Суперкомпьютер вычислил массу частиц темной материи: где именно их искать

Эксперименты по обнаружению темной материи сталкиваются с фундаментальной трудностью. Физики создали чувствительные установки, но долгое время не знали, на какие именно параметры их...