106730069321661724684@google

До появления последних поколений нейросетей интернет наполнялся почти полностью исключительно информацией от живых людей. Особенность людей в том, что они
a. Понимают смысл знаний, которыми владеют
b. Замотивированы делиться с людьми (и получать от них в ответ) правдивые знания
Да, люди иногда могут ошибаться. А иногда заведомо распространять информацию несоответствующую действительности. Но в целом люди тянутся к правде и стремятся распространять правду (или по крайней мере то, что они считают правдой, но это уже отдельный вопрос).
Нейросети это же совершенно другое.
Во-первых у них нет знаний о предметной области в привычном нам понимании. У них просто есть внутри статистика что «вот это слово с большей степенью вероятности идёт вот за этим словом». И у них нет понимания смыслов того, что они хранят в себе в том плане, насколько смысл осознает человеческий мозг. Они не могут осознать информацию внутри себя, найти логические ошибки, верифицировать, т.е. пойти и проконсультироваться у какого-нибудь эксперта.
Во-вторых у них нет задачи выдавать вам только правду. Они даже не знают что это такое.
Всё что текстовые нейросети могут делать, это выдавать вам какой-то рандомный текст, максимально стараясь соблюдать семантические и синтаксические правила реального языка так, чтобы этот текст был похож на написанный живым человеком. Причём чтобы этот текст содержал такие же слова, какие были в запросе пользователя, чтобы создавалась иллюзия что нейросеть отвечает на запрос.
Всё. В нейросетях нет правды. Это просто реалистично выглядящий набор слов. Нейросеть может, не моргнув глазом, подробно объяснить вам, почему Земля плоская. Или поведать, что Наполеон прибыл на Землю в составе делегации марсиан.
Нейросети могут быть полезны для заполнения сайта тестовым мусором, как замена Lorem Ipsum (программисты поймут). Или для нерадивых студентов лить воду в дипломы, которые всё равно никто не читает. Или для музыкантов генерить текст песен. Там всё равно смысл не требуется, пойдёт любой шизофазийный бред, который фанаты ещё годами будут с упоением разбирать, выискивая потаённые смыслы.
А вот на серьёзных щах спрашивать у нейросети что-то о реальном мире и доверять этой информации, на мой взгляд, это безумие.