Автор не входит в состав редакции iXBT.com (подробнее »)
avatar
Не факт. Куртка спокойно может зарезать память в 5080, как это произошло в свое время с 3080.
avatar
Ну, это не 200 ватт Интела.
avatar
Когда покупал видеокарту EVGA, там черным по белому была заявлена transferrable warranty.
avatar
Даже если Intel действительно нашли причину проблемы, это не устраняет последствий, поскольку очень много процессоров дегроднуло.
avatar
С продажей брака вы, конечно загнули. Если все 6 из заявленных 6 ядер работают как положено, то никакого брака здесь нет. Брак — это когда 14900K высыпает WHEA ошибки на заявленных Intel частотах ядер и памяти, а материнка и оператива полностью соответствует друг другу по QVL. Поэтому, кстати, я не верю, что это какая-то работа над ошибками — если это было правдой, Intel сделали бы какое-то заявление по поводу отказывающих процов — его причинах, возможных мерах для восстановления работоспособности, процедурах обмена и возврата средств. А этого нет.
avatar
14 поколение?
Не нужна тебе такая машина, брат
avatar
Проблема в том, что большинство самокатчиков и велосипедистов вообще не понимают, что такое ПДД, и что они требуют от них. Самокатчику ничего не стоит притормозить, аккуратно объехать пешехода, а потом снова набрать скорость. Велосипедисту это стоит некоторых усилий, но он вообще имеет право ехать по проезжей части и с пешеходами не пересекаться. Но для этого надо думать и подчиняться правилам, а чтобы по тротуару захасанить, нужны только спинномозговые рефлексы.
avatar
Я бы не был так категоричен. Грамотно реализованный инференс на процессоре — штука полезная, llamaCPP не даст соврать.
Но для того, чтобы крупная нейросеть работала хорошо, ей не столько NPU нужны, вместо него может отработать и встройка, сколько пропускная способность памяти. Причем именно в потребительской машинке.
Собственно, именно так работают LLM на технике Apple, и надо сказать, что работают они довольно неплохо. Никакой «магии Apple», «преимуществ ARM» или «божественного NPU» там нет, тупо высокая ПСП и всё.
avatar
Там ещё немало своей местной лексики, а так же слов, которые имеют отличное от путунхуа значение или эмоциональный окрас. Всем этим можно не пользоваться в собственной речи, и вас скорее всего поймут, но вот при переводе с диалекта на другие языки нужно учитывать эти отличия, иначе о качественном переводе можно не мечтать.
avatar
Хреновые они, эти ваши либеральные рамки.
+20 к скорости на трассе просто приводят к тому, что вешают ограничение на 20км/ч ниже того, что на самом деле подразумевают. При этом если ты поедешь те самые +20, и столкнёшься с тем, кто едет в пределах ограничения, то тебя запросто сделают виновным, ведь нештрафуемость нарушения не отменяет самого факта нарушения.
А в городах от этих +20 вообще беда. Дебилы валят 40км/ч там, где нужно 20км/ч, рано или поздно сбивая людей насмерть там, где в случае соблюдения правил можно вообще успеть остановиться до наезда и предотвратить катастрофу вообще.
Моё мнение — лучше перевесить знаки и ввести тоталитарные +5. Или ХОТЯ БЫ авторитарные +10, как в Беларуси и Казахстане.
Либо, как вариант, можно ввести плавающий порог, превратив 20км/ч везде и всюду в 20% от ограничения. То есть под знаком 20 можно будет ехать только 24, а под знаком 80, уже до 95 разогнаться можно. Чтобы в черте города сильно ужесточить ограничения но оставить запас под обгоны на шоссе. Сама необходимость рассчитать нештрафуемый порог привет к тому, что он перестанет восприниматься как классическое руководство к действию «вижу 40, еду 60, вижу 60, еду 80».
avatar
У меня коллега два года платил 1000р за фактические 15мбит до переезда в прошлом месяце. И это в доме с Ростелекомом. Челы просто слали его к чёрту, потому что у них занято оборудование другими жильцами, а новое ставить никто не собирается. Других провайдеров не пускают. В итоге он жил с Йотой пару лет. Под Москвой, в Мытищах. Пиндос, получается?
avatar
Найди мне ноутбук с 4 10gbit портами Ethernet, либо точку на карте, где WiFi-7 можно стабильно раскачегарить до его пиковых 32gbit. Открытое море, пустыни или поверхность Луны чур не предлагать.
avatar
Во-первых, далеко не каждая нейросеть — это LLM.
Во-вторых, далеко не каждая LLM — это монстр на 200-300 миллиардов активных параметров.
В-третьих, речь не про обучение, а про инференс.
Даже Apple M2 Ultra весьма бодро справляется с 70B плотными и даже с 8x22B s-moe моделями, а уж со всякими 8х7B — и подавно. Да, 300 токенов в секунду на вывод так не получить, но столько обычно и не нужно, когда человек читает от силы 10. Есть, конечно, свои шероховатости — например, обработка контекста там не очень шустрая, но с этим можно работать, это можно допиливать, и не всегда это проблема. В целом, яблочная встройка нормально справляется с умножением матриц, и производительность бэкенда по большей части упирается именно в пропускную способность памяти.
И прежде, чем кто-нибудь начнет боготворить ARM — речь именно о Metal в инференсе с помощью LlamaCPP, то есть все работает на яблочной встройке. ЦП там либо откровенно слаб, либо даже сам Герганов не понимает, как выжать из него производительность. А вот х86 это не касается. «Устаревший набор инструкций» тоже позволяет очень неплохо работать с нейросетями. Если на борту 8-12 каналов памяти, то даже самостоятельно, без помощи видеокарты вообще, хотя с ней, конечно, будет ещё быстрее. Epyc 7252 на 8 каналов DDR4 тоже упирается в ПСП. А ведь у него всего-то навсего один чиплет на 8 Zen-2 ядер. Единственная мощная часть этого процессора — настоящий серверный контроллер памяти.
avatar
Очень спорно. Даже с точки зрения чистой производительности всё сильно зависит от задачи. Для игр это может быть справедливо, но игры — не единственное применение для GPU. Если у тебя есть локальная нейросеть, которая в 8GB VRAM с кэшем не влезет, то проц с хорошей оперативкой и встройкой будет работать в разы быстрее.
avatar
HBM — это настолько дорого, что проще сделать нормальный контроллер памяти и отказаться от тормозного двухканала.
Примерно так, кстати, поступили в Apple. Именно поэтому у М-чипов высокая пропускная способность памяти, а вовсе не из-за того, что чипы на плату запаяли.
avatar
5800X3D и 7800X3D для тебя какая-то шутка?)
avatar
Большинству людей пофиг и на болты и рисунки протектора.
А когда не пофиг, то как правило интересуют ИМЕННО ТЕ САМЫЕ болты и рисунки, не придуманные дешёвым апскейлером.
Жду дня, когда на такой телефон сделают фото с номерным знаком автомобиля настоящего нарушителя, а тот окажется искаженным нейронкой и похожим на ваш. После чего самый справедливый, но не самый технически подкованный суд в мире тупо лишит вас прав.
Ну или наоборот — вы сделаете фото преступника, который вас пытался ограбить, и его поймают, но он задоджит улику, заявив: изображение полностью отредактировано ИИ, и значит не может быть использовано как свидетельство чьей-либо вины.
avatar
Видеокарты итак всё это могут. Могут даже процессоры. И те, и другие могли бы и лучше, просто надо повышать пропускную способность памяти, а это дорого.
avatar
Речь про железку, а не про модель. Mixtral 8x7B и Yi-34B спокойно переваривают 32К токенов. Китайская модель в принципе и больше может, но просто начинает теряться в контексте.
avatar
Инвестиций во что, простите? Эти ускорители буду конкурентоспособны только в том случае, если оптовая цена сотни таких ускорителей будет ниже, чем хотя бы одна 4090 в рознице.
Ну или мы чего-то не знаем. Может быть, оно заточено для компьютерного зрения или распознавания речи в реальном времени, а вовсе не для больших языковых нейросетей. Но тогда маркетинг должен быть по этой части, а не в духе «смотрите, у нас есть тысяча модулей, и с ними мы запустили LLaMA-70B»