Для работы проектов iXBT.com нужны файлы cookie и сервисы аналитики.
Продолжая посещать сайты проектов вы соглашаетесь с нашей
Политикой в отношении файлов cookie
С продажей брака вы, конечно загнули. Если все 6 из заявленных 6 ядер работают как положено, то никакого брака здесь нет. Брак — это когда 14900K высыпает WHEA ошибки на заявленных Intel частотах ядер и памяти, а материнка и оператива полностью соответствует друг другу по QVL. Поэтому, кстати, я не верю, что это какая-то работа над ошибками — если это было правдой, Intel сделали бы какое-то заявление по поводу отказывающих процов — его причинах, возможных мерах для восстановления работоспособности, процедурах обмена и возврата средств. А этого нет.
Проблема в том, что большинство самокатчиков и велосипедистов вообще не понимают, что такое ПДД, и что они требуют от них. Самокатчику ничего не стоит притормозить, аккуратно объехать пешехода, а потом снова набрать скорость. Велосипедисту это стоит некоторых усилий, но он вообще имеет право ехать по проезжей части и с пешеходами не пересекаться. Но для этого надо думать и подчиняться правилам, а чтобы по тротуару захасанить, нужны только спинномозговые рефлексы.
Я бы не был так категоричен. Грамотно реализованный инференс на процессоре — штука полезная, llamaCPP не даст соврать.
Но для того, чтобы крупная нейросеть работала хорошо, ей не столько NPU нужны, вместо него может отработать и встройка, сколько пропускная способность памяти. Причем именно в потребительской машинке.
Собственно, именно так работают LLM на технике Apple, и надо сказать, что работают они довольно неплохо. Никакой «магии Apple», «преимуществ ARM» или «божественного NPU» там нет, тупо высокая ПСП и всё.
Там ещё немало своей местной лексики, а так же слов, которые имеют отличное от путунхуа значение или эмоциональный окрас. Всем этим можно не пользоваться в собственной речи, и вас скорее всего поймут, но вот при переводе с диалекта на другие языки нужно учитывать эти отличия, иначе о качественном переводе можно не мечтать.
Хреновые они, эти ваши либеральные рамки.
+20 к скорости на трассе просто приводят к тому, что вешают ограничение на 20км/ч ниже того, что на самом деле подразумевают. При этом если ты поедешь те самые +20, и столкнёшься с тем, кто едет в пределах ограничения, то тебя запросто сделают виновным, ведь нештрафуемость нарушения не отменяет самого факта нарушения.
А в городах от этих +20 вообще беда. Дебилы валят 40км/ч там, где нужно 20км/ч, рано или поздно сбивая людей насмерть там, где в случае соблюдения правил можно вообще успеть остановиться до наезда и предотвратить катастрофу вообще.
Моё мнение — лучше перевесить знаки и ввести тоталитарные +5. Или ХОТЯ БЫ авторитарные +10, как в Беларуси и Казахстане.
Либо, как вариант, можно ввести плавающий порог, превратив 20км/ч везде и всюду в 20% от ограничения. То есть под знаком 20 можно будет ехать только 24, а под знаком 80, уже до 95 разогнаться можно. Чтобы в черте города сильно ужесточить ограничения но оставить запас под обгоны на шоссе. Сама необходимость рассчитать нештрафуемый порог привет к тому, что он перестанет восприниматься как классическое руководство к действию «вижу 40, еду 60, вижу 60, еду 80».
У меня коллега два года платил 1000р за фактические 15мбит до переезда в прошлом месяце. И это в доме с Ростелекомом. Челы просто слали его к чёрту, потому что у них занято оборудование другими жильцами, а новое ставить никто не собирается. Других провайдеров не пускают. В итоге он жил с Йотой пару лет. Под Москвой, в Мытищах. Пиндос, получается?
Найди мне ноутбук с 4 10gbit портами Ethernet, либо точку на карте, где WiFi-7 можно стабильно раскачегарить до его пиковых 32gbit. Открытое море, пустыни или поверхность Луны чур не предлагать.
Во-первых, далеко не каждая нейросеть — это LLM.
Во-вторых, далеко не каждая LLM — это монстр на 200-300 миллиардов активных параметров.
В-третьих, речь не про обучение, а про инференс.
Даже Apple M2 Ultra весьма бодро справляется с 70B плотными и даже с 8x22B s-moe моделями, а уж со всякими 8х7B — и подавно. Да, 300 токенов в секунду на вывод так не получить, но столько обычно и не нужно, когда человек читает от силы 10. Есть, конечно, свои шероховатости — например, обработка контекста там не очень шустрая, но с этим можно работать, это можно допиливать, и не всегда это проблема. В целом, яблочная встройка нормально справляется с умножением матриц, и производительность бэкенда по большей части упирается именно в пропускную способность памяти.
И прежде, чем кто-нибудь начнет боготворить ARM — речь именно о Metal в инференсе с помощью LlamaCPP, то есть все работает на яблочной встройке. ЦП там либо откровенно слаб, либо даже сам Герганов не понимает, как выжать из него производительность. А вот х86 это не касается. «Устаревший набор инструкций» тоже позволяет очень неплохо работать с нейросетями. Если на борту 8-12 каналов памяти, то даже самостоятельно, без помощи видеокарты вообще, хотя с ней, конечно, будет ещё быстрее. Epyc 7252 на 8 каналов DDR4 тоже упирается в ПСП. А ведь у него всего-то навсего один чиплет на 8 Zen-2 ядер. Единственная мощная часть этого процессора — настоящий серверный контроллер памяти.
Очень спорно. Даже с точки зрения чистой производительности всё сильно зависит от задачи. Для игр это может быть справедливо, но игры — не единственное применение для GPU. Если у тебя есть локальная нейросеть, которая в 8GB VRAM с кэшем не влезет, то проц с хорошей оперативкой и встройкой будет работать в разы быстрее.
HBM — это настолько дорого, что проще сделать нормальный контроллер памяти и отказаться от тормозного двухканала.
Примерно так, кстати, поступили в Apple. Именно поэтому у М-чипов высокая пропускная способность памяти, а вовсе не из-за того, что чипы на плату запаяли.
Большинству людей пофиг и на болты и рисунки протектора.
А когда не пофиг, то как правило интересуют ИМЕННО ТЕ САМЫЕ болты и рисунки, не придуманные дешёвым апскейлером.
Жду дня, когда на такой телефон сделают фото с номерным знаком автомобиля настоящего нарушителя, а тот окажется искаженным нейронкой и похожим на ваш. После чего самый справедливый, но не самый технически подкованный суд в мире тупо лишит вас прав.
Ну или наоборот — вы сделаете фото преступника, который вас пытался ограбить, и его поймают, но он задоджит улику, заявив: изображение полностью отредактировано ИИ, и значит не может быть использовано как свидетельство чьей-либо вины.
Видеокарты итак всё это могут. Могут даже процессоры. И те, и другие могли бы и лучше, просто надо повышать пропускную способность памяти, а это дорого.
Речь про железку, а не про модель. Mixtral 8x7B и Yi-34B спокойно переваривают 32К токенов. Китайская модель в принципе и больше может, но просто начинает теряться в контексте.
Инвестиций во что, простите? Эти ускорители буду конкурентоспособны только в том случае, если оптовая цена сотни таких ускорителей будет ниже, чем хотя бы одна 4090 в рознице.
Ну или мы чего-то не знаем. Может быть, оно заточено для компьютерного зрения или распознавания речи в реальном времени, а вовсе не для больших языковых нейросетей. Но тогда маркетинг должен быть по этой части, а не в духе «смотрите, у нас есть тысяча модулей, и с ними мы запустили LLaMA-70B»
Не нужна тебе такая машина, брат
Но для того, чтобы крупная нейросеть работала хорошо, ей не столько NPU нужны, вместо него может отработать и встройка, сколько пропускная способность памяти. Причем именно в потребительской машинке.
Собственно, именно так работают LLM на технике Apple, и надо сказать, что работают они довольно неплохо. Никакой «магии Apple», «преимуществ ARM» или «божественного NPU» там нет, тупо высокая ПСП и всё.
+20 к скорости на трассе просто приводят к тому, что вешают ограничение на 20км/ч ниже того, что на самом деле подразумевают. При этом если ты поедешь те самые +20, и столкнёшься с тем, кто едет в пределах ограничения, то тебя запросто сделают виновным, ведь нештрафуемость нарушения не отменяет самого факта нарушения.
А в городах от этих +20 вообще беда. Дебилы валят 40км/ч там, где нужно 20км/ч, рано или поздно сбивая людей насмерть там, где в случае соблюдения правил можно вообще успеть остановиться до наезда и предотвратить катастрофу вообще.
Моё мнение — лучше перевесить знаки и ввести тоталитарные +5. Или ХОТЯ БЫ авторитарные +10, как в Беларуси и Казахстане.
Либо, как вариант, можно ввести плавающий порог, превратив 20км/ч везде и всюду в 20% от ограничения. То есть под знаком 20 можно будет ехать только 24, а под знаком 80, уже до 95 разогнаться можно. Чтобы в черте города сильно ужесточить ограничения но оставить запас под обгоны на шоссе. Сама необходимость рассчитать нештрафуемый порог привет к тому, что он перестанет восприниматься как классическое руководство к действию «вижу 40, еду 60, вижу 60, еду 80».
Во-вторых, далеко не каждая LLM — это монстр на 200-300 миллиардов активных параметров.
В-третьих, речь не про обучение, а про инференс.
Даже Apple M2 Ultra весьма бодро справляется с 70B плотными и даже с 8x22B s-moe моделями, а уж со всякими 8х7B — и подавно. Да, 300 токенов в секунду на вывод так не получить, но столько обычно и не нужно, когда человек читает от силы 10. Есть, конечно, свои шероховатости — например, обработка контекста там не очень шустрая, но с этим можно работать, это можно допиливать, и не всегда это проблема. В целом, яблочная встройка нормально справляется с умножением матриц, и производительность бэкенда по большей части упирается именно в пропускную способность памяти.
И прежде, чем кто-нибудь начнет боготворить ARM — речь именно о Metal в инференсе с помощью LlamaCPP, то есть все работает на яблочной встройке. ЦП там либо откровенно слаб, либо даже сам Герганов не понимает, как выжать из него производительность. А вот х86 это не касается. «Устаревший набор инструкций» тоже позволяет очень неплохо работать с нейросетями. Если на борту 8-12 каналов памяти, то даже самостоятельно, без помощи видеокарты вообще, хотя с ней, конечно, будет ещё быстрее. Epyc 7252 на 8 каналов DDR4 тоже упирается в ПСП. А ведь у него всего-то навсего один чиплет на 8 Zen-2 ядер. Единственная мощная часть этого процессора — настоящий серверный контроллер памяти.
Примерно так, кстати, поступили в Apple. Именно поэтому у М-чипов высокая пропускная способность памяти, а вовсе не из-за того, что чипы на плату запаяли.
А когда не пофиг, то как правило интересуют ИМЕННО ТЕ САМЫЕ болты и рисунки, не придуманные дешёвым апскейлером.
Жду дня, когда на такой телефон сделают фото с номерным знаком автомобиля настоящего нарушителя, а тот окажется искаженным нейронкой и похожим на ваш. После чего самый справедливый, но не самый технически подкованный суд в мире тупо лишит вас прав.
Ну или наоборот — вы сделаете фото преступника, который вас пытался ограбить, и его поймают, но он задоджит улику, заявив: изображение полностью отредактировано ИИ, и значит не может быть использовано как свидетельство чьей-либо вины.
Ну или мы чего-то не знаем. Может быть, оно заточено для компьютерного зрения или распознавания речи в реальном времени, а вовсе не для больших языковых нейросетей. Но тогда маркетинг должен быть по этой части, а не в духе «смотрите, у нас есть тысяча модулей, и с ними мы запустили LLaMA-70B»