а потом говорят, что новости про автомобили — плохие.
А ведь за 2024 год не только мамкины инвесторы деньги и квартиры в биткоин сольют.
Найдутся и инвесторы в фондах на зарплате.
Их потом посадят.
Но толку.
Всегда пожалуйста.
По вычислительным архитектурам значит.
А я семь лет под Эльбрусы драйвера писал.
Там и понял, что то, что логично не всегда правильно.
Иногда операция перемножения в 6 раз менее энерго затратна, чем просто достать данные из далекого кеша.
А иногда наоборот.
Ушел в 2012м, когда там финансирования не стало.
Не хотел у пенсионеров добавку к пенсии отнимать.
Сейчас вот смотрю,
как можно на нейронки использовать.
Используя подручные средства.
Знаю, что:
huawei atlas 900 — не расхваливается.
А nvidia H100 — дар богов,
за цену которого можно мешок Amd radeon 7900 xtx купить.
Почему? А потому что.
По требованиям к оборудованию.
Умножай на 12 для SSD
То-есть модель 7B займет примерно 85Гб на диске.
Из них:
55 ГБ скачка через git
15 ГБ не квантованный файл GGUF
+ еще немного квантованные.
и 6 ГБ в оперативке.
По скорости 7B модели
у 5900х — 7 токенов в секунду на 5 бит квантовании Q5_K_S
у 7945 — 8.5 токенов на 6 бит квантовании Q6_K
Токен это примерно 2/3 слова.
Теоретика.
Нейронки ограничиваются пропускной способностью памяти.
А процессоры под нагрузкой нейронок особо даже не греются.
пробовал на 5900Х с DDR4 2933 и 7945HX с DDR5 4800
Зарегистрируйся на hugging face
Погоняй разные нейронки.
Китайские и Дубайские на процессорах запускать не стоит.
И провайдер может заблокировать за сотни ГБ трафика.
А вот французские mistral или Гугловые — очень даже.
Поэтому никогда не спрашивай про разработку ИИ у ChatGPT.
Ответы всегда в стиле вам это не нужно или максимально сложно.
А вот все ИИ от гугла:
разложат тебе по полочкам, что к чему. И как максимально бысто перейти от балабольства к действиям и результату.
Ещё Claude советую. Тоже хорошо по теме ИИ отвечает.
А вот ChatGPT шибко умный стал.
Забыли, что это платный сервис. И отвечать надо не избирательно.
Сейчас попробовал.
Код на kotlin хорошо генерит.
Спрашивал про Android разработку.
В mvi и Compose разбирается.
В отличие от лламы, не бредит.
Все четко.
Это по последней строке из картинки.
Запрос на русском. Ответ на английском плюс код на kotlin.
Русский только читает.
Работает шустро.
Хотя чего ещё ожидать от 7B модели.
сказал А говори Б.
Где ссылка.
Для нейросеток по сути только пропускная способность по памяти нужна. И много памяти.
По остальным сейчас разберемся.
Например тут Epyc впереди:
https://openbenchmarking.org/test/pts/build-linux-kernel-1.15.0
Хочешь нормальный процессор:
бери парные epyc с серверов.
Не apple конечно.
У которого 800 ГБ/с по оперативной памяти.
Но:
Epyc 9004 пока дорогие.
И дают 2х 400ГБ/с при потреблении 2х 400Вт.
А вот Epyc 7002/7003 уже нормально.
2х 160ГБ/с при 2х 280Вт.
На инференс нейросети почти хватит.
А тут 14900ks. Кризис первый запускать.
А ведь за 2024 год не только мамкины инвесторы деньги и квартиры в биткоин сольют.
Найдутся и инвесторы в фондах на зарплате.
Их потом посадят.
Но толку.
А катаются только по району.
Так что действительно. Литра хватит.
Хотя уже без вариатора.
Особенность местного законодательства
По вычислительным архитектурам значит.
А я семь лет под Эльбрусы драйвера писал.
Там и понял, что то, что логично не всегда правильно.
Иногда операция перемножения в 6 раз менее энерго затратна, чем просто достать данные из далекого кеша.
А иногда наоборот.
Ушел в 2012м, когда там финансирования не стало.
Не хотел у пенсионеров добавку к пенсии отнимать.
Сейчас вот смотрю,
как можно на нейронки использовать.
Используя подручные средства.
Знаю, что:
huawei atlas 900 — не расхваливается.
А nvidia H100 — дар богов,
за цену которого можно мешок Amd radeon 7900 xtx купить.
Почему? А потому что.
Умножай на 12 для SSD
То-есть модель 7B займет примерно 85Гб на диске.
Из них:
55 ГБ скачка через git
15 ГБ не квантованный файл GGUF
+ еще немного квантованные.
и 6 ГБ в оперативке.
По скорости 7B модели
у 5900х — 7 токенов в секунду на 5 бит квантовании Q5_K_S
у 7945 — 8.5 токенов на 6 бит квантовании Q6_K
Токен это примерно 2/3 слова.
Нейронки ограничиваются пропускной способностью памяти.
А процессоры под нагрузкой нейронок особо даже не греются.
пробовал на 5900Х с DDR4 2933 и 7945HX с DDR5 4800
Зарегистрируйся на hugging face
Погоняй разные нейронки.
Китайские и Дубайские на процессорах запускать не стоит.
И провайдер может заблокировать за сотни ГБ трафика.
А вот французские mistral или Гугловые — очень даже.
Надо плотно тестить.
Правда пока есть доступ к топовым Claude, Perexity, Gemini, ChatGPT4.
Поэтому лень.
Ответы всегда в стиле вам это не нужно или максимально сложно.
А вот все ИИ от гугла:
разложат тебе по полочкам, что к чему. И как максимально бысто перейти от балабольства к действиям и результату.
Ещё Claude советую. Тоже хорошо по теме ИИ отвечает.
А вот ChatGPT шибко умный стал.
Забыли, что это платный сервис. И отвечать надо не избирательно.
Код на kotlin хорошо генерит.
Спрашивал про Android разработку.
В mvi и Compose разбирается.
В отличие от лламы, не бредит.
Все четко.
Это по последней строке из картинки.
Запрос на русском. Ответ на английском плюс код на kotlin.
Русский только читает.
Работает шустро.
Хотя чего ещё ожидать от 7B модели.
… созданное с использованием искусственного интеллекта.
Где ссылка.
Для нейросеток по сути только пропускная способность по памяти нужна. И много памяти.
По остальным сейчас разберемся.
Например тут Epyc впереди:
https://openbenchmarking.org/test/pts/build-linux-kernel-1.15.0