Apple показывает внутреннее устройство своих ИИ-моделей в официальном отчете

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com

Компания Apple выпустила технический отчет «Языковые модели Apple Intelligence Foundation — технический отчет за 2025 год», раскрывающий детали архитектуры, обучения и оптимизации своих новых моделей искусственного интеллекта, представленных на конференции WWDC25.

В документе описывается инновационный подход к созданию локальной модели для устройств. Она разделена на два блока: первый содержит 62,5% слоев трансформера, второй — оставшиеся 37,5% без проекций ключей и значений. Такое разделение позволило сократить требования к памяти на 37,5% и уменьшить время вывода первого токена примерно на такую же величину, сохранив при этом качество работы модели.

Для облачной модели Apple разработала собственную архитектуру Parallel-Track Mixture-of-Experts (PT-MoE). Она объединяет концепцию параллельных треков с принципом «смеси экспертов». Модель разделена на несколько параллельных уровней, каждый из которых обрабатывает токены независимо и синхронизируется только в определенных точках. В каждом треке используются слои MoE, активирующие только релевантных «экспертов» для конкретной задачи, что повышает эффективность и скорость работы.

Автор: 9TO5Mac Источник: 9to5mac.com

Значительное внимание в отчете уделено многоязычной поддержке. Apple увеличила объем многоязычных данных с 8% до 30% от общего объема обучающих материалов. Токенизатор расширен на 50% — до 150 000 различных токенов. Тестирование проводилось с использованием запросов от носителей языка, а не переведенных материалов, оценивалась как точность, так и естественность ответов в местном контексте.

Для обучения моделей Apple использовала несколько источников данных: общедоступные веб-данные, собранные с помощью Applebot с соблюдением robots. txt; лицензированный контент от издателей; синтетические данные, созданные для специфических задач; визуальные данные, включающие более 10 миллиардов пар изображений с подписями.

Благодаря новой архитектуре и улучшенным методам обучения, модели Apple обеспечивают более высокую производительность при меньших требованиях к ресурсам, что особенно важно для работы искусственного интеллекта непосредственно на устройствах пользователей.

Источник: 9TO5Mac

Автор не входит в состав редакции iXBT.com (подробнее »)

Сейчас на главной

Новости

Публикации

Марс влажнее, чем думали: Curiosity нашел признаки современной жидкой воды у поверхности

Атмосфера современного Марса более чем на 95 процентов состоит из углекислого газа и постоянно меняется в объеме в зависимости от времени года. Каждую зиму на том полюсе планеты, который отвернут...

A4TECH Bloody MS98 Plus — обзор механической клавиатуры с горячей заменой магнитных свитчей

Сегодня на обзоре новая модель MS98 Plus от A4Tech Bloody со съемными магнитным свитчами. 98 в названии говорит нам о формате клавиатуры, но клавиш здесь 99, т.к. сюда добавили еще фирменную...

Как радиация разрушает электронику и почему всего одна частица может вывести спутник из строя

В открытом космосе, внутри ядерных реакторов и в медицинских центрах лучевой терапии электронные приборы работают под постоянным воздействием радиации. Самая опасная ситуация для такой...

Сколько рук у осьминога: почему учёные считают их не щупальцами, а чем-то гораздо более необычным?

Осьминог — одно из самых удивительных беспозвоночных на планете. Его восемь длинных гибких конечностей способны одновременно удерживать добычу, исследовать морское дно, открывать...

Как кассета без ленты передавала музыку с телефона в старую автомагнитолу

Вставляешь в старую автомагнитолу кассету, протягиваешь провод к телефону и нажимаешь «Play». В динамиках играет музыка, хотя внутри кассеты нет магнитной ленты. Магнитола при этом работает в...

Зачем в Чикаго зажигают огонь между рельсами перед проходом поезда

На зимних кадрах из Чикаго пригородный поезд Metra проходит над полосой огня. Низкие языки пламени тянутся вдоль рельса, подсвечивают снег и остаются на месте, когда вагоны уходят дальше. Огонь...