Apple показывает внутреннее устройство своих ИИ-моделей в официальном отчете

Компания Apple выпустила технический отчет «Языковые модели Apple Intelligence Foundation — технический отчет за 2025 год», раскрывающий детали архитектуры, обучения и оптимизации своих новых моделей искусственного интеллекта, представленных на конференции WWDC25.

В документе описывается инновационный подход к созданию локальной модели для устройств. Она разделена на два блока: первый содержит 62,5% слоев трансформера, второй — оставшиеся 37,5% без проекций ключей и значений. Такое разделение позволило сократить требования к памяти на 37,5% и уменьшить время вывода первого токена примерно на такую же величину, сохранив при этом качество работы модели.

Для облачной модели Apple разработала собственную архитектуру Parallel-Track Mixture-of-Experts (PT-MoE). Она объединяет концепцию параллельных треков с принципом «смеси экспертов». Модель разделена на несколько параллельных уровней, каждый из которых обрабатывает токены независимо и синхронизируется только в определенных точках. В каждом треке используются слои MoE, активирующие только релевантных «экспертов» для конкретной задачи, что повышает эффективность и скорость работы.

Значительное внимание в отчете уделено многоязычной поддержке. Apple увеличила объем многоязычных данных с 8% до 30% от общего объема обучающих материалов. Токенизатор расширен на 50% — до 150 000 различных токенов. Тестирование проводилось с использованием запросов от носителей языка, а не переведенных материалов, оценивалась как точность, так и естественность ответов в местном контексте.

Для обучения моделей Apple использовала несколько источников данных: общедоступные веб-данные, собранные с помощью Applebot с соблюдением robots. txt; лицензированный контент от издателей; синтетические данные, созданные для специфических задач; визуальные данные, включающие более 10 миллиардов пар изображений с подписями.

Благодаря новой архитектуре и улучшенным методам обучения, модели Apple обеспечивают более высокую производительность при меньших требованиях к ресурсам, что особенно важно для работы искусственного интеллекта непосредственно на устройствах пользователей.

Источник: 9TO5Mac