Copilot Vision получил возможность распознавания содержимого экрана на рабочем столе

Помощник Microsoft Copilot Vision на базе искусственного интеллекта получил возможность сканирования экрана рабочего стола. Благодаря этой новой функции Copilot теперь может анализировать весь экран, а не только отдельные приложения. Эта функция теперь доступна пользователям в рамках программы Windows Insider.

Ранее Copilot Vision мог устанавливать контекст только в ограниченном числе приложений. С обновлением эта функция теперь активируется на рабочем столе, в любом выбранном пользователем приложении или окне браузера.

Нажав на значок очков в приложении, пользователи могут вручную указать область экрана, которую хотят проанализировать. Система работает по принципу демонстрации экрана, но считывает изображение только с разрешения пользователя.

В новой версии Copilot Vision может выполнять контекстный анализ видимого контента, предлагать рекомендации и предоставлять голосовые подсказки. Например, он может интерпретировать сложные документы, оценивать графический дизайн или получать пошаговые инструкции во время игр. Microsoft заявляет, что эта функция может повысить производительность, особенно в творческих проектах, подготовке профессиональных презентаций или организации личных дел.

Система не работает в режиме непрерывной записи. Copilot Vision активируется только при взаимодействии с пользователем и работает на основе моментального снимка. Этот подход, в отличие от ранее критикуемой функции Recall от Microsoft, работает без фоновой записи экрана. Поэтому особое внимание уделяется подходу к проектированию, направленному на снижение рисков нарушения конфиденциальности.

Copilot также может захватывать и анализировать изображения с камеры мобильного устройства. Благодаря этой функции ИИ может также предоставлять оценку и рекомендации на основе визуальных данных из физического мира. Например, можно определить неисправную деталь устройства или отсканировать и интерпретировать документ с помощью камеры.

Благодаря интеграции Copilot Vision в настольные компьютеры, искусственный интеллект стал гораздо более интерактивным визуальным помощником для пользователей Windows. Система ускоряет доступ к информации в повседневной работе и выводит цифровую помощь на новый уровень, интерпретируя визуальный контент.