USB, кабели, питание и передача данных

AI-модели

Gemini научился управлять приложениями Mac, не забирая у вас курсор

Публикация:

Редакция USB.RU

Google добавляет computer use в Gemini для Mac: агент нажимает кнопки, вводит данные и работает с локальными приложениями в отдельном фоновом окне. Старт ограничен США и платными AI-планами.

Запрос к Gemini с режимом Computer use и этапы работы в Blender
Computer use в Gemini для Mac. Скриншот: Google.

Google 19 ноября начала развёртывать computer use в приложении Gemini для Mac. Пользователь описывает задачу, а помощник выполняет цепочку действий с локальными файлами, настольными приложениями и сайтами: перемещается по меню, нажимает кнопки, печатает и заполняет формы.

Главное отличие от помощника, который только смотрит на экран, - возможность действовать внутри программ. При этом Gemini работает в изолированном фоновом окне с предпросмотром прямо в чате. По описанию Google, основной экран и курсор остаются свободными, поэтому пользователь может продолжать свою работу.

От PDF с размерами до готовой презентации

Среди примеров Google - извлечение веса, размеров и адресов из локальных PDF для расчёта доставки нескольких коробок, сбор метрик и скриншотов из рабочих панелей в презентацию Google Slides, а также подготовка объявлений о продаже вещей по фотографиям из папки.

Для творческих задач компания предлагает пакетную цветокоррекцию фотографий и подготовку сцен в редакторах трёхмерной графики. Это примеры применения из анонса, а не опубликованные результаты независимого тестирования скорости или надёжности.

Разрешения остаются у пользователя

Пользователь выбирает, какие приложения доступны Gemini, следит за действиями в прямом предпросмотре и может остановить выполнение. Google также предусматривает подтверждение важных действий. Отдельное фоновое окно не отменяет необходимости выдать доступ к нужным программам.

В официальном анонсе Google не приводит список всех поддерживаемых приложений или показатели успешного выполнения задач. По данным 9to5Google, режим вызывается через @Computer use в запросе, а в Customize, затем Connectors появляется раздел Desktop, в том числе с Blender и Autodesk Fusion.

Кому доступно

Computer use запускается на английском языке в США для личных аккаунтов Google пользователей от 18 лет. Нужна подписка Google AI Plus, Pro или Ultra и Mac с Apple Silicon под управлением macOS Sequoia 15.0 или новее.

Ограничение относится именно к новой функции управления компьютером. Само приложение Gemini для настольных систем доступно шире, поэтому наличие установленного Gemini ещё не означает доступ к computer use. Скачать приложение можно на официальной странице Gemini для Mac.

Все новости →

Ещё на USB.RU

Статьи →

Объяснения и инструкции

Справочники →

Термины и стандарты

Инструменты →

Проверки и практические материалы

Подготавливаем выбранный материал…

Продолжить чтение