Gemini 2.5 Computer Use: новый ИИ-агент для браузера

Введение

Google DeepMind представила Gemini 2.5 Computer Use — агента искусственного интеллекта, способного самостоятельно взаимодействовать с пользовательскими интерфейсами. Агент уже продемонстрировал высочайшую эффективность в тестах и в будущем Gemini 2.5 Computer Use может быть интегрирован в инструментарий браузера Google.

Подробнее о Gemini 2.5 Computer Use

Gemini 2.5 Computer Use может напрямую выполнять различные действия в интерфейсах веб-сайтов и приложений, например, писать текст, делать клики, заполнять формы, переносить информацию между различными сервисами и упорядочивать элементы на рабочих досках. и т.д.. Агент уже стал доступен разработчикам через Gemini API и облачную платформу Vertex AI, а для широкой аудитории Google запустила публичную демоверсию на платформе Browserbase. Принцип работы агента построен на циклическом процессе. Сначала ИИ анализирует снимок экрана, учитывает историю предыдущих операций и получаемую задачу, после чего планирует действие. Клиентская система выполняет это действие и создает новый скриншот. Цикл повторяется до полного решения поставленной задачи. За эту функциональность отвечает новый инструмент computer_use, встроенный в API Gemini. В настоящее время агент ориентирован на работу в браузерах — в Google отмечают, что для управления интерфейсами на уровне операционной системы компьютера он пока не адаптирован, но это будет исправлено в ближайшем будущем. Компания также заявляет, что агент работает с реальными веб-страницами, в том числе с теми, что находятся за системой аутентификации, что создает возможности для автоматизации корпоративных интерфейсов и стандартных офисных процессов.

Выводы

На данный момент Computer Use находится на стадии публичного превью. В Google предупреждают, что основной фокус смещен на обеспечение стабильной работы в браузере и безопасность: каждое действие модели проходит проверку на стороне сервера, определенные операции (например, совершение покупок) требуют подтверждения пользователя, а потенциально рискованные сценарии (обход капчи, вмешательство в работу устройств) блокируются. Планы по дальнейшему развитию новинки пока не раскрываются, но уже можно предположить, что компания внедрит агента в свой браузер Google Chrome в формате платного расширения.