Исследовательская группа под руководством Google представила StreamVibe — видеоагента, который самостоятельно решает, когда вмешаться в процесс. При этом тесты прежде всего показывают, насколько эта задача остаётся сложной для современных AI-моделей.
Команда из Google, Stanford, Oxford и нескольких американских университетов работает над ассистентом, который наблюдает, как человек готовит еду или собирает мебель, и вмешивается только при необходимости. StreamVibe способен понимать даже нечёткие запросы вроде «Помоги мне, если я столкнусь с трудностями» — то есть улавливать невысказанные намерения пользователя.
Проблема существующих видеоассистентов
Согласно статье, текущие видеоассистенты рассчитаны на чёткие команды — «Дай знать, когда вода закипит», — и потому редко улавливают невысказанные намерения. Им трудно отслеживать, что уже сделано: они повторяют советы или отвечают слишком поздно. А когда пользователь меняет запрос по ходу дела, ассистенты часто продолжают придерживаться первоначальных инструкций.
StreamVibe различает три типа намерений: явно выраженные, невысказанные и изменяющиеся в ходе задачи.
Как устроен StreamVibe
Чтобы оценить масштаб проблемы, команда составила бенчмарк из примерно 4 100 примеров на основе более чем 183 часов записей повседневной жизни и работы с программным обеспечением. Gemini 2.5 Flash предлагал, когда предложить помощь и что сказать, а четыре человека-оценщика единогласно утверждали каждый пример. Тест охватывает три этапа: чёткие инструкции, нечёткие цели и изменяющиеся со временем запросы. В одном из примеров пользователь, разбирающий игрушечный экскаватор, просит отчёты о прогрессе, а через три минуты переключается на запрос проверки качества.
Архитектура решения включает три компонента:
- StreamVibe-VL — модель, по всей видимости, основанная на Qwen3.5-9B от Alibaba, которая каждую секунду решает: молчать или говорить.
- Обучение с подкреплением на втором этапе делает модель более сдержанной, чтобы она не прерывала пользователя постоянно.
- Отдельная система памяти отслеживает, какие запросы ожидают и какие шаги завершены. При этом именно модель сама решает, говорить или нет и что сказать.
Результаты: улучшение есть, но проблема не решена
StreamVibe-VL улучшает время и качество отклика на 10,7 процента по сравнению с другими моделями. Система памяти предназначена для повышения проактивного взаимодействия ещё на 12,3 процента и сокращения ненужных прерываний.
Модель в целом значительно превосходит свою базовую модель и другие open-source модели, хотя проприетарная Gemini 3.8 Flash от Google показывает более высокие результаты в нескольких тестах. Специализированное обучение, по данным статьи, не ухудшает общее понимание видео.
Главная слабость: непрерывная работа
По мере увеличения длины видео модели значительно реже правильно выбирают момент для отклика. Когда им нужно лишь в определённые моменты решить, уместна ли подсказка, они принимают верное решение. Но когда они обрабатывают всё видео целиком и должны опираться на собственные предыдущие ответы, производительность всех протестированных систем резко падает по мере накопления ошибок. Ключевой показатель содержания ответов снижается до 61,5 процента на основе собственной истории системы. В видео длиннее пяти минут модели редко выбирают правильный момент и особенно трудно отслеживают изменённую инструкцию на протяжении длительного отрезка.
Конкретные примеры из тестов
В обучающем видео по GIMP о конвертации фото в чёрно-белое модель сравнения JoyAI утверждает, что готовое изображение уже сохранено, хотя пользователь его ещё не открыл. StreamVibe-VL в нужный момент даёт следующий шаг: «Цвета», а затем «Обесцветить».
В пошаговом руководстве по приготовлению тостов с джемом другие модели просто описывают, что происходит на экране — например, что хлеб разминают. StreamVibe-VL советует сначала срезать корку.
Контекст и перспективы
Исследователи признают, что реальные ситуации, вероятно, сложнее их тестовой конфигурации. Будущая работа будет изучать, как предпочтения пользователя и среда влияют друг на друга со временем.
Google уже давно работает над AI-системами, которые активно анализируют видео. В сентябре компания представила агентный видеоанализ для Gemini, где сама модель решает, какие сцены рассмотреть подробнее. С помощью Gemini 4 Argon Google также показала, как AI может отслеживать более длинные последовательности действий в видео с роботами и находить ошибки. Ассистент StreamVibe предназначен для понимания того, что происходит в любой момент, и распознавания, когда помощь действительно нужна.
Для сравнения: на бенчмарке ProactiveBench AI-модели часто угадывают или отказываются отвечать, вместо того чтобы задавать конкретные вопросы, когда визуальная информация отсутствует. Отдельный бенчмарк понимания видео выявил серьёзные слабости в пространственном и временном рассуждении. А для автономных AI-агентов сам разговор может ухудшать производительность, как показали исследователи Microsoft.