El nuevo modo de procesamiento de Google permite a la IA explorar las líneas de tiempo de los videos bajo demanda en lugar de utilizar frecuencias de muestreo fijas. La mejora técnica busca abaratar el costo de análisis en metrajes extensos y mejorar la exactitud de las respuestas.
Google presentó el 1 de septiembre una modalidad de comprensión agéntica de video para Gemini. La función está incorporada en los modelos Gemini 3.7 Flash, 3.6 Flash y 3.5 Flash-Lite, según el anuncio de la compañía.
El modelo decide qué partes necesita examinar
El procesamiento convencional toma fotogramas del video con una frecuencia fija. La documentación de la API de Gemini indica que el modo estático utiliza por defecto un fotograma por segundo. En el modo agéntico, el modelo puede desplazarse por la línea de tiempo, seleccionar fragmentos y ajustar sobre la marcha la frecuencia de muestreo y la resolución.
El sistema también puede recurrir de forma selectiva a los fotogramas, el audio o la transcripción, de acuerdo con la pregunta recibida. Este enfoque está orientado principalmente a videos extensos y consultas sobre momentos concretos, donde incorporar todo el contenido a la ventana de contexto puede generar un consumo elevado de tokens.
Google informa mejoras en costos y precisión
En sus pruebas, Google afirma que la función puede reducir hasta un 88 % el consumo de tokens y hasta un 66 % el costo del análisis, además de elevar la precisión hasta un 7 %. Estas cifras proceden de evaluaciones divulgadas por el propio proveedor y no de una validación independiente, por lo que los resultados efectivos dependerán del modelo, la duración del video y la tarea solicitada.
Entre las aplicaciones planteadas por la compañía figuran la búsqueda de momentos breves dentro de grabaciones extensas, la detección de anomalías, el recuento de objetos o acciones y el análisis de clases, reuniones y tutoriales. El procesamiento estático continúa disponible para clips cortos, tareas sensibles a la latencia o casos que requieren revisar de manera uniforme el video completo.
Disponibilidad para desarrolladores
La capacidad puede activarse para archivos de video y enlaces públicos de YouTube mediante la API de Gemini en Google AI Studio. También se encuentra en Gemini Enterprise Agent Platform, donde la documentación de Google Cloud la identifica como una función en vista previa, disponible mediante la versión v1beta1 de la API y desactivada por defecto.
Google sostiene que el modo utiliza la tarifa normal de tokens y no incorpora un cargo adicional específico. La empresa también anticipó su llegada a la aplicación Gemini y, durante los próximos meses, a la función Ask YouTube. Estos dos despliegues corresponden a planes anunciados y no a una disponibilidad general ya completada.
Fuentes
- Google Blog, Introducing agentic video understanding with Gemini
- Google AI for Developers, Video understanding
- Google Cloud Documentation, Video understanding
Ilustración: captura del sitio de Google
📬 Newsletter gratuito
