Reconocer una acción en vídeo parece una tarea sencilla hasta que cambia el escenario. Una persona corre en una calle soleada, otra lo hace bajo la lluvia y una tercera cruza una habitación mal iluminada. Para nosotros, las tres escenas comparten un elemento evidente: alguien está corriendo. Un sistema de visión artificial puede quedar atrapado en diferencias que poco tienen que ver con la acción. La iluminación, el fondo, el encuadre o la calidad de la grabación pueden pesar más de lo debido en su decisión.

Este problema afecta a los modelos entrenados con vídeos procedentes de un entorno y aplicados después a otro distinto. En aprendizaje automático se conoce como cambio de dominio. En este caso el sistema ha aprendido una tarea bajo unas condiciones concretas y pierde precisión cuando esas condiciones varían. La dificultad aumenta porque un vídeo contiene mucha más información que una imagen aislada y obliga a analizar cambios espaciales y temporales al mismo tiempo.

El escenario también puede engañar

Los sistemas modernos de reconocimiento de acciones suelen dividir cada vídeo en pequeños fragmentos espaciales y temporales. Cada fragmento se convierte en una unidad de información, llamada token, que un transformador visual procesa junto con todas las demás. El modelo recibe así una representación troceada del vídeo, formada por porciones del sujeto, del fondo y de los cambios que se producen entre fotogramas.

Este procedimiento trata por igual regiones muy diferentes. Un brazo que se mueve, una bicicleta que avanza y una pared inmóvil generan tokens que entran en la misma cadena de cálculo. La pared puede parecer irrelevante, pero su textura, su color o su iluminación ayudan al modelo a asociar una acción con un contexto determinado. Esa asociación puede funcionar bien en los vídeos de entrenamiento y fallar cuando el escenario cambia.

El problema tiene además una dimensión computacional. Los transformadores comparan entre sí gran cantidad de tokens, y el coste de esa operación crece con rapidez a medida que aumenta su número. Procesar cada rincón de cada fotograma consume tiempo y memoria aunque buena parte del contenido apenas aporte información sobre la acción. Mirarlo todo no garantiza comprender mejor lo que ocurre. En algunos casos introduce distracciones y encarece el análisis.

Un filtro guiado por el movimiento

El equipo de Tzu Ling Liu, Ian Stavness y Mrigank Rochan propone una estrategia llamada tokenización aprendible centrada en el movimiento, o LMFT por sus siglas en inglés. El método comienza dividiendo los vídeos en pequeños parches, como hacen otros transformadores visuales. Después compara cada parche con el que ocupa la misma posición en el instante siguiente. La diferencia entre ambos sirve como medida de la intensidad del movimiento en esa zona.

Mirarlo todo no garantiza que una inteligencia artificial comprenda mejor lo que ocurre.

Si una región cambia mucho entre dos momentos consecutivos, es probable que contenga parte de la acción. Cuando apenas cambia, puede corresponder al cielo, una pared, el suelo o cualquier otro elemento estático. LMFT asigna a cada parche una energía de movimiento normalizada y utiliza un umbral para decidir cuáles conserva. Los tokens situados por debajo se eliminan antes de que entren en el transformador.

La selección no depende de un valor fijo elegido a mano para todos los vídeos. El sistema aprende el umbral mediante aprendizaje por refuerzo, una técnica que ajusta sus decisiones según la recompensa obtenida. En este caso, la recompensa combina dos objetivos: mantener un buen rendimiento en el reconocimiento de acciones y reducir la cantidad de información procesada.

El equilibrio es importante. Un filtro demasiado permisivo dejaría pasar gran parte del fondo y perdería sus ventajas. Uno excesivamente agresivo podría borrar detalles necesarios para distinguir acciones parecidas. El entrenamiento busca una zona intermedia adaptada al contenido. El filtro aprende cuánto puede descartar sin perjudicar la clasificación.

Aprender con vídeos sin etiquetar

El estudio aborda una situación cotidiana en la que existe un conjunto de vídeos etiquetados en el entorno de origen, pero los vídeos del nuevo entorno carecen de etiquetas. Por ejemplo, el modelo puede conocer qué acción aparece en grabaciones bien iluminadas y tener que adaptarse después a escenas oscuras sin recibir la respuesta correcta para cada una. Esta tarea se denomina adaptación de dominio no supervisada para vídeo.

Los investigadores combinan los vídeos etiquetados del dominio de origen con los vídeos sin etiquetar del dominio de destino. Para aprovechar estos últimos, el sistema genera pseudoetiquetas: predicciones provisionales que se incorporan al entrenamiento cuando alcanzan un nivel suficiente de confianza. El modelo aprende así a relacionar representaciones procedentes de entornos distintos sin necesitar una anotación manual completa del nuevo conjunto.

LMFT interviene antes de que el transformador analice esas representaciones. Al retirar regiones estáticas o poco informativas de ambos dominios, reduce parte de las diferencias asociadas al escenario. Una persona puede correr en un gimnasio o en un parque, pero el patrón de movimiento de su cuerpo conserva elementos comunes. El método intenta que esas regularidades pesen más que el decorado.

Esta elección también mejora la comparabilidad entre los vídeos. Los fondos pueden variar de forma drástica, mientras que los movimientos ligados a una acción suelen mantener una estructura más estable. El sistema obtiene así una base más útil para transferir lo aprendido entre condiciones de grabación diferentes. No elimina por completo el cambio de dominio, pero limita una de sus fuentes más persistentes.

Menos cálculo y mejores resultados

Los autores evaluaron el método en tres bancos de pruebas de adaptación de dominio para vídeo, con un total de 21 configuraciones. Las colecciones incluyen acciones cotidianas grabadas bajo distintas condiciones, vídeos procedentes de conjuntos diferentes y escenas con cambios en el tipo de actor. LMFT superó a los métodos de referencia en los tres bancos de pruebas, con mejoras de 5,3 puntos porcentuales en Daily-DA, 1,8 en UCF-HMDBfull y 12 en ActorShift.

El filtro aprende cuánto puede descartar sin perder las señales necesarias para reconocer la acción.

Los resultados de ActorShift son especialmente llamativos. En ese conjunto, el método alcanzó una precisión media del 88,4 %, frente al 76,4 % de UNITE, uno de los sistemas con los que se comparó. También superó en 7,3 puntos al modelo entrenado únicamente con datos etiquetados del dominio de destino. Los autores atribuyen esta diferencia a que el conjunto de destino contiene pocos ejemplos y favorece el sobreajuste, mientras que la adaptación aprovecha información de ambos dominios. 

La reducción de información no se limitó a mantener la precisión. En dos configuraciones analizadas con detalle, LMFT necesitó alrededor de 217 y 218 GFLOPs por vídeo, frente a los 266 del transformador estándar. En una de ellas elevó la precisión del 72,1 % al 74,2 %; en la otra pasó del 57,5 % al 60 %. Procesar menos tokens permitió obtener mejores resultados con un coste inferior.

La diferencia en tiempo de entrenamiento fue mayor frente a otros métodos de adaptación. En una de las comparaciones, UNITE necesitó 27.426 segundos y LMFT 2.784; en la otra, 22.070 frente a 890. Estas cifras corresponden a los experimentos descritos en el paper y dependen del hardware y de la configuración utilizados, pero muestran que la selección previa de tokens puede alterar de forma notable la carga computacional. 

Cuando descartar información ayuda a ver

La propuesta no consiste en reducir datos de manera arbitraria. Los autores compararon LMFT con la eliminación aleatoria de tokens y con varios métodos diseñados para fusionarlos o podarlos. La selección basada en movimiento ofreció el mejor equilibrio entre precisión y velocidad, lo que indica que importa tanto cuánto se elimina como el criterio empleado para hacerlo.

Las visualizaciones del estudio permiten apreciar esa diferencia. En una de las figuras del paper cada vídeo aparece acompañado por sus cambios de movimiento y por el resultado tras aplicar el filtro. Las zonas inmóviles quedan parcialmente vacías, mientras que los fragmentos relacionados con la persona o el animal en acción permanecen visibles incluso cuando cambia el punto de vista. 

En visión artificial, procesar menos información puede producir decisiones más precisas y más baratas.

El movimiento tampoco contiene siempre toda la información necesaria. Una acción puede depender de un objeto quieto, de una postura sostenida o de detalles que cambian muy poco entre fotogramas. LMFT conserva el primer segmento temporal y aprende un umbral que evita aplicar el mismo recorte a todos los casos, pero el método sigue ligado a la idea de que las regiones dinámicas suelen resultar más útiles para reconocer acciones. Su eficacia deberá comprobarse en tareas donde el contexto estático sea parte esencial de la respuesta.

El trabajo señala una dirección relevante para la visión artificial: mejorar un modelo no exige necesariamente aumentar la cantidad de información que procesa. Elegir mejor puede ser tan importante como ampliar la arquitectura. En aplicaciones que dependen del vídeo y operan con recursos limitados, aprender qué merece atención puede reducir el cálculo, facilitar la adaptación y hacer más estable el reconocimiento.