Investigadores de Stanford y CMU publicaron Task Model Induction (TMI) el 20 de agosto, un método que extrae modelos estructurados de tareas de trazas de uso de computadora grabadas sin anotación. En trayectorias controladas, TMI recupera tareas intercaladas con 97,4% de concordancia frente a la verdad de referencia, reconstruye 74,9% de los pasos de ejecución y deriva habilidades que mejoran la precisión de tareas retenidas en 30% por encima de la línea base más fuerte.
La brecha es real. Las organizaciones con grabaciones de pantalla del trabajo del conocimiento no tienen forma práctica de convertir la grabación en estructura de tareas reutilizable. Los métodos existentes o comprimen sesiones en resúmenes en prosa—perdiendo flujo de control y tareas concurrentes—o asumen que se da una única tarea raíz. Ninguno de los dos maneja cómo trabaja la gente realmente: saltando entre objetivos, anidando subojetivos e iterando dentro de tareas.
TMI procede en tres etapas. Primero, los eventos de bajo nivel (cursor, teclas, píxeles) se fundamentan en acciones semánticas utilizando contexto visual. Segundo, el descubrimiento latente de tareas desembaraza la actividad concurrente sin etiquetas de tareas—el sistema identifica qué tramos de acciones pertenecen a qué tarea usando solo estructura de traza. Tercero, para cada tarea, TMI induce un modelo de objetivo (jerarquía recursiva de objetivos) y un modelo de procedimiento (flujo de control usando operadores de secuenciación e iteración). La salida es simbólica y auditable—qué se hizo y cómo—no prosa.
Lo que importa para la implementación: habilidades derivadas de los modelos de TMI transferidas a nuevas instancias de tareas no vistas durante la inducción, mejorando la precisión en 30% por encima de la línea base. La tasa de reconstrucción de 74,9% de los pasos de ejecución muestra cómo el modelo de procedimiento captura fielmente el flujo de control real, haciendo que las habilidades derivadas sean ejecutables en lugar de decorativas.
Este trabajo contrasta con el aprendizaje de habilidades en línea. Agent Skill Induction (ASI) de CMU, de la coautora Zora Zhiruo Wang, aprende habilidades durante la ejecución de tareas activas, ganando 23,5% en WebArena. ASI necesita un agente en ejecución y entorno activo. TMI solo necesita grabaciones. Para empresas donde rehacer el trabajo es imposible, la inducción pasiva es el camino práctico. Los equipos que pueden implementar agentes iterativamente pueden combinar ambos: inicio en frío a partir de trazas históricas, luego refinamiento en línea.
Tres restricciones permanecen sin resolver. El aterrizaje de eventos crea un cuello de botella aguas abajo—los mapas de acciones semánticas deficientes degradan el modelo de tarea. La evaluación utilizó trayectorias controladas; las trazas reales son más ruidosas. El modelo de procedimiento maneja secuencias y bucles pero no condiciones de bifurcación, que son difíciles de inferir a partir de una única traza. El descubrimiento latente de tareas no tiene mecanismo para objetivos genuinamente ambiguos o idiosincráticos del usuario.
La base de código es pública en github.com/Yucheng-Jiang/task-model-induction. Para equipos que construyen agentes de uso de computadora en flujos de trabajo empresariales, comience ejecutando TMI en grabaciones de pantalla existentes y audite los modelos generados antes de usarlos en el entrenamiento de agentes. La salida simbólica hace que esa auditoría sea manejable de formas que los enfoques basados en incrustaciones no pueden.