Anthropic sostiene que un agente no puede saber de antemano qué le servirá recordar, y que revisar sus sesiones pasadas en reposo (lo que llama dreaming) le permite corregir y reorganizar sus notas. Sus pruebas internas muestran avances y también límites.
Anthropic publicó el 6 de noviembre un análisis de su equipo de ingeniería, firmado por Lance Martin, sobre cómo construir memoria para agentes de IA. El texto reúne experimentos internos con modelos Claude y concluye que tomar notas durante el trabajo no basta: hace falta un proceso posterior, que la empresa denomina dreaming, en el que el agente revisa sus sesiones pasadas para corregir errores y reorganizar lo aprendido.
La empresa define la memoria de un agente como el conocimiento que este conserva entre sesiones. Deja fuera los pesos del modelo, el aprendizaje en contexto y la compactación de conversaciones. El punto de partida es una analogía con la memoria humana, en la que el hipocampo consolida recuerdos durante el sueño y el descanso, y con la línea de investigación conocida como sleep-time compute, que propone usar cómputo mientras el sistema no atiende solicitudes.
La memoria como predicción
La prueba principal usa Continual Learning Bench 1.0 (CL-Bench), un benchmark publicado el 4 de mayo por un equipo que no identifica a sus autores ni a su organización. En la tarea analizada, el agente debe responder 30 preguntas consultando una base de datos. Cada pregunta empieza en una sesión nueva; en la versión con memoria, Claude puede recuperar archivos de un directorio persistente, y en la versión de referencia no tiene ese acceso.
Según Anthropic, la puntuación media pasó de estos valores sin memoria a estos con memoria:
- Opus 5.5: de 0,655 a 0,838.
- Sonnet 5.5: de 0,644 a 0,833.
- Opus 5: de 0,564 a 0,828.
- Opus 4.7: de 0,383 a 0,700.
- Sonnet 5: de 0,306 a 0,610.
- Sonnet 4.6: de 0,330 a 0,364.
El autor interpreta la memoria como una forma de predicción: el agente debe anticipar qué le será útil más adelante, y los modelos más recientes lo hacen mejor. Como indicador, Sonnet 5 consulta su memoria antes de responder en 9 de cada 10 casos, frente a menos de la mitad en Sonnet 4.6.
Propósito antes que reglas
Explicar al modelo para qué sirve la memoria dio mejores resultados que imponerle reglas fijas. Cuando se le pidió anotar solo sus fallos, la mejora se redujo 0,234 puntos en Opus 5, 0,150 en Opus 4.7 y 0,020 en Sonnet 4.6. Con instrucciones refinadas, en cambio, Sonnet 4.6 subió de 0,364 a 0,641.
La cantidad de notas tampoco garantiza nada. En una partida de Pokémon Red, Sonnet 3.7 escribió 413 archivos en 225 carpetas y obtuvo una medalla; Fable 5 trabajó con un archivo general y dos carpetas temáticas, y obtuvo cuatro. Anthropic atribuye la diferencia a que el estado del juego cambia todo el tiempo, por lo que un registro exhaustivo queda desactualizado pronto.
Corregir lo que se anotó mal
La misma partida muestra el costo de una nota equivocada. Una anotación errónea sobre la ubicación de un centro de recuperación hizo que el agente cayera por un desnivel en Mt. Moon. Tras una sesión de dreaming, la nota se corrigió y el agente llegó a Cerulean City en la acción 1.935. Con la nota sin corregir, retrocedió a Pewter; sin memoria, nunca llegó.
Anthropic advierte que una nota incorrecta que se carga al inicio de cada sesión puede repetirse una y otra vez. Comentaristas citados por The New Stack plantean una preocupación relacionada: el proceso pone a un redactor automático a trabajar sobre transcripciones que incluyen contenido que el agente no escribió, lo que podría convertir malos hábitos en reglas permanentes. El riesgo se emparenta con el envenenamiento de memoria que investigadores de seguridad describen como una superficie de ataque emergente.
Wikis de conocimiento
El experimento más amplio usó unos 350.000 documentos internos, alrededor de 420 millones de tokens, de Stainless, la empresa de herramientas para generar SDK que Anthropic adquirió en mayo, y 25 preguntas. Con solo la wiki que construyó el agente, el acierto subió de 13% a 48% tras 128 sesiones de dreaming. La combinación de wiki y búsqueda llegó a 61%, frente a 53% con búsqueda sola, y ahorró unos 20.000 tokens por pregunta.
Los resultados no fueron uniformes. En tareas del conjunto de pruebas LAB, publicado por la empresa de IA legal Harvey, la wiki ayudó en preguntas sobre fusiones (87% frente a 73%), pero en otra tarea no mejoró el resultado y terminó siendo 1,77 veces más grande que los documentos originales. Harvey es, además, cliente de Claude Managed Agents, según Anthropic.
Otra tarea de LAB pedía redactar un escrito legal a partir de los documentos de una adquisición. Con las instrucciones iniciales, varios agentes escribían en una misma tabla y se sobrescribían, de modo que la wiki recogía 41 de 57 hechos. Al pedir una página por contrato, con las cláusulas citadas textualmente, se conservaron los 57 y el escrito cumplió todos los criterios de evaluación.
Cuánto cargar en cada sesión
La empresa recomienda llevar las notas más importantes al contexto que se carga al inicio de cada sesión, pero mantener ese nivel pequeño, porque las instrucciones largas reducen la adherencia del modelo. Como ejemplo, Claude Code carga solo las primeras 200 líneas o 25 KB de su archivo MEMORY.md, que funciona como índice. En uno de los experimentos, una segunda pasada de dreaming redirigió nueve enlaces rotos a una página existente y añadió tres páginas nuevas.
Un producto lanzado en mayo
El dreaming no es nuevo como producto. Anthropic lo presentó el 6 de mayo como vista previa de investigación en Claude Managed Agents, su plataforma para crear y desplegar agentes, y el acceso requiere solicitud. La documentación explica que los almacenes de memoria que los agentes escriben sobre la marcha acumulan duplicados, contradicciones y entradas obsoletas, y que el proceso toma ese almacén y un conjunto de sesiones para entregar una versión depurada. En el lanzamiento, la evidencia publicada se limitaba a testimonios de clientes, según Let’s Data Science; el artículo de noviembre aporta mediciones, aunque todas son internas.
El propio autor reconoce varios límites. El dreaming consume cómputo, y revisar toda la memoria de forma continua puede no ser práctico. Las notas pueden ser erróneas desde el origen o quedar obsoletas, y una wiki puede acumular errores o alucinaciones sin superar siempre a la búsqueda. Varios resultados provienen de una sola ejecución y de configuraciones concretas, y no cuentan con validación independiente. Entre las preguntas que deja abiertas figuran cuándo crear memoria, cómo mantenerla al día, cuándo preferir una wiki a la búsqueda y con qué frecuencia ejecutar el dreaming.
Fuentes
- Anthropic: The components of agent memory
- Claude: New in Claude Managed Agents: dreaming, outcomes, and multiagent orchestration
- Documentación de Claude: Dreams
- arXiv: Sleep-time compute
- Anthropic: Anthropic acquires Stainless
- Harvey: LAB en GitHub
- The New Stack: Anthropic agent memory dreaming
- Let’s Data Science: Anthropic dreaming in Claude Managed Agents
Ilustración generada por IA.
📬 Newsletter gratuito
