Mantener el hilo: memoria en conversaciones largas

Hay un momento que delata a cualquier chatbot: le contaste tu problema con lujo de detalle, avanzaron diez mensajes, y de golpe te pregunta algo que ya le habías dicho al principio. Sentís que hablás con alguien con amnesia. Y, en cierto sentido, así es.

Por qué un LLM no recuerda nada

Acá va la parte que sorprende a la mayoría: un LLM no tiene memoria. Cada vez que responde, lee toda la conversación de nuevo, desde cero, como si fuera la primera vez. Lo que parece "recordar" es simplemente que le volvemos a pasar el historial entero en cada turno.

Ese historial entra en la ventana de contexto, que es como la memoria de trabajo del modelo: limitada y finita. Y como el modelo procesa todo en tokens, cada mensaje viejo que arrastrás ocupa espacio y cuesta plata. Una conversación larga es un historial que crece sin parar contra una ventana que no.

Turno 1:  [sistema] + [usuario] → respuesta
Turno 2:  [sistema] + [usuario] + [bot] + [usuario] → respuesta
Turno 10: [sistema] + ...nueve turnos completos... + [usuario] → respuesta
                       ↑ esto crece hasta que ya no entra

Cuando el historial supera la ventana, hay que tirar algo. Y si tirás justo el mensaje donde dijiste tu nombre… ahí aparece la amnesia.

Las tres estrategias para no perder el hilo

Lo que hay son decisiones de ingeniería sobre qué recordar y cómo.

• Ventana deslizante. Te quedás solo con los últimos N mensajes. Simple y barato, pero olvida lo viejo sin contemplaciones. Sirve para charlas cortas.
• Resumen progresivo. Cada tanto, el modelo comprime lo conversado en un resumen ("el usuario es Nico, quiere cambiar su plan, ya verificamos su identidad") y reemplaza el detalle por esa síntesis. Conserva lo esencial, suelta la paja.
• Memoria externa. Los datos clave (nombre, pedido, preferencias) se guardan fuera del modelo, en una base, y se recuperan cuando hacen falta. Es, esencialmente, RAG aplicado a la propia conversación: en vez de cargar todo el historial, buscás el fragmento relevante y solo ese entra al contexto.

La mayoría de los sistemas serios combinan las tres: ventana para lo reciente, resumen para el medio, memoria externa para los datos que no se pueden perder.

La memoria también es responsabilidad

Hay un costado que se suele pasar por alto. Si el bot recuerda tus datos entre sesiones, alguien los está guardando en algún lado. ¿Dónde? ¿Por cuánto tiempo? ¿Quién accede? "Recordar al usuario" suena lindo en una demo, pero en producción es un dato personal almacenado que arrastra obligaciones reales.

Y hay un detalle técnico fino: cuando hacés resumen progresivo, el modelo decide qué es importante. Si resume mal, pierde justo el dato que iba a necesitar tres turnos después. La memoria no es solo capacidad de almacenar; es criterio de qué vale la pena retener. Eso vuelve crítico el momento en que el bot escala a un humano: si el handoff no arrastra el contexto, toda la memoria construida se tira a la basura.

Recordar es diseñar

Que un chatbot "te recuerde" no es que tenga memoria: es que lo diseñaron para arrastrar y comprimir lo justo. Cuando un bot mantiene el hilo de una charla larga, detrás hay una decisión deliberada sobre qué guardar, qué resumir y qué soltar. Y cuando se le va el nombre que le dijiste recién, lo que pasó es que ese dato se cayó de la ventana.