La ventana de contexto, para tocarla

Qué ves

Una conversación en fichas – y una ventana de tamaño fijo que muestra solo los últimos mensajes. El regulador alarga el chat.

Qué demuestra

Por qué los modelos parecen olvidar: lo que se sale de la ventana deja de existir para el modelo – y compactar salva lo más importante, no todo.

Ventana de contexto (en mensajes):
Al desbordarse:
  1. Tú: ¡Hola! Una cosa antes de nada.
  2. Tú: 4-7-1-9 es el código de la puerta – recuérdalo, por favor.
  3. IA: Anotado, 4-7-1-9.
  4. Tú: ¿Qué tiempo hará mañana?
  5. IA: Variable, unos 14 grados.
  6. Tú: ¿Y pasado mañana?
  7. IA: Algo más cálido, con intervalos de sol.
  8. Tú: ¡Gracias! ¿Qué cocino hoy?
  9. IA: ¿Qué tal unas verduras al horno?
  10. Tú: Buena idea. ¿La lista de la compra?
  11. IA: Pimientos, calabacín, patatas, aceite.

Tú (ahora): ¿Y cuál era el código de la puerta?

El código de la puerta sigue en la ventana – legible.

Esta ventana de juguete cuenta mensajes – los modelos reales cuentan tokens, pequeños fragmentos de palabras. Cuántos caben varía de un modelo a otro en órdenes de magnitud. Y da igual el tamaño: una ventana más grande retrasa el desbordamiento – no lo elimina.

Justo por eso ayuda poner lo importante al final, empezar una sesión nueva o dejar que se compacte el historial – ver el artículo sobre el context rot.

Se ha producido un error. Recargar 🗙

Restableciendo la conexión …

No se pudo reconectar – próximo intento en segundos.

No se pudo reconectar.
Inténtalo de nuevo o recarga la página.

El servidor ha pausado la sesión.

No se pudo reanudar la sesión.
Inténtalo de nuevo o recarga la página.