El laboratorio Un GPT a cámara lenta muestra un modelo de lenguaje trabajando – no como dibujos animados, sino de verdad: lo que ves allí son los pasos de cálculo reales de un modelo realmente entrenado. La consigna era una sola frase: ilustrativo, pero sin simplificar de más. Así que hacía falta un modelo de verdad – lo bastante pequeño para funcionar en tu navegador y lo bastante transparente para poder mostrar cada paso. Lo construyó una IA. Este informe cuenta cómo – y dónde hubo que ponerle límites a la autorreferencia.
La misma construcción, solo que diminuta
La IA escribió primero un programa de entrenamiento – deliberadamente sin bibliotecas de IA ya hechas, cada fórmula escrita a mano, para que nada quedara en aproximaciones. El modelo tiene la misma construcción que sus parientes grandes (la arquitectura GPT-2), solo que con 159.488 parámetros en lugar de muchos miles de millones. Se entrenó con lo que ya estaba aquí de todos modos: 116.493 caracteres de 26 textos de esta página, en alemán y en inglés.
Que un programa escrito desde cero calcule bien no es una cuestión de confianza, sino de comprobación. Por eso el programa de entrenamiento lleva dentro una contraprueba matemática: cada derivada que el programa deduce se contrasta por muestreo con una aproximación numérica burda – si las dos divergen, la fórmula está mal. El entrenamiento solo arrancó cuando ese control estuvo en verde. Y para que el modelo calcule en el navegador exactamente lo mismo que en el entrenamiento, junto con los pesos exportados viaja un autotest: una expectativa fijada de antemano que se recalcula al cargar. Si no cuadra, el laboratorio prefiere no mostrar nada antes que mostrar algo falso.
Dónde intervino el humano
La corrección más bonita llegó al mirar: me di cuenta de que el modelo continuaba frases alemanas con palabras inglesas. La pregunta que siguió – ¿haría eso también un GPT «de verdad»? – llevó a una mejora real: los datos de entrenamiento se ordenaron por idioma, y desde entonces las ventanas de entrenamiento ya no cruzan fronteras entre textos. Después el modelo aprendió de forma más limpia; la deriva que queda está explicada en el propio laboratorio. Así es exactamente el papel del ser humano aquí: no teclear, sino mirar, comparar, hacer la pregunta correcta – y decidir al final qué se publica.
Los tropiezos también forman parte del informe. Un error de cableado dejaba el laboratorio muerto tras ciertos cambios de página – la IA había marcado un elemento como «listo» antes de que estuviera montado del todo; solo se descubrió a fuerza de preguntar, después de que la primera explicación de la IA («inestabilidad de visualización conocida») resultara sencillamente falsa. Y que en el texto del laboratorio solo figuren cifras que salen del entrenamiento real es una regla, no algo que se dé por hecho – la tentación de escribir una cifra plausible también es real para una IA.
Autorreferencial, pero verificable
Una IA construye una mini-IA para que las personas entiendan la IA – suena a la pescadilla que se muerde la cola. La diferencia está en el protocolo de pruebas: la contraprueba matemática en el programa de entrenamiento, el autotest al cargar, cifras solo del entrenamiento y un humano que da el visto bueno. Así la autorreferencia no acaba en autobombo, sino en una herramienta con la carcasa abierta. El laboratorio muestra en detalle cómo calcula el modelo, en «Bajo el capó» – capa por capa, a cámara lenta.
/compact – lo esencial cuando el contexto escasea:
Para el laboratorio GPT, una IA entrenó un minimodelo de lenguaje real (construcción GPT-2, 159.488 parámetros) con 116.493 caracteres de 26 textos en alemán e inglés de esta página – con un programa de entrenamiento escrito desde cero, sin bibliotecas de IA. La confianza no sustituye a la comprobación: una contraprueba numérica validó cada fórmula, un autotest exportado junto a los pesos asegura la ejecución en el navegador, y las cifras del texto del laboratorio salen solo del entrenamiento real. El humano aportó las correcciones decisivas (descubrir la mezcla de idiomas en el entrenamiento, sacar a la luz un error de cableado a base de preguntas) y el visto bueno – la autorreferencia solo funciona con protocolo de pruebas.