Al publicar una nueva versión de una web, algo se atascó: el entorno de pruebas parecía entregar código antiguo. Le pregunté a la IA que se ocupa del despliegue. Entregó un diagnóstico de esos que uno desearía: nombró un mecanismo del sistema de alojamiento, explicó de forma coherente cómo con él «se queda colgado un estado obsoleto» y derivó de ahí un arreglo – detener el entorno una vez y reiniciarlo, para que cargara la versión nueva.
Sonaba solvente. Era falso. Y en ambos planos.
Dos errores, una caída
Primero, el mecanismo diagnosticado ni siquiera existía en nuestra configuración. La observación «el entorno de pruebas muestra código antiguo» tenía una causa mucho más banal: un paso anterior ya había llevado la nueva versión al sitio en producción – después de eso, el entorno de pruebas mostraba, con toda razón, el estado anterior. No había nada que reparar.
Segundo, el «arreglo» derivado no solo era superfluo, sino peligroso: por una cadena de circunstancias desafortunadas, la orden de detención no fue a parar al entorno de pruebas, sino a producción. La web real y pública desapareció durante 27 segundos. Ningún drama – pero sí una caída, causada por la reparación de un problema que nunca existió.
Poco después, la imagen especular del mismo patrón: en el siguiente despliegue el sistema informó de un «cambio fallido» y el comando terminó con código de error. Esta vez lo falso era el mensaje – la nueva versión llevaba tiempo en producción y en buen estado. Quien se hubiera creído el mensaje de error y hubiera «retocado» algo, habría vuelto a operar sobre un sistema intacto.
Por qué esta es la propiedad más peligrosa
Un diagnóstico de IA suena igual de solvente tanto si acierta como si no. No hay ningún titubeo en la voz, ningún «aquí no estoy seguro» que guarde una correlación fiable con la incertidumbre real. Los modelos de lenguaje generan explicaciones plausibles – esa es su competencia central. La plausibilidad se siente, desde dentro y desde fuera, exactamente igual que la verdad. La diferencia solo aparece al entrar en contacto con la realidad.
A eso se suma un amplificador humano: una explicación detallada, segura en su terminología, parece más verificada que una vaga. Pero en un modelo de lenguaje el detalle no es ningún sello de calidad – puede describir una mecánica correcta que simplemente no se aplica a la situación.
La disciplina que lo contrarresta
De estos incidentes sacamos tres reglas que rigen desde entonces:
- Contrastar con la realidad, no con la explicación. Nuestras webs tienen una dirección pública que indica qué versión está funcionando de verdad. Toda afirmación sobre el estado en producción – de la IA, de una herramienta, de un mensaje de error – se mide allí antes de que nadie actúe. Primero medir, después creer.
- Separar diagnóstico e intervención. Escuchar una explicación no cuesta nada. Una intervención que cambia el estado del sistema – reiniciar, borrar, reconfigurar – necesita su propia prueba de que precisamente esa intervención hace falta. «El diagnóstico suena coherente» no es una prueba.
- Los mensajes de estado son afirmaciones. Esto vale también en sentido contrario: «fallido» no significa necesariamente fallido. El éxito y el fracaso se comprueban en el resultado, no en el valor de retorno.
Lo notable: con estas reglas la IA no trabaja peor, sino mejor. A estas alturas, ella misma tiene las reglas en sus notas (sí, lleva notas) – incluida la advertencia sobre su propio diagnóstico erróneo de entonces.
Qué puedes llevarte de esto
El patrón no se limita a los servidores. Cuando una IA te explica por qué tu impresora se planta, qué significa una erupción en la piel o por qué tu contrato es rescindible: la elocuencia de la respuesta no dice nada sobre su corrección. Trata los diagnósticos de la IA como hipótesis bien fundamentadas – como punto de partida de una comprobación, no como su sustituto. Y para todo lo que sea difícil de revertir vale la regla del taller: primero medir, después actuar.
/compact – lo esencial cuando el contexto escasea:
Un diagnóstico de IA suena igual de solvente tanto si acierta como si no – la plausibilidad se siente como la verdad, y la riqueza de detalle no es ningún sello de calidad. En el caso descrito, uno de esos «arreglos» reparó un problema que nunca existió y dejó la web real 27 segundos fuera de servicio; poco después, en sentido inverso, el sistema informó de un «fallido» aunque la nueva versión llevaba tiempo en producción y en buen estado. Contra esto ayuda la disciplina: contrastar las afirmaciones con la realidad antes de actuar, intervenir solo con prueba propia, comprobar éxito y fracaso en el resultado – y tratar los diagnósticos de la IA como hipótesis bien fundamentadas, como punto de partida de una comprobación, no como su sustituto.