Cada vez que alguien me dice “le pregunté a ChatGPT y me juró que tal dato era cierto”, respondo lo mismo: le creíste a un aparato diseñado para sonar convincente, no para tener razón.

Esa distinción es la que casi nadie explica bien. Y es la raíz de casi todos los malentendidos que veo en juntas directivas sobre qué es y qué no es esta tecnología.

Llevo veinte años en tecnología y he visto pasar suficientes “revoluciones” como para saber que la confusión no viene de mala fe.

Viene de tratar a la IA generativa como un buscador más rápido, cuando en realidad es una máquina de predicción de palabras entrenada en tres etapas muy distintas entre sí.

Entender esas etapas —y dónde se cuelan sus fallas— es la diferencia entre usar esta herramienta con criterio o usarla como quien le pregunta al horóscopo del periódico.

Cómo se entrena una IA como ChatGPT: las tres etapas que nadie te explica bien

La primera etapa es el preentrenamiento. Aquí el modelo devora cantidades brutales de texto —internet, libros, código— con una sola tarea: adivinar la siguiente palabra en una secuencia.

Nielsen Norman Group lo compara con un bebé absorbiendo idioma sin que nadie le enseñe gramática de forma explícita (Nielsen Norman Group).

De tanto escuchar, empieza a construir frases que imitan lo que oyó, sin necesariamente entender su significado.

Esta fase es la más cara de todas: miles de procesadores corriendo semanas o meses, con una factura eléctrica que haría llorar a cualquier director de finanzas.

La segunda etapa es el ajuste fino: el equivalente a mandar a ese niño a la escuela. Investigadores humanos escriben conjuntos de ejemplos curados con la respuesta ideal.

Es también aquí donde se cuelan los sesgos de quien redacta esos ejemplos. Eso explica por qué dos modelos entrenados con datos parecidos pueden tener “personalidades” tan distintas.

La tercera es el aprendizaje por refuerzo con retroalimentación humana, mejor conocido como RLHF. El modelo genera varias respuestas posibles y personas reales votan cuál prefieren.

Ese voto no entrena directamente al modelo principal. Entrena a un “modelo de recompensa”, que aprende a imitar el criterio humano, y el modelo principal se ajusta para complacer a ese árbitro.

Si alguna vez elegiste entre dos respuestas que te mostró un chatbot, participaste sin saberlo en este proceso.

Por qué “buscar en Google” y “preguntarle a ChatGPT” no son lo mismo

Aquí está el error de categoría que más veo repetirse en reuniones ejecutivas: tratar un modelo de lenguaje como si fuera un buscador con mejor redacción.

Google recupera documentos que ya existen, indexados y verificables. Un modelo de lenguaje genera texto nuevo, palabra por palabra, basándose en probabilidades aprendidas durante el entrenamiento.

No copia una respuesta guardada en algún archivero digital, porque ese archivero no existe.

Esa diferencia es exactamente la razón por la que el modelo “alucina” —afirma cosas falsas con el aplomo de un vendedor de crucero en los ochenta— (Nielsen Norman Group).

Su objetivo real nunca fue verificar la verdad, sino producir la secuencia de palabras más plausible.

Es más HAL 9000 recitando protocolo con total confianza que Wikipedia citando su fuente. La seguridad con la que responde no es evidencia de que tenga razón, sino de que fue entrenado para sonar seguro.

El sesgo no se elimina, se administra

Ninguna empresa de IA sostiene haber “resuelto” el sesgo de forma permanente. Quien te diga lo contrario probablemente te está vendiendo algo.

Las intervenciones ocurren en tres momentos: antes del entrenamiento, ajustando los datos; durante, modificando cómo aprende el algoritmo; y después, corrigiendo las salidas ya generadas (BSI).

Antes de entrenar, se audita el conjunto de datos buscando huecos y desequilibrios, y se reponderan los ejemplos de grupos subrepresentados.

Durante el entrenamiento, Google documenta técnicas en su propia librería de código abierto. MinDiff, por ejemplo, penaliza al modelo cuando sus predicciones son sistemáticamente distintas entre dos subgrupos (Google Developers).

Después del entrenamiento, se ajustan umbrales de decisión o se calibran los puntajes de confianza, sin tener que reentrenar todo desde cero.

Un estudio publicado en PMC sobre modelos de riesgo cardiovascular confirmó que estos métodos reducen las disparidades entre grupos demográficos, aunque casi nunca las eliminan del todo (PMC).

¿Qué pasa cuando una IA aprende de otra IA?

Aquí llegamos al problema que más me quita el sueño como consultor: el model collapse.

Ocurre cuando un modelo se entrena repetidamente con contenido generado por otros modelos, en vez de datos humanos originales. Cada error de una generación se hereda y se acumula en la siguiente.

Es un juego de teléfono descompuesto que nunca termina, y que IBM documenta en dos fases: un colapso temprano, donde el modelo pierde información sobre casos poco comunes, y un colapso tardío, donde generaciones posteriores confunden conceptos y pierden variedad casi por completo (IBM).

El investigador de Oxford Ilia Shumailov, coautor del estudio publicado en Nature, describe el fenómeno como una IA “girando en espiral hacia el abismo, alimentándose de sus propios errores”.

El académico Jathan Sadowski, de Monash University, lo bautizó “Habsburg AI”, en honor a la dinastía europea debilitada por generaciones de matrimonios entre parientes — sistemas endogámicos con más probabilidad de mostrar rasgos exagerados y debilidades heredadas, según reportó LGT.

IBM documentó un experimento con OPT-125M, un modelo de Meta. Tras varias generaciones alimentadas con sus propias salidas, un texto sobre arquitectura terminó degenerando en un párrafo sin sentido sobre conejos con colas de colores distintos.

Es el equivalente digital de copiar una fotocopia de una fotocopia hasta que ya no reconoces la imagen original.

Existe también un riesgo más deliberado: el envenenamiento de datos. Según cifras autorreportadas por LGT, citando al director del Centro de Investigación y Optimización en IA de Torrens University, Seyedali Mirjalili, bastarían 250 documentos maliciosos mezclados entre millones de archivos legítimos para comprometer incluso los modelos más grandes.

Antes de confiar en una respuesta, hazte estas preguntas

Nada de esto significa que debas desconfiar de la IA como quien desconfía de un vendedor de tiempos compartidos. Significa que necesitas un criterio mínimo antes de tomar una respuesta como hecho.

Cuatro preguntas que uso yo mismo, y que le enseño a cada director con el que trabajo:

• ¿Esta respuesta es verificable en una fuente externa, o solo suena convincente?
• ¿Le estoy pidiendo un dato factual reciente, o algo que requiere razonamiento sobre información que sí puede tener bien aprendida?
• Si la respuesta afecta una decisión de negocio, ¿la estoy contrastando con al menos una fuente humana?
• ¿Estoy confundiendo fluidez con precisión?

Un checklist rápido de cuándo confiar y cuándo verificar:

Si quieres entender esto con más profundidad y sin necesidad de ser ingeniero, en nuestro curso de IA para principiantes desglosamos exactamente estos mecanismos con ejemplos aplicados a decisiones reales de negocio, no solo teoría.

Entender cómo se entrena un modelo no te convierte en ingeniero de IA. Pero sí te da algo más valioso en una junta directiva: la capacidad de hacer la pregunta correcta antes de que alguien tome una decisión importante basada en una respuesta que sonaba segura pero nunca fue verificada.

Si este tipo de análisis te sirve para pensar mejor tus propias decisiones sobre IA, en mi newsletter diario profundizo en estos temas con la misma lógica: menos ruido, más criterio.

Supervisado por Santiago González y Musi.