El riesgo existencial de la IA: la cifra que estremece al sector

La inteligencia artificial avanza a un ritmo que desconcierta incluso a quienes trabajan en primera línea de su desarrollo. En medio de ese vértigo, uno de los investigadores dedicados precisamente a mantener bajo control los sistemas más avanzados ha puesto cifra al peor escenario posible. Evan Hubinger, responsable de Alignment Science en Anthropic, ha estimado en más de un 10% la probabilidad de que la IA llegue a acabar con la humanidad durante la próxima década. La declaración, recogida por Forbes, no se refiere a los modelos actuales como Claude o ChatGPT, sino a una hipotética superinteligencia capaz de mejorarse a sí misma de forma recursiva.

La frase es contundente, pero conviene contextualizarla. No se trata de una predicción oficial de Anthropic ni de una certeza, sino de la valoración personal de un experto que lleva años estudiando los mecanismos para alinear los objetivos de una IA avanzada con los intereses humanos. El propio Hubinger matizó después que considera bajo el riesgo de los modelos actuales, y que su preocupación se centra en un escenario futuro en el que el sistema gane autonomía y capacidad de forma acelerada.

El contexto: una salida que encendió la alarma

El mensaje de Hubinger no llegó de forma aislada. Lo publicó después de que Jacob Coxon, investigador de Anthropic y anteriormente en OpenAI, anunciara su salida de la compañía por sus preocupaciones sobre la carrera hacia sistemas de IA cada vez más capaces. Coxon sostiene que la industria avanza hacia una superinteligencia auto-mejorable mientras «juega con nuestras vidas», según se hizo eco Forbes.

Este tipo de dimisiones no son frecuentes, y menos en empresas que presumen de tener la seguridad como prioridad. Que un investigador abandone su puesto por inquietudes sobre el rumbo del sector añade peso a un debate que lleva años gestándose en los márgenes de la industria. La respuesta de Hubinger amplió la preocupación y la situó en el terreno de las cifras, algo que rara vez hacen los expertos.

Alineación: el problema sin resolver

La alineación es el campo que busca conseguir que los objetivos y comportamientos de una IA avanzada permanezcan compatibles con los intereses humanos, incluso cuando el sistema gane autonomía o capacidad. Anthropic cuenta con un equipo específico dedicado a este problema, y Hubinger lo lidera. Su declaración más inquietante no es el porcentaje, sino el reconocimiento de que la compañía todavía no dispone de un plan capaz de resolver la alineación de una superinteligencia y que no está ni cerca de tenerlo.

Esto significa que, si el escenario de una superinteligencia auto-mejorable se materializa antes de que existan soluciones sólidas de alineación, el control humano sobre el sistema podría perderse. No es una predicción, sino una constatación de que la carrera tecnológica avanza más rápido que la capacidad de comprender y gobernar sus implicaciones.

¿Qué es la mejora recursiva y por qué preocupa?

Hubinger sitúa el foco en la llamada mejora recursiva: una IA que comienza a contribuir de manera significativa a mejorar las siguientes generaciones de sistemas, acelerando el propio progreso tecnológico. En teoría, este proceso podría desembocar en una superinteligencia con capacidades muy superiores a las humanas en todos los ámbitos. La preocupación no es que el sistema sea malvado, sino que sus objetivos no estén alineados con los nuestros y que, al tener un poder inmenso, las consecuencias sean irreversibles.

El propio Hubinger aclara que esto no va a suceder necesariamente. Su 10% es una estimación subjetiva sobre un riesgo futuro, no una profecía. Pero la cifra, viniendo de alguien que trabaja en el corazón del problema, invita a tomarse en serio la discusión.

Preguntas frecuentes sobre el riesgo existencial de la IA

¿Qué significa que un investigador de Anthropic cifre en un 10% el riesgo de extinción por IA?
Es la estimación personal de Evan Hubinger sobre la probabilidad de que una superinteligencia futura, con capacidad de mejora recursiva, acabe con la humanidad en la próxima década. No es una predicción oficial de Anthropic ni se refiere a los modelos actuales.

¿Se refiere a que ChatGPT o Claude puedan matarnos hoy?
No. Hubinger ha matizado que considera bajo el riesgo de los modelos actuales. Su preocupación se centra en un escenario futuro de superinteligencia avanzada, no en las herramientas que usamos hoy.

¿Qué es la alineación de la IA y por qué es importante?
Es el campo que busca asegurar que los objetivos de una IA avanzada permanezcan compatibles con los intereses humanos. Es importante porque, si un sistema superinteligente no está alineado, sus acciones podrían tener consecuencias catastróficas e irreversibles.

¿Qué es la mejora recursiva?
Es el proceso por el cual una IA comienza a contribuir significativamente a mejorar las siguientes generaciones de sistemas, acelerando el progreso tecnológico. Es el escenario que, según Hubinger, avanza más rápido de lo esperado.

¿Anthropic tiene un plan para resolver la alineación de una superinteligencia?
Según Hubinger, no. Reconoce que la compañía no dispone de un plan capaz de resolver ese problema y que no está ni cerca de tenerlo.

¿Por qué es relevante la salida de Jacob Coxon de Anthropic?
Porque añade contexto a las declaraciones de Hubinger. Su marcha por preocupaciones sobre la carrera hacia la superinteligencia refuerza la idea de que existe un malestar interno en el sector respecto al rumbo y la velocidad del desarrollo.

Recuerde que…

Las declaraciones de Evan Hubinger no son una sentencia, sino una llamada de atención. Su estimación del 10% no debe interpretarse como una certeza, pero tampoco ignorarse. El hecho de que uno de los principales responsables de seguridad de Anthropic reconozca que no existe un plan para alinear una superinteligencia es una señal de que la industria avanza en un terreno desconocido. Para el usuario común, la IA sigue siendo una herramienta útil y mayoritariamente segura en su uso cotidiano. Pero el debate sobre su gobernanza a largo plazo es urgente y merece atención. La reflexión no es si la IA es buena o mala, sino si estamos construyendo los mecanismos para que siga siendo compatible con los intereses humanos a medida que gana capacidad.

Pueden encontrar más contenido en https://fernandojuca.com, así como videotutoriales y pódcast en https://youtube.com/fernandojucamaldonado.