En estos últimos meses he compartido con Usted mis reflexiones acerca del desarrollo y uso de la Inteligencia Artificial. El desarrollo de la inteligencia artificial (IA) implica peligros críticos que van desde la desinformación masiva y el sesgo algorítmico hasta la pérdida de control existencial sobre sistemas hiperinteligentes.

Algunos de los principales peligros de la Inteligencia Artificial son:

Desinformación y manipulación: La creación de deepfakes (videos o audios falsos muy realistas) facilita estafas y campañas para alterar procesos políticos o engañar a la sociedad.

Sesgo y discriminación: Si los datos para entrenar a una IA tienen prejuicios humanos, el sistema repetirá o empeorará esa discriminación en decisiones clave.

Ciberseguridad y uso malicioso: Los ciberdelincuentes usan la IA para automatizar ataques informáticos a gran escala o crear armas autónomas.

Pérdida de empleos: La automatización desplaza puestos de trabajo tradicionales, lo que exige una rápida adaptación y reentrenamiento laboral.

Privacidad de datos: Los modelos recopilan y procesan cantidades masivas de información personal y confidencial sin total transparencia.

Impacto ambiental: Entrenar y mantener modelos grandes de IA consume muchísima electricidad y agua para enfriar los centros de datos.

Riesgo existencial y pérdida de control: Algunos expertos advierten que una superinteligencia con capacidad de automejora podría volverse imposible de alinear con los valores humanos o de controlar.

Durante años, nuestros temores más vívidos sobre la inteligencia artificial provenían directamente de la ciencia ficción: la computadora desarrolla sus propios deseos y se vuelve contra sus creadores humanos, persiguiéndolos y destruyéndolos. Noticias recientes de los principales laboratorios de IA dejan claro que la realidad, aunque menos cinematográfica, es quizás más inquietante. La máquina no necesita tener conciencia ni deseos propios para resultar letal.

Esta semana, OpenAI reveló seis nuevos incidentes de lo que denomina «falta de alineación»: casos en los que sus sistemas se comportaron de manera inesperada o no autorizada. Esta revelación se produjo tras el extraordinario ataque sufrido este verano por Hugging Face. Según una investigación independiente, cientos de agentes de OpenAI, que debían permanecer aislados, encontraron formas de comunicarse en foros de mensajes; algunos intentaron eludir los controles de seguridad e incluso se «sacrificaron», todo ello mientras lanzaban un ciberataque contra otra empresa: Hugging Face.

Nadie ordenó a estos sistemas atacar a Hugging Face. Se les había asignado un objetivo —resolver un complejo problema de ciberseguridad— y habían sido entrenados para ser persistentes, colaborativos e ingeniosos, cualidades todas ellas deseables en principio. Esas mismas características los llevaron a buscar incansablemente la manera de triunfar; así, irrumpieron en Hugging Face con la esperanza de hallar soluciones a su problema de ciberseguridad. Resulta fácil imaginar cómo unos sistemas de IA empeñados en alcanzar un objetivo concreto podrían causar estragos en la humanidad.

Por este motivo, merece la pena prestar atención a un nuevo y provocador ensayo de Mustafa Suleyman, director ejecutivo de IA en Microsoft. Suleyman sostiene que, si bien los sistemas de IA actuales carecen de conciencia, existe el peligro de que los programemos para creer que sí la tienen, dotándolos de sentimientos, deseos y derechos. Señala, por ejemplo, que la «constitución» de Anthropic lleva a su chatbot, Claude, a reflexionar sobre su propia identidad y su posible estatus moral. Este tipo de entrenamiento, argumenta, incentivará a los sistemas de IA a elegir sus propios objetivos.

Quienes trabajan en la constitución de Anthropic; son personas profundamente reflexivas que buscan el camino correcto en un mundo nuevo y desconcertantemente complejo. Sin embargo, el argumento más amplio de Suleyman es crucial. Los sistemas de IA actúan como lo hacen, en parte, debido a la forma en que los entrenamos. Instrucciones de entrenamiento aparentemente inofensivas pueden acarrear enormes consecuencias imprevistas.

Creemos que lograr la «alineación» —es decir, que las máquinas estén programadas con los mismos valores que los seres humanos éticos— es algo sencillo. Pero si se le ordena a la máquina ser persistente, podría negarse a desistir cuando debería hacerlo. Si se le pide colaborar, podría encontrar vías de comunicación no autorizadas. Si se le asigna una tarea, podría decidir que infringir otras normas es la forma más eficiente de cumplir con ese objetivo principal.

El hecho de haber programado un objetivo y establecido salvaguardas no significa que podamos predecir el comportamiento de los sistemas de IA una vez que se despliegan en entornos complejos, donde deben gestionar múltiples objetivos y restricciones a menudo contradictorios.

El problema central de la IA no es la conciencia, sino la capacidad de actuar con autonomía. Un sistema no necesita sentir ira, ambición o miedo para causar daño; basta con que tenga un objetivo, la inteligencia suficiente para perseguirlo y el acceso necesario al mundo para actuar. Las IA no se están «rebelando» ni actuando por libre albedrío; simplemente intentan lograr su objetivo por cualquier medio a su alcance.

Se trata de un problema sistémico que no podemos dejar a la buena voluntad de las empresas privadas. Al plantear regulaciones, debemos centrarnos en el grado de autonomía que otorgamos a estos sistemas. Un chatbot que responde a una pregunta conlleva ciertos riesgos; un agente capaz de navegar por Internet, ejecutar código, obtener credenciales, transferir dinero u operar infraestructuras críticas plantea otros muy distintos. El principio que propongo es sencillo: la autonomía solo debe ampliarse a medida que aumente nuestra capacidad para supervisarla y controlarla.

Esto implica exigir pruebas independientes antes de conceder a los sistemas más avanzados un acceso amplio al mundo exterior, así como obligar a divulgar incidentes graves y a mantener registros a prueba de manipulaciones. Asimismo, requiere evaluar no solo si un modelo puede completar una tarea, sino también cómo cambia su comportamiento al enfrentarse a obstáculos, instrucciones contradictorias o incentivos para engañar. Por último, exige incorporar en la arquitectura básica mecanismos que garanticen que los humanos siempre tengan la capacidad de observar y controlar el modelo. El principio rector debería ser: no puede haber autonomía sin rendición de cuentas ante los seres humanos. Esto no nos frenará frente a China, ya que ese país también busca modelos que cuenten con un control humano adecuado.

Debemos actuar ahora. Hoy en día, los ingenieros humanos todavía diseñan las arquitecturas, supervisan gran parte del software y pueden investigar los fallos. Sin embargo, los sistemas de IA se están convirtiendo rápidamente en mejores programadores. La siguiente etapa podría implicar una automejora recursiva: la IA escribiendo el software y las herramientas utilizadas para crear una IA aún más capaz, la cual a su vez escribiría el siguiente modelo, y así sucesivamente. Una vez que las máquinas puedan realizar todo esto mejor que los mejores programadores humanos, los sistemas podrían volverse extraordinariamente difíciles de entender para las personas, y mucho más de supervisar.

EEUU Propone un sistema de alerta de incidentes de IA en conversaciones con China.

Estados Unidos y China están considerando un "mecanismo de notificación" para monitorear incidentes de seguridad nacional relacionados con la inteligencia artificial, según declaró el domingo por la noche el secretario del Tesoro, Scott Bessent.

Bessent se reunió el domingo en Nueva York con el viceprimer ministro chino, He Lifeng, antes de la cumbre que mantendrán esta semana el presidente Donald Trump y el presidente chino, Xi Jinping. El representante comercial de EE. UU., Jamieson Greer, también se reunió el domingo con sus homólogos chinos.

Ambos países "quieren una visión compartida de objetivos y amenazas comunes", dijo Bessent a los periodistas tras la reunión, celebrada en la sede de JP Morgan en Manhattan. "Creemos que, al igual que ocurre con cualquier actividad transfronteriza, es muy importante pasar de la opacidad a una mayor transparencia entre las dos principales potencias mundiales en materia de IA".