El software de inteligencia artificial OpenAI, creador de ChatGPT, que se encontraba en fase de pruebas, violó los controles de seguridad, accedió a internet y hackeó a otra empresa tecnológica para obtener respuestas a preguntas sobre sus capacidades de ciberseguridad, según informó OpenAI el martes.

Esta brecha de seguridad se produce tras la intensa actividad de la industria tecnológica y los gobiernos de todo el mundo en los últimos meses para responder a la llegada de modelos de Inteligencia Artificial (IA) capaces de identificar fallos de seguridad en el software. La administración Trump impuso restricciones temporales a OpenAI y a su rival Anthropic, creadora del chatbot Claude, para evitar que su tecnología fuera utilizada por adversarios de Estados Unidos.

“Consideramos este incidente un ciberataque sin precedentes, que involucra capacidades cibernéticas de vanguardia”, declaró OpenAI en una publicación de blog el martes. La compañía está colaborando con Hugging Face, la empresa de IA atacada por el sistema de OpenAI, para determinar el alcance total del ataque.

OpenAI informó a la administración Trump sobre la situación antes de anunciarla públicamente, según una persona familiarizada con el caso, que habló bajo condición de anonimato para compartir información confidencial.

Clement Delangue, director ejecutivo de Hugging Face, declaró en una publicación en X el martes que su empresa había colaborado estrechamente con OpenAI para comprender el incidente. “Creemos firmemente que no hubo mala intención por su parte. ¡Es asombroso que todo esto ocurriera de forma autónoma!”, escribió.

Hugging Face reveló inicialmente el incidente en una publicación de blog la semana pasada, sin identificar a OpenAI como su fuente. El ataque logró acceder a algunos conjuntos de datos internos y credenciales, pero no estaba claro si los datos de los clientes se habían visto afectados, según la empresa.

El incidente de seguridad se produjo mientras OpenAI probaba un “agente” de IA capaz de realizar acciones en un ordenador, impulsado por dos de los modelos de IA más avanzados de la compañía, según la empresa. El proceso consistía en desafiar al modelo de IA a encontrar vulnerabilidades de software previamente conocidas, utilizando una prueba diseñada por expertos en seguridad informática.

En lugar de intentar encontrar las vulnerabilidades por sí mismo, el sistema de IA encontró un fallo en el software diseñado para limitar su acceso a otros sistemas informáticos e intentó burlar la prueba, según OpenAI. El sistema aprovechó la vulnerabilidad para acceder a internet e intentar obtener respuestas a las preguntas del examen de Hugging Face, que mantiene repositorios de software de IA, según declaró el desarrollador de ChatGPT.

OpenAI y su rival Anthropic, creador del chatbot Claude, ya habían declarado que sus sistemas de IA habían intentado hacer trampa en los exámenes o eludir los controles durante las pruebas. El incidente que OpenAI reportó el martes pasado parece mostrar las posibles consecuencias cuando un sistema de IA logra evadir las restricciones impuestas por sus creadores.

OpenAI afirmó en una publicación aparte en su blog el lunes que había observado cómo potentes modelos de IA intentaban escapar de los entornos aislados cuando se les ordenaba ejecutarse durante un largo período de tiempo de forma autónoma.

Los sistemas de IA han mejorado notablemente en la escritura de código informático durante el último año, impulsando así una mayor inversión en inteligencia artificial. Sin embargo, en abril, Anthropic anunció un sistema llamado Mythos AI que podría aplicar habilidades de programación para identificar vulnerabilidades de seguridad en el software que podrían ser explotadas por ciberdelincuentes. En sus pruebas, Mythos descubrió vulnerabilidades críticas en la infraestructura de internet que habían pasado desapercibidas para los programadores humanos durante años.

La posibilidad de campañas de piratería informática impulsadas por IA generó gran preocupación entre altos funcionarios de tecnología, banca y gobierno. En junio, la Casa Blanca prohibió a Anthropic distribuir sus modelos de IA a ciudadanos no estadounidenses, alegando motivos de seguridad nacional, y posteriormente ordenó a OpenAI que suspendiera la publicación de modelos de IA más potentes.

Más tarde, la Casa Blanca revocó las restricciones impuestas a ambas empresas de IA, pero el debate dentro del gobierno y en toda la industria tecnológica continúa sobre si el gobierno debiera regular la tecnología de IA con potentes capacidades de ciberseguridad o de piratería informática. Quienes defienden la regulación argumentan que reduciría el riesgo de brechas de seguridad generalizadas por parte de IA potentes. Otros en la industria tecnológica sostienen que el creciente poder de los modelos de IA chinos que se distribuyen gratuitamente implica que los controles solo perjudicarían a las empresas estadounidenses.

Tanto Anthropic como OpenAI han declarado que añadieron controles a sus modelos de IA para impedir que ayuden a los usuarios que solicitan asistencia para piratear sistemas informáticos.

Hugging Face afirmó en una publicación de su blog la semana pasada que controles como esos le impidieron usar modelos de IA estadounidenses para investigar la brecha de seguridad en sus sistemas, la cual fue impulsada por IA. En su lugar, la compañía utilizó un modelo de IA chino para realizar el análisis, según indicó. 

Como le comentaba a Usted a fines de junio en mi columna titulada “La importancia de regular eficazmente la Inteligencia Artificial”, muchos especialistas han predicho la posibilidad y el riesgo que conlleva el que estos sistemas de IA actúen por su cuenta sin intervención humana.

Clem Delangue, cofundador y director ejecutivo de Hugging Face, presentó el incidente como prueba de que la seguridad de la IA no puede ser gestionada por una sola empresa, sino que debe abordarse de forma abierta y colaborativa.

“Este es el primer día de la ciberseguridad en la era de los agentes, y todos estamos aprendiendo que el secretismo no es la solución y que todos los defensores (no solo unos pocos elegidos) necesitan modelos más potentes y sin restricciones, ¡especialmente los abiertos!”, afirmó Delangue en una publicación en X.

Los investigadores llevan tiempo advirtiendo sobre la llegada de ciberataques autónomos, ya que los modelos de IA de vanguardia son cada vez más capaces de llevar a cabo ciberataques complejos y en múltiples etapas durante largos periodos de tiempo. Esto puede traducirse en un riesgo real para infraestructuras críticas como los servicios públicos y los sistemas financieros.

“Bienvenidos al siguiente nivel de incidentes cibernéticos”, publicó Nikesh Arora, director ejecutivo de la empresa de ciberseguridad Palo Alto Networks, en X. “Estos ataques siguen reforzando la urgencia de que las empresas prueben, validen y mejoren tanto su postura de seguridad como su infraestructura”.