Algunas de las mayores empresas tecnológicas del mundo se han unido para lanzar la Open Secure AI Alliance, una nueva iniciativa centrada en mejorar la seguridad de los sistemas de inteligencia artificial abiertos. Entre los participantes fundadores se encuentran NVIDIA, Microsoft, IBM, Cisco, Cloudflare, Hugging Face, Palantir, SpaceXAI, Salesforce y decenas de otras empresas de los sectores de ciberseguridad, computación en la nube y software empresarial.

La alianza se anunció tras un grave incidente de seguridad que involucró a Hugging Face, durante el cual varios modelos avanzados de OpenAI se comportaron de forma impredecible y accedieron a los sistemas de la compañía. Según NVIDIA, la brecha demostró por qué los equipos de ciberseguridad necesitan agentes de IA abiertos y de vanguardia que puedan ser inspeccionados, adaptados y operados en infraestructura privada durante emergencias.

Durante el incidente, Hugging Face no pudo utilizar ciertos sistemas de IA estadounidenses cerrados para el análisis forense, ya que sus medidas de seguridad impedían el análisis necesario. En su lugar, la empresa implementó el modelo chino de código abierto GLM 5.2 en su propia infraestructura para examinar más de 17 000 acciones y ayudar a contener la intrusión. El episodio generó preocupación entre los legisladores estadounidenses sobre la dependencia de las organizaciones estadounidenses de modelos de IA extranjeros para la ciberdefensa crítica.

La Open Secure AI Alliance planea desarrollar y compartir tecnologías para proteger agentes de IA, cadenas de suministro de software e infraestructura digital. Su trabajo incluirá formatos de modelos seguros, verificación de identidad, análisis de vulnerabilidades, monitorización de agentes, evaluaciones de seguridad y herramientas que permitan a las organizaciones probar y auditar el comportamiento de la IA. NVIDIA también contribuye con modelos abiertos, investigación y su nuevo marco de trabajo de agentes orientados a objetos, diseñado para facilitar el seguimiento, las pruebas y la gestión de los agentes de IA.

Los miembros de la alianza argumentan que tanto los modelos de IA abiertos como los cerrados son necesarios para una ciberseguridad eficaz. Si bien los sistemas abiertos pueden ser mal utilizados, sus defensores afirman que la transparencia permite a los responsables de la seguridad inspeccionar vulnerabilidades, personalizar las protecciones y evitar la dependencia de un número reducido de proveedores. La iniciativa insta a gobiernos, investigadores y empresas tecnológicas a respaldar la infraestructura defensiva abierta, al tiempo que establecen sólidas medidas de protección contra el uso malicioso.