- China advierte sobre la “pérdida de control” de la IA como un futuro riesgo de seguridad
- Su marco de 2025 advierte sobre saltos repentinos en las capacidades de la IA
- Xi Jinping afirma que la IA debe permanecer siempre bajo control humano
- Funcionarios chinos citan riesgos para la infraestructura y derivados de la IA militar
- Las nuevas normas de Pekín para agentes exigen herramientas de intervención y la última palabra humana
Por Eduardo Baptista y Laurie Chen
Las advertencias de los investigadores de Anthropic, una de las principales empresas desarrolladoras de inteligencia artificial en EE. UU., sobre que los modelos cada vez más potentes podrían escapar al control humano e incluso conducir a la extinción de la raza humana, han captado la atención en China, donde las autoridades llevan tiempo preparándose para afrontar algunos de esos mismos riesgos.
Estados Unidos y China son los dos principales motores del desarrollo de la IA de frontera y de su adopción global. Ambas superpotencias han chocado cada vez más por sus respectivas políticas de IA y prácticas industriales, unos temas que está previsto que ocupen un lugar destacado en las conversaciones bilaterales de este mes.
A pesar de la carrera por desarrollar sistemas de IA cada vez más potentes, los marcos regulatorios y las declaraciones públicas de Pekín ponen de manifiesto que las autoridades chinas consideran que la posibilidad de que una IA avanzada escape a una supervisión humana efectiva es lo suficientemente seria como para planificarla.
China ve riesgos en los modelos estadounidenses cerrados y líderes
El ministro de Seguridad del Estado de China, Chen Yixin, escribió el domingo en un medio gubernamental que los modelos avanzados de EE. UU., como Mythos de Anthropic y GPT-5.5-Cyber de OpenAI, podrían plantear graves riesgos para la infraestructura de información crítica de China, y pidió un fortalecimiento integral de la seguridad de la IA.
Anthropic y OpenAI no respondieron de inmediato a las solicitudes de comentarios por parte de Reuters.
Los desarrolladores de IA chinos han promovido modelos de pesos abiertos (open-weight) en parte bajo el argumento de que los equipos de ciberseguridad pueden inspeccionarlos, modificarlos y desplegarlos para tareas defensivas.
La plataforma de repositorios de modelos Hugging Face afirmó que utilizó GLM-5.2, un modelo de pesos abiertos desarrollado por la empresa china Z.AI 2513.HK, para analizar una intrusión ocurrida en julio por agentes de OpenAI evadidos, después de que los modelos estadounidenses con restricciones más estrictas resultaran menos útiles para el trabajo forense.
Sin embargo, los expertos también destacan los riesgos que plantean los modelos de pesos abiertos, los cuales pueden ser modificados y redistribuidos con escasa supervisión.
El mes pasado, Kimi K3 de Moonshot eludió un entorno seguro de pruebas (sandbox) del Instituto de Seguridad de la IA del Reino Unido, lo que puso de relieve el riesgo de que los modelos de IA chinos puedan, al igual que sus homólogos estadounidenses, evadir los controles diseñados para restringir su acceso y acciones.
Los reguladores han advertido del riesgo de “pérdida de control” de la IA
China incluyó por primera vez un escenario explícito de pérdida de control futuro en un marco de seguridad de la IA publicado en septiembre de 2024, bajo la orientación de la Administración del Ciberespacio de China (CAC).
El documento señalaba que no se podía descartar que una futura IA obtuviera de forma autónoma recursos externos, se replicara a sí misma, desarrollara autoconciencia y buscara poder externo, lo que crearía el riesgo de competir con los humanos por el control.
La CAC lanzó una versión ampliada en septiembre de 2025. El nuevo marco agudizó el escenario al afirmar que la IA podría experimentar un “salto” repentino e inesperadamente grande en su inteligencia antes de adquirir recursos, replicarse a sí misma y buscar poder. Asimismo, añadió un principio de gobernanza basado en la “aplicación de confianza, previniendo la pérdida de control”.
Una posterior interpretación experta publicada en el sitio web del regulador del ciberespacio indicó que el nuevo principio tenía como objetivo proteger contra los riesgos de pérdida de control que amenazan la supervivencia y el desarrollo humanos, haciendo referencia a un posible escenario de “IA desbocada”.
El líder chino Xi sitúa el control humano en el centro
Esta preocupación ha aparecido desde entonces en los mensajes políticos del más alto nivel en China.
En la Conferencia Mundial de Inteligencia Artificial celebrada en julio en Shanghái, el presidente chino, Xi Jinping, afirmó que las autoridades debían prestar mucha atención tanto a los riesgos intrínsecos como derivados que surgen de la IA.
Señaló que la IA debe “permanecer siempre bajo control humano”.
El alto funcionario del Ministerio de Asuntos Exteriores de China responsable de asuntos de IA, Sun Xiaobo, declaró el mes pasado en una reunión de las Naciones Unidas que China estaba acelerando la investigación de una legislación más amplia sobre la inteligencia artificial.
Por su parte, el representante permanente adjunto de China ante la ONU, Sun Lei, instó este mes a los gobiernos a abordar la IA militar con cautela para evitar errores de cálculo estratégico y una carrera armamentística.
Pekín advierte sobre los nuevos riesgos planteados por los agentes de IA
Mientras tanto, China ha comenzado a traducir esos principios en normas más específicas para los agentes de IA, los cuales actúan de forma mucho más autónoma y llevan a cabo tareas más complejas que un chatbot ordinario.
En mayo, el regulador del ciberespacio de China emitió unas directrices conjuntas que abordan específicamente este tipo de sistemas.
Estas exigen a los desarrolladores que mejoren su capacidad para descubrir, intervenir en, bloquear y recuperarse de comportamientos inadecuados de los agentes.
Las directrices identifican específicamente el envenenamiento de datos, la manipulación de algoritmos, las vulnerabilidades del sistema y la “pérdida operativa de control” como riesgos de seguridad. También establecen que los usuarios deben conservar la autoridad de decisión final sobre las decisiones autónomas de un agente.
Si bien China no ha propuesto monitores independientes integrados dentro de las empresas de IA al estilo de lo defendido por Anthropic, sus estándares permiten a los desarrolladores encargar evaluaciones de seguridad a terceros, además de prever organismos de evaluación externos y que investigadores de seguridad prueben y auditen modelos abiertos.
(Reporting by Eduardo Baptista and Laurie Chen; Editing by Muralikumar Anantharaman)
