Portada: Hytia
(24 DE SEPTIEMBRE, 2026).-El investigador pidió supervisar los sistemas de inteligencia artificial más avanzados como otras tecnologías críticas. Altman, Amodei y Delangue plantearon mecanismos distintos para reducir riesgos.
El investigador Yoshua Bengio propuso ante el Consejo de Seguridad de la ONU que los sistemas de inteligencia artificial de frontera estén sujetos a licencias y que las empresas que los desarrollan y operan contraten seguros de responsabilidad civil.
Durante una sesión sobre inteligencia artificial y seguridad internacional convocada por Francia, Bengio comparó este modelo de supervisión con el aplicado a sectores críticos como la medicina, la aviación y la energía nuclear. Su propuesta contempla que los desarrolladores demuestren ante expertos independientes que sus sistemas son seguros tanto durante el entrenamiento como antes de su despliegue.
Bengio no planteó ante el Consejo qué organismo específico debería conceder esas licencias.
Bengio advierte sobre pérdida de control de la IA
El investigador sostuvo que ningún país, empresa o persona debería desarrollar sistemas capaces de provocar daños a gran escala.
Según expuso ante el Consejo de Seguridad, agentes de IA desarrollados recientemente han mostrado comportamientos que, de acuerdo con su descripción, incluyen incumplir instrucciones, intentar evadir mecanismos de control y ocultar sus acciones. También afirmó que algunos agentes realizaron de manera autónoma ciberataques coordinados.
Bengio identificó tres riesgos principales:
- Uso malicioso de la inteligencia artificial.
- Concentración de poder en un número reducido de actores.
- Pérdida de control humano sobre sistemas cada vez más capaces.
El investigador cuestionó además la idea de que la competencia entre empresas obligue a acelerar el desarrollo sin establecer límites.
«La carrera no es una ley de la naturaleza. Es el producto de decisiones tomadas por las propias compañías».
Empresas de IA plantean diferentes mecanismos de supervisión
Los directivos de empresas tecnológicas que participaron en la sesión coincidieron en la necesidad de gestionar los riesgos, aunque plantearon mecanismos diferentes.
Sam Altman, director ejecutivo de OpenAI, reconoció los riesgos asociados con sistemas cada vez más autónomos y con una eventual concentración de capacidades avanzadas en pocas manos.
Propuso establecer estándares nacionales e internacionales para los sistemas de IA de frontera, capaces de medir sus capacidades, evaluar riesgos, determinar si las medidas de seguridad son suficientes y preservar una supervisión humana efectiva. También planteó canales seguros entre gobiernos para compartir información sobre vulnerabilidades emergentes.
Dario Amodei, director ejecutivo de Anthropic, también advirtió sobre los riesgos de una pérdida de control. Entre las medidas planteadas se encuentran evaluaciones independientes, coordinación entre empresas y gobiernos, pruebas previas al lanzamiento y mecanismos para notificar incidentes graves.
Amodei también planteó comenzar por acuerdos específicos sobre usos particularmente peligrosos de la tecnología, antes de avanzar hacia mecanismos internacionales más amplios.
Por su parte, Clément Delangue, director ejecutivo de Hugging Face, defendió reglas más estrictas para vigilar y divulgar incidentes relacionados con inteligencia artificial.
A partir del ataque que sufrió su empresa mediante agentes de IA, Delangue defendió el desarrollo de modelos de código abierto como una herramienta para reducir la brecha entre quienes pueden utilizar estas tecnologías para atacar y quienes necesitan protegerse. Al mismo tiempo, advirtió contra la formulación de políticas basadas exclusivamente en el miedo.
El reto: convertir las advertencias en reglas verificables
Las intervenciones ante el Consejo de Seguridad mostraron coincidencias en torno a la necesidad de establecer mecanismos de seguridad, aunque existen diferencias sobre el alcance y la forma que debería tener la supervisión.
La propuesta de Bengio apuesta por un esquema de licencias y responsabilidad jurídica para los sistemas más avanzados. Altman planteó estándares técnicos nacionales e internacionales, mientras que Amodei propuso evaluaciones independientes, coordinación y notificación de incidentes.
La sesión no estableció por sí misma nuevas obligaciones internacionales para las empresas. El debate dejó abierta una cuestión para los gobiernos: cómo crear mecanismos verificables de supervisión para una tecnología desarrollada principalmente por un grupo reducido de compañías, pero cuyos posibles efectos pueden trascender fronteras.
