Sam Altman, director ejecutivo de OpenAI, y Dario Amodei, director ejecutivo de Anthropic, pidieron al Consejo de Seguridad de la Organización de las Naciones Unidas (ONU) una coordinación internacional más sólida para atender los riesgos de los sistemas avanzados de inteligencia artificial (IA).
Durante una sesión dedicada a la relación entre IA y seguridad internacional, los dos empresarios coincidieron en que el desarrollo tecnológico debe acompañarse de salvaguardas, estándares de evaluación y mecanismos de cooperación entre gobiernos. La discusión reunió también a Yoshua Bengio, copresidente del Panel Científico Internacional Independiente sobre IA de la ONU, y a Clément Delangue, director ejecutivo de Hugging Face.
La comparecencia ocurrió en un momento en que las empresas tecnológicas aceleran el desarrollo de modelos capaces de ejecutar tareas complejas con mayor autonomía. El debate no se centró sólo en beneficios económicos o científicos de estas herramientas, sino en la posibilidad de que sean utilizadas con fines dañinos o de que sus capacidades evolucionen más rápido que los mecanismos disponibles para supervisarlas.
Altman propone una ruta de supervisión democrática
Altman sostuvo ante el Consejo de Seguridad que la IA puede impulsar la creatividad, el descubrimiento y la productividad, pero también provocar disrupciones si se despliega sin criterios de seguridad y rendición de cuentas.
El directivo de OpenAI planteó que las decisiones sobre los sistemas más potentes no deberían quedar exclusivamente en manos de compañías tecnológicas. De acuerdo con la cobertura de The Guardian, Altman afirmó que el rumbo de la IA debe definirse mediante procesos democráticos y por gobiernos responsables ante sus poblaciones.
Su planteamiento busca una posición intermedia entre dos extremos: ignorar los riesgos asociados al avance tecnológico o asumir que el daño es inevitable. Bajo esa visión, la condición central es que los sistemas de IA permanezcan bajo control humano y que sus aplicaciones produzcan beneficios sociales verificables.
Entre los asuntos que requieren coordinación internacional están los estándares técnicos para modelos de frontera, el reporte rápido de incidentes y canales seguros para que instituciones públicas y empresas compartan información sobre vulnerabilidades. Un modelo de frontera es un sistema de IA de capacidad particularmente alta y uso general, que puede adaptarse a múltiples tareas y sectores.
Anthropic advierte sobre mal uso y pérdida de control
Amodei intervino por videollamada y presentó una advertencia más directa sobre dos tipos de riesgo. El primero es el uso malicioso de sistemas de IA para facilitar actividades peligrosas, entre ellas el posible desarrollo de armas biológicas. El segundo es que las capacidades de los modelos avancen a una velocidad que rebase la capacidad de sus desarrolladores para entenderlos, evaluarlos y controlarlos.
Según la agencia Anadolu, Amodei pidió estándares globales comunes para probar los modelos ante riesgos de uso indebido y de pérdida de control. También señaló que el manejo de estas amenazas no puede depender de una sola empresa, debido a su escala internacional.
El jefe de Anthropic indicó que su empresa estaría dispuesta a ralentizar lanzamientos si fuera necesario para verificar la seguridad de nuevos sistemas. Esa declaración no equivale a un acuerdo internacional ni a una regulación ya aprobada, pero muestra que el debate sobre límites al desarrollo de IA ha llegado a uno de los principales espacios multilaterales de seguridad.
Amodei ha defendido previamente una mayor cooperación entre laboratorios, gobiernos y especialistas independientes. Entre las medidas que ha planteado están evaluaciones externas dentro de las empresas que desarrollan modelos de frontera, pruebas antes de publicar sistemas más potentes y diálogo entre países sobre reglas técnicas compartidas.
El Consejo de Seguridad abre un debate sobre una tecnología global
La reunión fue convocada por Francia, que presidía el Consejo de Seguridad durante septiembre, bajo el tema del mantenimiento de la paz y la seguridad internacionales. El documento de contexto divulgado por Security Council Report señalaba que la discusión se enfocaría en los riesgos sistémicos derivados de sistemas muy capaces, en particular los relacionados con desalineación y pérdida de control.
La desalineación se refiere a una situación en la que el comportamiento de un sistema no corresponde de manera fiable con los objetivos, límites o valores definidos por las personas que lo diseñan o utilizan. En herramientas capaces de planear y ejecutar acciones, esa preocupación se vuelve relevante porque un error, una instrucción ambigua o un uso abusivo puede escalar con rapidez.
Bengio cuestionó la idea de que las compañías estén obligadas a competir sin pausa por sistemas más poderosos. De acuerdo con Anadolu, sostuvo que la carrera tecnológica responde a decisiones empresariales y políticas, no a una fuerza inevitable. Su intervención añadió una diferencia importante al debate: además de pedir medidas de seguridad, planteó que gobiernos y ciudadanos pueden exigir cambios en los incentivos que favorecen el avance acelerado.
Sin reglas vinculantes anunciadas
Las intervenciones de Altman y Amodei fueron llamados a establecer cooperación y normas comunes, no el anuncio de un instrumento vinculante aprobado por la ONU. La construcción de reglas internacionales enfrenta retos políticos y técnicos: los países tienen prioridades distintas en materia de innovación, defensa, privacidad, comercio y competencia tecnológica.
Sin embargo, la sesión reflejó un consenso limitado pero relevante entre participantes de la industria y especialistas: los riesgos de la IA avanzada no se circunscriben a la empresa que desarrolla un modelo ni al país donde se entrena. Las propuestas expuestas apuntan a evaluaciones de seguridad, transparencia ante incidentes, supervisión humana y colaboración transfronteriza.
El desafío será traducir esas coincidencias generales en procedimientos verificables, con responsabilidades claras para empresas y autoridades. Por ahora, el mensaje ante el Consejo de Seguridad fue que la discusión sobre inteligencia artificial dejó de ser exclusivamente tecnológica: también involucra gobernanza democrática, seguridad internacional y la capacidad de las instituciones para responder a herramientas que evolucionan con rapidez.
Fuentes consultadas
Imagen ilustrativa. Foto de Pachon in Motion en Pexels.
