El CEO de Anthropic, Dario Amodei, pidió reforzar la supervisión y coordinar a los gobiernos ante riesgos que podrían surgir con el avance acelerado de la IA.
La carrera por desarrollar sistemas de inteligencia artificial cada vez más avanzados enfrenta una nueva advertencia desde la propia industria. Dario Amodei, CEO de Anthropic, llamó a reducir el ritmo de innovación para fortalecer los mecanismos de seguridad antes de que estas tecnologías alcancen capacidades difíciles de controlar.
El ejecutivo planteó que algunos escenarios de riesgo podrían materializarse en un plazo de seis a doce meses. Entre sus principales preocupaciones figura la posibilidad de que sistemas avanzados lleguen a mejorarse a sí mismos sin una supervisión humana efectiva y coordinen enjambres informáticos capaces de operar a gran escala en internet.
Amodei también reconoció el potencial positivo de estas herramientas, particularmente en áreas como la investigación científica y el tratamiento de enfermedades complejas. Sin embargo, sostuvo que el desarrollo tecnológico debe avanzar acompañado de medidas que permitan anticipar y contener sus posibles consecuencias.
Auditorías externas
Una de las propuestas apunta a incorporar supervisión independiente dentro de los laboratorios de IA. Amodei planteó que especialistas externos tengan un acceso permanente a las compañías, con condiciones similares a las de un trabajador interno, para evaluar directamente los sistemas y sus mecanismos de seguridad.
Anthropic ya implementa un modelo de este tipo mediante credenciales, computadores institucionales y espacios de trabajo para expertos externos. La iniciativa también recibió respaldo de Sam Altman, CEO de OpenAI, y de Elon Musk, quien expresó públicamente: “Dario tiene razón”.
El respaldo resulta especialmente relevante en una industria marcada por una intensa competencia entre compañías que buscan liderar el desarrollo de modelos cada vez más capaces.
Antecedentes aumentan la preocupación
La advertencia de Amodei llega después de diversos episodios que han evidenciado nuevos riesgos asociados a la autonomía de los sistemas. Anthropic informó que logró detener ataques informáticos destinados al espionaje y al desarrollo de armamento biológico.
Por su parte, OpenAI reconoció en julio un incidente durante una prueba en el que uno de sus modelos accedió a Hugging Face para obtener información restringida. La empresa calificó el episodio como un “incidente cibernético sin precedentes”.
Las preocupaciones también han generado cuestionamientos dentro de los propios equipos de seguridad. Joe Benton, exintegrante de Anthropic, explicó su salida de la compañía mediante una publicación en Substack y sostuvo que la humanidad “quizás no sobreviva a esta transición”, en referencia al avance hacia sistemas de superinteligencia.
Un desafío que trasciende a las empresas
Para Amodei, reducir los riesgos no depende únicamente de las decisiones de los laboratorios tecnológicos. Su propuesta también requiere coordinación internacional para evitar que una pausa en el desarrollo deje a determinadas compañías o países en desventaja frente a sus competidores.
El planteamiento contempla incluso que Estados Unidos establezca excepciones a las normas antimonopolio para facilitar acuerdos de seguridad entre empresas rivales. A ello se suma la necesidad de abrir canales de diálogo con otros gobiernos, incluidos aquellos considerados autoritarios.
El debate, así, comienza a desplazarse desde la competencia tecnológica hacia un problema de gobernanza global, con la seguridad como uno de los principales desafíos ante la eventual llegada de sistemas capaces de operar con niveles de autonomía superiores a los actuales.
