CEO de Anthropic: nuestra IA puede destruir infraestructura financiera y de seguridad

Dario Amodei, CEO de Anthropic, empresa estadounidense de inteligencia artificial fundada por exintegrantes de OpenAI y creadora de ChatGPT, admitió públicamente que los modelos de inteligencia artificial de la clase Mythos representan un riesgo real para el sector financiero, la infraestructura crítica y la seguridad nacional.

La declaración aparece en el ensayo «Policy on the AI Exponential», publicado este 10 de junio en su sitio web personal, y ocurre un día después de que la compañía lanzara Claude Fable 5 con restricciones explícitas en ciberseguridad.

Según Amodei, Mythos Preview ya alteró el panorama global de ciberseguridad y constituye evidencia de que los modelos frontera son herramientas de consecuencia estratégica nacional. El ejecutivo sostiene que estos riesgos no son hipotéticos: son una realidad presente que exige una respuesta regulatoria de carácter vinculante.

Hay que considerar, en ese sentido, que Anthropic desarrolla los modelos Claude y se posiciona como una de las compañías del sector con mayor influencia en el debate regulatorio global. Algo que confiere peso directo a las advertencias de su CEO.

El contexto inmediato es relevante. Tal como informó CriptoNoticias, a través de Project Glasswing —el programa restringido con el que Anthropic distribuyó Mythos Preview desde abril—, la compañía y sus socios identificaron más de 10.000 vulnerabilidades de severidad alta o crítica en software de infraestructura sistémica global. Allí figuraron Cloudflare, Mozilla, Microsoft, Oracle y Palo Alto Networks, además de bancos e instituciones de infraestructura crítica.

Las empresas deben autorregularse

Amodei plantea que los modelos que superen cierto umbral de cómputo deben someterse a auditorías obligatorias por terceros en cuatro áreas:

• Ciberseguridad
• Armas biológicas.
• Pérdida de control de sistemas de IA e investigación
• Desarrollo automatizado que acelere esos riesgos.

Según el ensayo, el gobierno debe tener la potestad de bloquear o revertir el despliegue de un modelo, si representa un riesgo inaceptable en alguna de esas categorías.

La firma propone modelar la regulación de IA sobre la Administración Federal de Aviación (FAA) de Estados Unidos: así como los aviones deben pasar pruebas técnicas antes de operar, los modelos frontera deberían requerir certificación previa a su lanzamiento.

Las empresas desarrolladoras, según el ensayo, deberán además proteger los pesos de sus modelos, realizar pruebas de penetración periódicas y reportar de forma inmediata cualquier incidente crítico a las autoridades.

El CEO reconoce la paradoja implícita en su postura: Anthropic construye la tecnología que él mismo califica de peligrosa, y ahora impulsa su regulación vinculante, tras haber apoyado hasta 2025 únicamente marcos de transparencia voluntaria.

A escala geopolítica, Amodei sostiene que las democracias deben coordinar ciberdefensas basadas en IA y compartir inteligencia para frenar usos maliciosos. Según el ensayo, una nación con IA avanzada frente a una sin ella equivaldría a un ejército moderno frente a uno medieval.

Amodei advierte que los riesgos cibernéticos que Mythos Preview evidenció no serán los últimos: según su análisis, los riesgos biológicos derivados de modelos de próxima generación podrían materializarse a corto plazo. Agrega que los riesgos que Mythos Preview expuso en ciberseguridad no representan el punto de llegada, sino el de partida.

Se trata de una postura polémica, ya que los críticos argumentan que las advertencias de los CEO de IA sirven también para justificar regulaciones que los favorecen y ralentizan la innovación abierta. En el ecosistema de criptomonedas, donde la IA ya se usa tanto para auditorías de contratos como para exploits avanzados, el debate está abierto.

En ese marco, la regulación que propone hoy no está diseñada para el problema más grave que anticipa, sino para el que ya está aquí, con la advertencia explícita de que el aparato regulatorio deberá escalar tan rápido como lo haga la tecnología.