-
Los modelos Qwen 3.8, GPT 5.6 y Fable fracasaron: uno se trabó y dos se negaron a trabajar.
-
4 de los 7 modelos probados son de peso abierto y pueden usarse sin filtros.
Paul Miller, desarrollador que mantiene librerías de criptografía usadas en proyectos de Bitcoin y Ethereum, puso a prueba 7 agentes de inteligencia artificial (IA) para clasificar y corregir 5 vulnerabilidades de seguridad reales, reportadas por el grupo Bitcoin Red Team. El resultado mostró diferencias marcadas entre los modelos, tanto en el gasto en dólares que insumió ejecutar a cada uno como en la precisión de sus diagnósticos.
De los 7 agentes evaluados, 3 no llegaron a completar la tarea. Qwen 3.8, de Alibaba, quedó trabado durante el proceso, sin motivo declarado por Miller. GPT-5.6 Sol, de OpenAI, y Fable, de Anthropic, directamente se negaron a trabajar sobre el código, según relató el propio Miller, pese a que la tarea consistía en identificar y reparar fallos, no en explotarlos.
Los 4 agentes que sí completaron el trabajo, Grok 4.6 (xAI), Kimi K3 (Moonshot AI), DeepSeek V4 Pro y DeepSeek V4 Flash (DeepSeek), tuvieron un gasto en dólares muy dispar por consumo de tokens (instrucciones de usuarios) al ejecutarlos:
- Grok 4.6 costó 4,70 dólares en consumo de cómputo.
- DeepSeek V4 Pro costó 0,30 dólares por la misma tarea, una diferencia de 15,7 veces (casi 1500%) entre el modelo más caro y el más económico de ejecutar.
El tiempo insumido también varió de forma considerable. DeepSeek V4 Pro completó su trabajo en 30 minutos, Kimi K3 en 40 minutos y Grok 4.6 en 1 hora, mientras que DeepSeek V4 Flash necesitó 3 horas, seis veces (500%) más que DeepSeek V4 Pro para la misma tarea.
Según Miller, solo Grok 4.6 coincidió con su propia evaluación sobre la gravedad de las 5 vulnerabilidades.
Los otros 3 agentes que completaron el trabajo (Kimi K3, DeepSeek V4 Pro y DeepSeek V4 Flash) exageraron la severidad de los fallos encontrados, algo que, según el propio Miller, terminó afectando la calidad general del resultado que entregaron esos 3 modelos. «Los números lo dicen todo», escribió Miller en su publicación en la red social X de este 14 de agosto, en donde también compartió la siguiente imagen con sus conclusiones:
¿Por qué se hizo esta prueba?
La prueba de Miller ocurre en medio de una ola de ataques que utilizan inteligencia artificial para acelerar la búsqueda y explotación de fallos de seguridad en el ecosistema bitcoiner.
En las últimas semanas, Coldcard, Boltz, ZEUS, BTCPay Server y LNP2Pbot sufrieron incidentes de seguridad vinculados a fallos que atacantes identificaron y explotaron con ayuda de modelos de IA. Ninguno de estos casos afectó al protocolo de Bitcoin en sí, sino a productos y servicios que operan por fuera de la red.
Esa ola de incidentes impulsó a Bitcoin Red Team, un grupo de desarrolladores dedicado a la búsqueda de fallos de seguridad en proyectos de código abierto de Bitcoin, a lanzar una auditoría masiva asistida por IA sobre el ecosistema.
La auditoría de Bitcoin Red Team ya cubrió más de 300 repositorios de código abierto, y de ese trabajo surgieron las 5 vulnerabilidades que Miller usó como base para su propia prueba sobre los 7 agentes de IA, entre otros 8.000 fallos encontrados por ese grupo de investigadores, como lo reportó CriptoNoticias.
Modelos de IA de peso abierto y modelos cerrados
De los 7 agentes que Miller probó, 4 son de peso abierto, Kimi K3, DeepSeek V4 Pro, DeepSeek V4 Flash y Qwen 3.8. Esto significa que las empresas que los entrenaron publicaron sus parámetros de forma pública, lo que permite a cualquier usuario descargarlos y ejecutarlos en sus propios equipos, sin depender de la aprobación de esas empresas.
Los otros 3 agentes, Grok 4.6, GPT-5.6 Sol y Fable, son cerrados, por lo que solo se pueden usar a través de la plataforma o la interfaz de programación de aplicaciones (API, por sus siglas en inglés) de la empresa que los desarrolló.
Esta distinción entre modelos de peso abierto y cerrados es relevante para la seguridad del ecosistema bitcoiner. Al ejecutarse en servidores propios de cada empresa, los modelos cerrados permiten a sus creadores mantener filtros de seguridad activos, como los que llevaron a GPT-5.6 Sol y a Fable a negarse a trabajar sobre las vulnerabilidades en esta prueba.
Los modelos de peso abierto, en cambio, pueden ejecutarse en una computadora local y ser modificados por cualquier usuario, lo que hace posible eliminar esos filtros de seguridad. Un atacante podría usar una versión sin restricciones de alguno de estos mismos modelos para asistir ataques reales contra plataformas del ecosistema bitcoiner, algo que ningún filtro externo podría impedir.
La prueba de Miller expone que, más allá del avance de la inteligencia artificial en la detección de vulnerabilidades, persisten diferencias significativas entre los distintos modelos a la hora de clasificarlas y corregirlas con precisión, tanto en el gasto en dólares que insume cada uno como en el criterio que aplican.
