Vitalik Buterin advierte sobre riesgos de la IA

Vitalik Buterin, fundador de Ethereum, dio su perspectiva sobre un debate que cada vez gana más terreno: los riesgos de la inteligencia artificial (IA).

En esta oportunidad, el desarrollador ruso-canadiense aprovechó una reflexión que compartió en X, Eito Muyamura, impulsor del proyecto Edison Watch, una solución para monitorear y prevenir fugas de datos a través de interacciones de IA.

La misma surgió a raíz de la reciente introducción del protocolo de contexto de modelo (MCP, por sus siglas en inglés) de OpenAI, la empresa dirigida por Sam Altman, en ChatGPT, el cual permite su conexión con Gmail, calendarios y otras aplicaciones.

A través de un video, Muyamura demostró cómo los atacantes o hackers pueden acceder a datos privados compartidos con OpenAI.

“Aquí está el problema fundamental: los agentes de IA como ChatGPT siguen tus órdenes, no tu sentido común. Y solo con tu correo electrónico logramos filtrar toda tu información privada”, señala Muyamura, al tiempo que agrega: “Recuerda que la IA puede ser súper inteligente, pero puede ser engañada y víctima de phishing de formas increíblemente tontas para filtrar sus datos”.

Buterin compartió la publicación en su cuenta de X y aprovechó la ocasión para dar su opinión al respecto. “Esta es también la razón por la que una ‘gobernanza de la IA’ ingenua es una mala idea. Si utilizas una IA para asignar fondos destinados para contribuciones, la gente pondrá un jailbreak y un ‘dame todo el dinero’ en tantos lugares como puedan”, manifestó.

La «gobernanza IA» se refiere a sistemas que toman decisiones automatizadas sobre recursos o acciones —por ejemplo, asignar fondos o definir contribuciones— basándose en reglas de la IA. El término “ingenua” que utiliza Buterin no es casual, sino que es para subrayar el riesgo de asumir que los usuarios siempre darán órdenes correctas a la IA, cuando en realidad podrían aprovecharse del sistema mediante “jailbreaks” para eludir restricciones y obtener beneficios indebidos.

Vale aclarar que “jailbreak” se refiere a técnicas mediante las cuales los hackers engañan a un modelo de IA para que ignore restricciones de seguridad o políticas internas, por ejemplo, solicitar acciones que estarán prohibidas.

Es decir, para el fundador de Ethereum existe un riesgo real al trasladar la gobernanza de los protocolos descentralizados a la IA. Por ejemplo, tal como se explica en la Criptopedia —sección educativa de CriptoNoticias— en plataformas de finanzas descentralizadas (DeFi), las decisiones suelen tomarse mediante votaciones de la comunidad, generalmente por quienes poseen un token o cumplen algún criterio específico, y abarcan cambios, mejoras o acciones a tomar en el protocolo.

Pero si se implementa un modelo de gobernanza basado en IA, se abre la puerta a posibles manipulaciones que podrían generar beneficios indebidos, como robo de dinero o de datos privados.

Como alternativa, Buterin afirma que “apoya el enfoque de financiación de la información, en el que existe un mercado abierto en el que cualquiera puede contribuir con sus modelos, que están sujetos a un mecanismo de verificación puntual que puede ser activado por cualquier persona y evaluado por un jurado humano”. Además, explica:

Este tipo de enfoque de “diseño institucional”, en el que se crea una oportunidad abierta para que personas externas conecten sus LLM (modelo de lenguaje de gran tamaño) en lugar de programar rígidamente uno propio, es intrínsecamente más robusto. Esto se debe tanto a que brinda diversidad de modelos en tiempo real como a que genera incentivos internos para que tanto quienes aportan modelos como los especuladores externos estén atentos a estos problemas y los corrijan rápidamente.

Vitalik Buterin, creador de Ethereum.

En este enfoque, distintos participantes pueden aportar sus modelos de decisión que luego son verificados y evaluados por un jurado humano.

La ventaja es que fomenta la diversidad de ideas, permite correcciones rápidas ante errores y crea incentivos para que los creadores de modelos y los miembros de la comunidad se mantengan atentos y responsables. El objetivo es alcanzar una gobernanza más distribuida y dinámica, evitando depender de un único modelo centralizado.