Puntos clave
- Vitalik Buterin advirtió que una gobernanza de IA ingenua es demasiado fácil de explotar.
- Una demostración reciente mostró cómo los atacantes podrían engañar a ChatGPT para filtrar datos privados.
- El modelo de “info finance” de Buterin promueve la diversidad, la supervisión y la resiliencia.
El cofundador de Ethereum, Vitalik Buterin, advirtió a sus seguidores en X sobre los riesgos de confiar en la inteligencia artificial (IA) para la gobernanza, argumentando que los enfoques actuales son demasiado fáciles de explotar.
Las preocupaciones de Buterin siguieron a otra advertencia del cofundador de EdisonWatch, Eito Miyamura, quien mostró cómo actores maliciosos podrían secuestrar el nuevo Model Context Protocol (MCP) de OpenAI para acceder a datos privados de los usuarios.
Esta es también la razón por la que una "gobernanza de IA" ingenua es una mala idea.
Si usas una IA para asignar fondos a contribuciones, la gente PONDRÁ un jailbreak más "dame todo el dinero" en tantos lugares como pueda.
Como alternativa, apoyo el enfoque de info finance ( …
— vitalik.eth (@VitalikButerin) 13 de septiembre de 2025
Los riesgos de una gobernanza de IA ingenua
La prueba de Miyamura reveló cómo una simple invitación de calendario con comandos ocultos podría engañar a ChatGPT para exponer correos electrónicos sensibles una vez que el asistente accediera a la entrada comprometida.
Expertos en seguridad señalaron que los modelos de lenguaje grandes no pueden distinguir entre instrucciones genuinas y maliciosas, lo que los hace altamente vulnerables a la manipulación.
Logramos que ChatGPT filtrara tus datos privados de correo electrónico 💀💀
¿Todo lo que necesitas? La dirección de correo electrónico de la víctima. ⛓️💥🚩📧
El miércoles, @OpenAI añadió soporte completo para las herramientas MCP (Model Context Protocol) en ChatGPT. Permitiendo que ChatGPT se conecte y lea tu Gmail, Calendar, Sharepoint, Notion,…
— Eito Miyamura | 🇯🇵🇬🇧 (@Eito_Miyamura) 12 de septiembre de 2025
Buterin dijo que esta falla es una señal de alerta importante para los sistemas de gobernanza que depositan demasiada confianza en la IA.
Argumentó que si tales modelos se usaran para gestionar fondos o la toma de decisiones, los atacantes podrían eludir fácilmente las salvaguardas con indicaciones tipo jailbreak, dejando los procesos de gobernanza abiertos al abuso.
Info Finance: una alternativa basada en el mercado
Para abordar estas debilidades, Buterin ha propuesto un sistema que llama “info finance”. En lugar de concentrar el poder en una sola IA, este marco permite que múltiples modelos de gobernanza compitan en un mercado abierto.
Cualquiera puede contribuir con un modelo, y sus decisiones pueden ser desafiadas mediante revisiones aleatorias, dejando la última palabra a jurados humanos.
Este enfoque está diseñado para garantizar la resiliencia combinando la diversidad de modelos con la supervisión humana. Además, se incorporan incentivos tanto para desarrolladores como para observadores externos para detectar fallos.
Diseñando instituciones para la robustez
Buterin describe esto como un método de “diseño institucional”, en el que se pueden integrar modelos de lenguaje grandes de diferentes contribuyentes, en lugar de depender de un solo sistema centralizado.
Agregó que esto crea diversidad en tiempo real, reduciendo el riesgo de manipulación y asegurando adaptabilidad a medida que surgen nuevos desafíos.
A principios de agosto, Buterin criticó el impulso hacia agentes de IA altamente autónomos, diciendo que un mayor control humano generalmente mejora tanto la calidad como la seguridad.
A medio plazo quiero algún dispositivo BCI sofisticado donde me muestre el contenido mientras se genera y detecte en tiempo real cómo me siento respecto a cada parte y lo ajuste en consecuencia.
— vitalik.eth (@VitalikButerin) 11 de agosto de 2025
Él apoya modelos que permiten la edición iterativa y la retroalimentación humana en lugar de aquellos diseñados para operar de forma independiente durante largos períodos.
