Monitors are Fragile under Information Asymmetry
Si un monitor de control de IA detecta un ataque a través de una vulnerabilidad que nunca ha visto.
- rol
- Coautora, con Ana Carolina Erthal, Juan Belieni y Gustavo Ewbank Rodrigues Danon
- cuándo
- Apart Research AI Control Hackathon, marzo 2026
- qué
- Investigación
- links
- Leer el proyecto en Apart Research
El control de IA depende de monitores que miran las acciones de un modelo y marcan cualquier cosa sospechosa. Probamos si un monitor igual detecta un ataque que usa una vulnerabilidad que no conoce. Agregamos vulnerabilidades inventadas al entorno Bash de ControlArena y les dimos a los monitores tres niveles de información: la vulnerabilidad exacta, otras vulnerabilidades pero no esa, o ninguna.
Saber de otras vulnerabilidades casi no ayudó. Solo saber la exacta bajó harto el éxito de los ataques. O sea, los monitores parecen depender de conocer el ataque de antemano, y las pruebas con ataques conocidos probablemente exageran qué tan bien detectan los nuevos.