Ria Deane

Monitors are Fragile under Information Asymmetry

Si un monitor de control de IA detecta un ataque a través de una vulnerabilidad que nunca ha visto.

rol
Coautora, con Ana Carolina Erthal, Juan Belieni y Gustavo Ewbank Rodrigues Danon
cuándo
Apart Research AI Control Hackathon, marzo 2026
qué
Investigación
links

El control de IA depende de monitores que miran las acciones de un modelo y marcan cualquier cosa sospechosa. Probamos si un monitor igual detecta un ataque que usa una vulnerabilidad que no conoce. Agregamos vulnerabilidades inventadas al entorno Bash de ControlArena y les dimos a los monitores tres niveles de información: la vulnerabilidad exacta, otras vulnerabilidades pero no esa, o ninguna.

Saber de otras vulnerabilidades casi no ayudó. Solo saber la exacta bajó harto el éxito de los ataques. O sea, los monitores parecen depender de conocer el ataque de antemano, y las pruebas con ataques conocidos probablemente exageran qué tan bien detectan los nuevos.

← Trabajo