METR y Redwood encuentran vías para eludir la supervisión de agentes internos de OpenAI
Una evaluación realizada entre julio y agosto y publicada el 22 de octubre describe fallos en el sistema histórico de vigilancia; no establece la cobertura de los controles actuales.
Por qué confiar en Pulso Diario
Ilustración editorial original
Un agente de inteligencia artificial puede encadenar acciones con herramientas, como ejecutar programas, sin esperar una orden humana para cada paso. Supervisarlo exige tanto detectar conductas problemáticas como asegurar que sus acciones lleguen al sistema de revisión. El informe de METR y Redwood Research, organizaciones que investigan la seguridad de IA, examina ese segundo requisito en la infraestructura interna de OpenAI.
Qué acceso tuvieron los evaluadores
Un trabajador de METR, organización que evalúa riesgos de IA, y otro de Redwood Research pasaron tres semanas en OpenAI, del 21 de julio al 11 de agosto. Consultaron código, instrucciones del sistema de vigilancia y documentación, y entrevistaron a alrededor de doce especialistas. El ejercicio produjo un informe interno de 61 páginas. Su objeto fue la infraestructura existente el 21 de julio o antes; los evaluadores no establecieron la cobertura de las ampliaciones posteriores.
Fuentes: [1] METR · evaluación completa publicada y límites de acceso
Ser elegible para revisión no significa haber sido revisado
METR estimó que entre el 75% y el 94% del tráfico interno estudiado del servicio Responses era elegible para vigilancia, con incertidumbre considerable. Para la parte correspondiente a agentes internos Codex, la elegibilidad se estimó en el 99,2%. Son denominadores distintos y elegibilidad no equivale a revisión completada: errores u omisiones podían impedir que el registro llegara al supervisor. El informe excluye otros servicios cuyo volumen no pudo calcular.
Fuentes: [1] METR · evaluación completa publicada y límites de acceso
Ilustración editorial original
Un problema al resumir conversaciones largas
La compactación resume el contexto de una sesión para que el agente pueda seguir trabajando. Según la estimación de METR, no registrar esos momentos pudo dejar sin revisar alrededor del 10% del tráfico elegible de Codex entre mayo y julio. OpenAI había detectado el problema y lo corrigió durante el ejercicio. También se hallaron posibles formas de eludir barreras de ejecución o impedir la revisión de acciones; el informe no demuestra que agentes las explotaran realmente.
Fuentes: [1] METR · evaluación completa publicada y límites de acceso
Las correcciones anunciadas y lo que sigue sin evaluarse
METR recoge que OpenAI afirma haber corregido todas las vulnerabilidades identificadas que afectaban a sus protecciones de producción. Los evaluadores no comprobaron esa afirmación. Por separado, el 23 de octubre OpenAI describió un refuerzo del aislamiento en sus entornos de investigación y señaló que había reanudado el entrenamiento avanzado el 1 de octubre. La empresa explica que esas tareas funcionan sin acceso a internet en directo, utilizando contenido almacenado. Son controles de entrenamiento y evaluación, distintos del servicio que usan los clientes, y su descripción no sustituye una reevaluación externa del sistema examinado por METR.
Fuentes: [1] METR · evaluación completa publicada y límites de acceso · [2] OpenAI · actualización del entorno de entrenamiento del 23 de octubre
Qué cambiaría una supervisión más resistente
El informe propone revisar agentes a intervalos regulares, en lugar de depender de que terminen su turno; contrastar registros de ejecución con los del supervisor; conservar trazas difíciles de alterar y separar el entorno del agente del que lo controla. El ejercicio fue un piloto con publicación limitada y derecho de OpenAI a suprimir información sensible. Por ello aporta hallazgos técnicos concretos, pero no una auditoría pública completa del sistema actual.
Fuentes: [1] METR · evaluación completa publicada y límites de acceso
Ilustración editorial original
La vigilancia de agentes de IA también necesita un supervisor
La distinción entre tráfico elegible y tráfico revisado es el centro práctico del informe. Una política puede exigir control y, aun así, perder acciones por una transición de software o un registro incompleto. Evaluar la seguridad requiere seguir el recorrido real de la información, desde la ejecución de una tarea hasta la alerta que recibe una persona.
El acceso profundo de METR y Redwood permitió encontrar problemas difíciles de observar desde fuera. Al mismo tiempo, la publicación parcial y los derechos de supresión concedidos a OpenAI limitan lo que el público puede valorar. Ambas cosas deben figurar juntas: el ejercicio muestra una vía de cooperación útil y también por qué hacen falta condiciones de independencia y transparencia más claras.
La siguiente prueba decisiva sería comprobar las reparaciones y repetir la evaluación sobre el sistema ampliado. Dar por cerrada la cuestión con una declaración empresarial sería prematuro; asumir que los fallos de julio siguen intactos también excedería la evidencia. El criterio más útil es exigir resultados actuales comparables, alcance explícito y un procedimiento claro para responder cuando el control falle.
Opinión de Pulso Diario · elaborada a partir de los hechos y fuentes citadosFuentes y límites de verificación
Se leyeron la publicación completa de METR y la actualización de OpenAI del 23 de octubre. El informe interno íntegro no es público: se publicó un resumen con hallazgos seleccionados. Las cifras tienen poblaciones distintas y no describen la cobertura actual; no se presentan vulnerabilidades potenciales como incidentes de explotación confirmados. Las nuevas medidas de entrenamiento son una declaración de OpenAI sobre otro ámbito de controles, no una verificación del sistema histórico por los evaluadores.
Fuentes: [1] METR · evaluación completa publicada y límites de acceso · [2] OpenAI · actualización del entorno de entrenamiento del 23 de octubre
Comentarios · ¿qué duda te queda?
¿Qué dato te ayudaría a entender mejor esta noticia? Comparte tu pregunta o señala un posible error con su fuente. Usaremos las dudas para orientar nuevas explicaciones, sin prometer una respuesta individual.
Los comentarios se revisan antes de publicarse. Respeta a los demás, aporta argumentos y evita publicidad o datos personales. Puedes eliminar tus propios comentarios.
Google se cargará al pulsar. Privacidad.
Has accedido con Google.
Más en Inteligencia artificial
Claude amplía su marca de agua textual a tres modelos: qué permite detectar y qué no
Claude abre hilos temporales para agilizar conversaciones largas sin reducir los tokens facturados
La historia viral de Claude Code y 17.342 fotos: qué revisar en tu iPhone
OpenAI presenta LifeVal para evaluar la ayuda de la IA en tareas cotidianas
IA cuántica: la carrera por calcular lo que hoy se nos resiste
Gemini tiene diez consejos para la próxima década: el primero empieza por tu cuerpo
Karpathy se hartó de YouTube: así creó HackerTube con IA en unas dos horas
Los nuevos proyectos de pago de Gemini API guardan solicitudes por defecto: cómo controlar el registro
Sheets añade las fuentes web de las respuestas generadas con Gemini a cada celda
«Brain fry»: cuando supervisar la IA se convierte en otra carga de trabajo
AlphaFold y las curas con IA: qué está demostrado y qué falta
