Anthropic le entrega las llaves de su casa a un equipo externo para que audite sus modelos de inteligencia artificial

Te lo preguntas en voz alta cada vez que aparece una noticia sobre inteligencia artificial: quien carajo controla que estos sistemas no hagan cualquier cosa. La respuesta, al menos para Anthropic, acaba de dar un paso concreto: dejo entrar a un equipo externo con las mismas llaves que tiene un empleado propio.

Que significa que METR trabaje adentro

Seis investigadores de METR, una organizacion sin fines de lucro especializada en evaluar sistemas de IA, recibieron computadoras de la empresa, un lugar fisico en la oficina y acceso a las mismas herramientas internas que usa el plantel de evaluacion de riesgos. Traducido a criollo: pueden sentarse a la mesa como si fueran un companiero mas, salvo en tres areas reservadas: datos de clientes, informacion cubierta por secreto profesional abogado-cliente y detalles puntuales sobre la arquitectura de los modelos.

Lo importante es el piso de salida. METR puede publicar lo que encuentre sin que Anthropic le pase por encima el corrector. La compania solo puede pedir que se redacten datos que entren en categorias estrechas y previamente definidas, y aun en ese caso METR queda libre de decir publicamente si esa peticion de redaction le parecio justificada o no.

Tres niveles, un solo inquilino en el escalon mas alto

• Nivel bajo: organizaciones como SecureBio hacen revisiones acotadas y necesitan autorizacion antes de publicar.
• Nivel intermedio: mas informacion disponible y libertad para publicar sin pedir permiso.
• Nivel superior: acceso equivalente al de un empleado y facultad de divulgar evaluaciones, incidentes y practicas sin veto. Hoy lo ocupa solo METR.

Antes de llegar a este punto, el equipo de METR ya venia revisando informes de riesgo de Anthropic durante el ano previo. La diferencia es que ahora lo hace desde adentro, no desde afuera mirando por la ventana.

Por que hace falta tanto acceso

La propia Anthropic reconoce que auditar modelos de IA sirve solo si se cumplen al menos cuatro condiciones: que el auditor tenga el ojo tecnico suficiente para distinguir cuando un modelo esta fingiendo estar alineado en vez de estarlo de verdad, que sea independiente economica y operativamente, que pueda ver mas que el modelo en si e incluya como se entreno y como funcionan sus mecanismos de seguridad, y que pueda publicar sin restricciones previas.

Tambien aclara que no puede abrir toda la informacion de seguridad al publico, porque parte de esos datos podria ser util para actores maliciosos o es sensible desde lo comercial. Por eso eligio un modelo de acceso profundo pero acotado: un grupo chico con acuerdos exigibles y el resto del personal de METR aislado de ese trabajo especifico. Como una casa con una habitacion reservada: entras, pero ese cuarto no se abre.

Si te sirve, probalo: cada vez que veas un comunicado de una gran empresa de IA hablando de seguridad, fijate si el auditor puede o no publicar lo que encontro sin pedir permiso. Esa linea sola te dice mas que cualquier promesa de marketing.