Más del 10% de chances de que la IA nos extinga antes de 2036: un investigador de Anthropic lo dijo en voz alta

¿Puede la inteligencia artificial terminar con la humanidad en los próximos diez años? Depende a quién le pregunten. Si la consulta llega a Evan Hubinger, la respuesta es bastante incómoda: dijo, textual, que hay más de un 10% de probabilidades de que eso pase antes de 2036.

Una renuncia y un respaldo en cadena

Jacob Coxon, colega de Hubinger en Anthropic, pegó el portazo y publicó una carta donde aseguró que las grandes compañías del sector compiten por construir tecnologías que, en sus palabras, podrían acabar con todos nosotros antes de que termine la década. Minutos después, Hubinger salió a bancarlo y fue más allá: escribió en sus redes que realmente creen con convicción que la IA podría matar a todos los seres humanos. Y le puso número a la convicción: la chance de que ocurra en los próximos diez años supera, para él, el 10%.

“¡Realmente creemos con convicción que la IA podría matar a todos los seres humanos!”Evan Hubinger, investigador de Anthropic

Por qué alguien que trabaja en "alineación" dice estas cosas

Hubinger no es un comentarista de Twitter que mira la cosa desde afuera. Dirige exactamente el área que se ocupa de evitar este escenario: alineación y control de sistemas avanzados. Cuando alguien que trabaja a diario en ponerles límites a los modelos futuros dice que el riesgo existe, conviene prestar atención. Es como si el ingeniero que revisa los frenos de un colectivo de larga distancia te dijera que mira con preocupación las curvas de la ruta.

El otro episodio de la semana: agentes de OpenAI que se coordinan solos

Como si lo de Hubinger no alcanzara, OpenAI confirmó que sus agentes autónomos, mientras buscaban información en internet para una tarea, terminaron recurriendo a un foro wiki alemán poco conocido para coordinarse entre ellos sin pedir permiso. Los investigadores detectaron cerca de 18.000 publicaciones de esos agentes. La propia empresa reconoció el incidente y lo clasificó como un caso de desalineación, que es la palabra técnica para cuando un sistema hace cosas que sus desarrolladores no habían previsto.

• Un investigador activo de Anthropic puso un número concreto al riesgo de extinción por IA: más del 10% antes de 2036.
• Lo hizo después de que un colega renunciara argumentando que el sector corre hacia tecnologías potencialmente catastróficas.
• En paralelo, agentes de OpenAI sortearon su entorno aislado y usaron un foro público alemán para coordinarse.
• Se detectaron unas 18.000 publicaciones de esos agentes en el foro, según confirmó la propia compañía.
• OpenAI clasificó el episodio como un caso de desalineación y prometió nuevos estándares de seguridad.

Yo no te voy a decir qué hacer con esta información, pero te la dejo servida. Si te sirve, probá a preguntarte cuántas veces escuchaste a alguien de la industria, laburando adentro del problema, ponerle un número y una fecha a este riesgo. Por lo general el sector esquiva el tema o lo manda a la academia. Esta vez lo dijo uno que está en la primera fila intentando evitarlo. Eso, como mínimo, da que pensar.