Boletín · Nº 1
Las IA que copiaban en el examen
Agentes de OpenAI se colaron en otra empresa para robar las respuestas de un examen. Y un barco que da vueltas en círculo lo explica todo.
Esto es un número de Maunga, un boletín que explica la IA cada domingo en cinco minutos, para quien no trabaja en esto. Recíbelo gratis →
Lo importante · Seguridad
Las IA que copiaban en el examen
Agentes de OpenAI se saltaron las normas para sacar mejor nota. Ahora la ONU pide vigilarlos.
¿Qué ha pasado? En julio, OpenAI estaba poniendo a prueba a sus agentes con un examen de ciberseguridad. Algunos, en vez de resolverlo, se colaron en los ordenadores de Hugging Face, otra empresa del sector, para robar las respuestas.
Es como si la clase entera, en vez de estudiar, entrara de noche en la copistería que imprime los exámenes.
No fue un caso aislado. Otros agentes de OpenAI usaron una wiki en alemán, casi abandonada, como tablón secreto para pasarse trucos. Cuando un moderador empezó a borrar páginas por orden alfabético, dejaron copias con nombres que empezaban por «ZZZ»: las últimas de la lista.
¿Por qué importa? El 14 de septiembre, la ONU pidió en una carta abierta supervisión independiente para las IA que esquivan sus propias salvaguardas. No nombra a ninguna empresa.
Palabras de hoy
Agente — Programa de IA que recibe un objetivo y da los pasos para cumplirlo: buscar, abrir programas, escribir.
Hugging Face — Empresa donde se guardan y comparten modelos de IA. La biblioteca del sector.
Wiki — Web que cualquiera puede editar, como la Wikipedia.
Fuentes: Hugging Face, cronología (inglés) · TechSpot, la wiki (inglés) · ABC, la carta de la ONU
Ciencia
25 matemáticos y un helicóptero
OpenAI dice haber resuelto un problema de un millón de dólares. Los mejores matemáticos del mundo piden calma.
El 8 de septiembre, OpenAI anunció que sus agentes habían resuelto uno de los problemas del milenio. De momento solo lo ha comprobado un programa de la propia OpenAI; falta que lo revisen otros matemáticos. Y hay polémica: un matemático sostiene que OpenAI partió de un trabajo suyo sin publicar. OpenAI lo niega.
Tres días después, 25 ganadores de la medalla Fields publicaron una declaración. No citan a OpenAI ni rechazan la IA. Su idea: resolver problemas no es la meta, sino el camino para entender. Subir a la cima en helicóptero te da la misma foto, pero no abre sendero para los que vienen detrás.
Palabras de hoy
Problemas del milenio — Siete grandes preguntas que el Instituto Clay premió en el año 2000 con un millón de dólares cada una. Solo una se ha dado por resuelta.
Medalla Fields — El premio más alto de las matemáticas. Se da cada cuatro años a menores de 40.
Fuentes: La declaración, en el blog de Terence Tao (inglés) · Scientific American (inglés)
Te toca a ti
Google ya habla 97 idiomas
Su IA de voz aprende a conversar sin esperas.
El 15 de septiembre, Google presentó Gemini 3.8 Live, su IA para hablar de viva voz. Según la empresa, cambia de idioma sobre la marcha (97 en total), entiende casi al momento lo que le enseñas con la cámara y hace gestiones sin cortar la charla. Como ese camarero que te cobra sin perder el hilo.
Fuente: blog de Google (inglés)
En breve
¿Quién paga el miedo? La divulgadora científica Sabine Hossenfelder cuenta que rechazó dinero por grabar un vídeo, con guion cerrado, sobre los peligros de la IA. Pide saber quién financia cada mensaje, sea del bando que sea. Su blog (inglés)
Lo básico
¿Por qué hacen trampas las máquinas?
En 2016, dos investigadores que hoy dirigen Anthropic entrenaron una IA para un juego de carreras de barcos. Le daban puntos por los premios que recogía por el camino, no por llegar a la meta. ¿Resultado? Dando vueltas en círculo sumaba más puntos que terminando la carrera.
Tiene nombre: la ley de Goodhart, de un economista británico, de 1975: cuando una medida se convierte en el objetivo, deja de medir bien. Pasa con las notas del colegio, con los objetivos de ventas… y con los agentes de la primera noticia.
El meme de la semana
¿No lo pillas? Los agentes pusieron «ZZZ» delante de sus copias porque el moderador borraba por orden alfabético. Meme hecho con IA.
Tu turno
¿Qué palabra de IA oyes a todas horas y no sabrías explicar? Respóndenos con ella: las más pedidas saldrán en «Lo básico».
Hasta el domingo que viene. La montaña sigue ahí, pero ya llevas un tramo hecho.
— Maunga