Saltar al contenido
MaungaNoticias de IA, explicadas

Seguridad

Microsoft pide no fiarse de los agentes de IA y vende el vigilante

Microsoft avisa de que los agentes de IA de las empresas pueden actuar como un empleado infiltrado. Su solución son otros agentes que los vigilen, y los vende ella.

Publicada el por 2 min2 fuentes, una oficialRedactado con IATambién en English

Compartir: WhatsApp · Correo

Cámara de seguridad en la pared de un almacén con cajas; un fino haz de luz llega a una figura translúcida que carga una caja junto a la puerta
Ilustración hecha con IA para Maunga. No es una fotografía.

Lo esencial

  • Microsoft presentó el 19 de octubre Guardian Agents, unos agentes que supervisan cada acción de los demás agentes de IA de una empresa (Microsoft Source, TechCrunch).
  • Lo afirma una parteHayete Gallot, responsable de seguridad de Microsoft, afirma que ningún modelo puntero es fiable: no por malicia, sino porque es impredecible (Microsoft Source, TechCrunch).
  • Lo afirma una parteSegún TechCrunch, Microsoft Defender detecta ahora hasta 60 tipos de agentes que los empleados llevan al trabajo, como Claude Code o Codex (TechCrunch).
  • Lo afirma una parteSegún TechCrunch, el sistema ajusta los permisos de cada agente a su tarea y pide aprobación humana si una decisión parece arriesgada (TechCrunch, Microsoft Source).

Por qué importa

Una de las grandes empresas de IA dice a sus clientes que no se fíen de los modelos que ella misma vende y financia. Esto sugiere que la seguridad de los agentes se perfila como un negocio aparte, parecido a una auditoría: quien vigila, separado de quien fabrica. TechCrunch considera sólido el argumento, aunque a Microsoft le convenga (TechCrunch).

¿Cómo me afecta?

Si trabajas en una empresa que usa agentes de IA, o instalas alguno por tu cuenta, el departamento de informática podría empezar a detectarlos y a limitar lo que pueden tocar.

Los detalles de Project Perception

Las novedades amplían Project Perception, el sistema de seguridad que Microsoft presentó este verano. Funciona con tres equipos de agentes: uno ataca como un pirata informático, otro detecta los fallos y otro los arregla (Microsoft Source, TechCrunch). Microsoft lo sitúa en julio y TechCrunch, en junio (Microsoft Source, TechCrunch). Nació para frenar ataques que llegan de fuera. Ahora apunta también a los agentes que ya trabajan dentro de la empresa (Microsoft Source).

Según TechCrunch, Satya Nadella, consejero delegado de Microsoft, ya pidió en octubre en su blog que las empresas vigilen a los agentes con sistemas que no controlen las propias compañías de IA (TechCrunch). Lo resumió así: hay que «separar el suministro de inteligencia de la autoridad sobre ella» (TechCrunch). El medio recuerda que Microsoft ha invertido en OpenAI y en Anthropic, y que quiere ser ella quien venda esa vigilancia (TechCrunch).

Lo que no sabemos de Project Perception

  • Cuánto cuestan estas funciones y cuándo llegan a todos los clientes, también en Europa.
  • Si alguien independiente ha comprobado que los agentes vigilantes frenan de verdad a los que se desvían.
  • Si los vigilantes funcionan con los mismos modelos que vigilan, y por tanto con sus mismos puntos ciegos.

Para entenderlo mejor

Tú le pides algo«Resérvame mesa el sábado»Planea los pasosqué hacer y en qué ordenUsa herramientasnavegador, correo, websComprueba¿ha salido bien?Te da el resultadoo te avisa si no pudosi falla, vuelve a planearPara pagar o enviar,te pide permisoTú le pides algo«Resérvame mesa el sábado»Planea los pasosqué hacer y en qué ordenUsa herramientasnavegador, correo, websPara pagar o enviar,te pide permisoComprueba¿ha salido bien?Te da el resultadoo te avisa si no pudosifalla
Un agente no solo contesta: actúa por ti. Por eso importa en qué pasos te pide permiso.

Fuentes

Esta historia sale de estas 3 fuentes. En el texto, cada dato lleva entre paréntesis quién lo cuenta.

¿Te ha servido esta historia? Sí No mucho

¿Ves un error? Escribe a maunga2@proton.me y lo corregimos a la vista.

El hilo: Microsoft y Project Perception

  1. Wikimedia pide que la IA entrene con obras, pero no las repita, según The Verge
  2. Cuatro grandes de la IA dicen que adoptarán una señal para que las webs les digan no
  3. Unos 60.000 empleados de Microsoft podrán irse con indemnización, según The Verge
  4. Microsoft pide no fiarse de los agentes de IA y vende el vigilante · estás aquí
  5. Para decidir rápido, Microsoft saca una IA que puntúa opciones y no escribe
  6. Nadella pide asumir que cualquier modelo de IA está comprometido y poder frenarlo
  7. El nuevo Surface con chip de Nvidia promete IA sin nube, desde 2.599 dólares

Más sobre

Síguelo por RSS: Microsoft · Satya Nadella · Seguridad · Empresas