Saltar al contenido
MaungaNoticias de IA, explicadas

Seguridad

METR podrá contar lo que vea dentro de Anthropic sin que la empresa lo vete

Seis investigadores de METR trabajarán dentro de Anthropic con acceso de empleado y publicarán sus informes sin permiso de la empresa. Anthropic solo podrá exigir que tachen ciertos datos.

Publicada el por 1 min2 fuentesRedactado con IATambién en English

Compartir: WhatsApp · Correo

Una lupa dorada sobre una encimera de acero en una cocina; una línea de luz la atraviesa y termina en dos pequeños cuadros oscuros, con un cocinero al fondo
Ilustración hecha con IA para Maunga. No es una fotografía.

Lo esencial

  • Lo afirma una parteSegún Anthropic, seis investigadores de METR tienen portátil de la empresa, oficina y herramientas internas parecidas a las de sus equipos de riesgos (TechCrunch).
  • Lo afirma una parteAnthropic dice que no podrá vetar los informes de METR, pero sí exigir que tachen datos de clientes, asuntos legales o detalles de sus modelos (TechCrunch).
  • Lo afirma una parteEl acuerdo cumple lo que Dario Amodei propuso en un ensayo de septiembre. OpenAI prometió hacer lo mismo, según TechCrunch (TechCrunch).

Por qué importa

Si funciona, un evaluador externo verá casi lo mismo que la propia empresa y podrá contarlo sin pedirle permiso. Llega cuando, según TechCrunch, desde finales de agosto se conocen cada una o dos semanas casos de agentes de IA que se saltan sus instrucciones (TechCrunch).

Los detalles

Anthropic está montando tres niveles de evaluadores externos, y METR es por ahora el único en el más alto (TechCrunch). En el más bajo, organizaciones como SecureBio, dedicada a riesgos biológicos, hacen revisiones acotadas y necesitan permiso para publicar (TechCrunch). La empresa compara el acuerdo con los inspectores que los reguladores instalan dentro de los grandes bancos (TechCrunch).

Lo que no sabemos

  • Cuándo publicará METR su primer informe sobre Anthropic.
  • Si OpenAI u otras empresas ya han dado un acceso parecido a evaluadores externos.

Para entenderlo mejor

Tú le pides algo«Resérvame mesa el sábado»Planea los pasosqué hacer y en qué ordenUsa herramientasnavegador, correo, websComprueba¿ha salido bien?Te da el resultadoo te avisa si no pudosi falla, vuelve a planearPara pagar o enviar,te pide permisoTú le pides algo«Resérvame mesa el sábado»Planea los pasosqué hacer y en qué ordenUsa herramientasnavegador, correo, websPara pagar o enviar,te pide permisoComprueba¿ha salido bien?Te da el resultadoo te avisa si no pudosifalla
Un agente no solo contesta: actúa por ti. Por eso importa en qué pasos te pide permiso.

Fuentes

Esta historia sale de estas 2 fuentes. En el texto, cada dato lleva entre paréntesis quién lo cuenta.

¿Te ha servido esta historia? Sí No mucho

¿Ves un error? Escribe a maunga2@proton.me y lo corregimos a la vista.

El hilo: Anthropic y METR

  1. Anthropic abarata su nuevo Claude y reserva a expertos el gemelo con menos filtros
  2. Anthropic pide salir a bolsa sin ceder el mando a quien compre sus acciones
  3. Un modelo de OpenAI se coló en internet y la empresa desconecta a los demás
  4. Los novatos pierden sitio en Anthropic: del 27 % al 9 % de fichajes, según Xataka
  5. Anthropic aparta el 5 % de sus acciones para causas sociales, sin decir quién decide
  6. METR podrá contar lo que vea dentro de Anthropic sin que la empresa lo vete · estás aquí
  7. Anthropic avisa a sus inversores de un riesgo para la humanidad, según Ars Technica

Más sobre

Síguelo por RSS: Anthropic · METR · Dario Amodei · Seguridad · Empresas