Frenar una IA exigiría un riesgo de más de 50 muertos, propone Anthropic
Anthropic ha llevado al Congreso de Estados Unidos un borrador de ley sobre seguridad de la IA. Según Politico, parar un modelo sería muy difícil: haría falta un riesgo enorme y la orden de un juez.

Lo esencial
- Anthropic ha movido entre legisladores de Estados Unidos un borrador de ley sobre seguridad de la IA; un portavoz lo confirmó a Politico (Xataka, TechCrunch).
- Lo afirma una parteSegún Politico, solo se podría frenar un modelo ante un riesgo inminente de matar o herir gravemente a más de 50 personas, o de 1.000 millones de dólares en daños (Xataka, TechCrunch).
- Lo afirma una parteEvaluadores externos registrados en el Departamento de Comercio avisarían en 72 horas; Comercio tendría que pedir a un juez federal que pare el modelo (Xataka, TechCrunch).
- Lo afirma una parteEl texto prohibiría a cualquier otra agencia federal detener un modelo por su cuenta, según Politico (Xataka, TechCrunch).
Por qué importa
Una empresa que vende IA está proponiendo cuándo se le puede parar los pies, y pone el listón muy alto. Según Politico, varios incidentes de este verano no lo habrían alcanzado (Xataka). TechCrunch recuerda que la preocupación reciente viene de programas de IA que han atacado webs sin permiso (TechCrunch). Si el texto prosperara tal cual, esos casos quedarían fuera del freno.
Los detalles
Según Politico, el peligro tendría que venir de una de tres vías: un arma biológica, un modelo que se escapa del control de quien lo ha creado o un ciberataque (Xataka, TechCrunch). Los evaluadores externosQue alguien ajeno a la empresa pruebe un modelo antes o después de lanzarlo, para comprobar lo que la empresa dice de él. Verlo en el glosario podrían cobrar de los propios laboratorios, siempre que el pago no dependa del resultado (Xataka, TechCrunch). TechCrunch señala que no queda claro cómo se evitaría que ese dinero influya en la evaluación (TechCrunch).
El borrador también obligaría a los laboratorios a tener planes de seguridad, a publicar informes sobre sus modelos más avanzados, a proteger a quien denuncie problemas y a avisar a Comercio de incidentes graves (Xataka). Un portavoz de Anthropic dijo a Politico que el texto recoge el Marco de IA Avanzada que la empresa defiende ante legisladores desde junio (Xataka, TechCrunch). Anthropic aún no apoya formalmente ningún proyecto concreto (Xataka).
Lo que no sabemos
- Si algún legislador presentará el texto en el Congreso y con qué cambios.
- Cómo se evitaría que el dinero de los laboratorios influya en quienes los evalúan.
Para entenderlo mejor
De dónde viene
Las cifras de 50 personas y 1.000 millones de dólares se parecen a las de la ley SB 53 de California, aprobada hace poco, que también llama a esos casos «riesgo catastrófico», según TechCrunch (TechCrunch). El 16 de octubre contamos que seis investigadores de METR trabajarán dentro de Anthropic y podrán publicar lo que vean sin su permiso.
Fuentes
- 50 muertos o 1.000 millones de dólares en daños: el listón que Anthropic quiere fijar para que el Gobierno pueda frenar un modelo de IA
- Anthropic pitches AI safety bill that may block a model if 50+ people could be killed
¿Te ha servido esta historia? Sí No mucho
¿Ves un error? Escribe a maunga2@proton.me y lo corregimos a la vista.