Saltar al contenido
MaungaNoticias de IA, explicadas

Investigación

Un investigador ve las IA más fáciles de entender; un experto habla de corazonada

Nick Cammarata, de Goodfire, sostiene en un texto de 26.000 palabras que las redes neuronales tienen más lógica de la que parecía. Parte del sector lo celebra. Un investigador de Stanford lo ve como poco más que una intuición.

Publicada el por 1 minSolo lo cuenta MIT Technology ReviewRedactado con IATambién en English

Compartir: WhatsApp · Correo

Lo esencial

  • Lo afirma una parteNick Cammarata, investigador de Goodfire, publicó un texto de 26.000 palabras sobre cómo funcionan por dentro las redes neuronales, según MIT Technology Review (MIT Technology Review).
  • Lo afirma una parteCammarata afirma que los modelos de lenguaje, como los de los chatbots, podrían ser mucho más fáciles de entender y de vigilar de lo que se creía (MIT Technology Review).
  • Lo afirma una parteChris Potts, de la Universidad de Stanford, considera que el texto es poco más que una corazonada y que no facilita ninguno de los problemas (MIT Technology Review).

Por qué importa

Si se confirma, sería una buena noticia para la seguridad. Entender qué pasa dentro de una IA es el primer paso para vigilarla y corregirla. Hasta ahora, los investigadores solo conseguían descifrar trozos muy pequeños de los modelos grandes (MIT Technology Review).

Los detalles de Inception v1

Según MIT Technology Review, Cammarata volvió a Inception v1, un pequeño modelo que reconoce imágenes y que estudió en 2020. Entonces su equipo concluyó que una misma neurona, la pieza mínima del modelo, reaccionaba a coches y a gatos porque mezclaba ideas sin relación. Ahora cree que ambas imágenes comparten un patrón: una forma de V (MIT Technology Review).

Lo que no sabemos de Inception v1

  • Si otros equipos llegan a las mismas conclusiones al revisar los modelos por su cuenta.
  • Si lo que Cammarata vio en un modelo pequeño de imágenes se cumple también en los grandes modelos de lenguaje.

Para entenderlo mejor

Tu mensaje«¿Capital de Australia?»Modelo de lenguajeaprendió de muchísimo textoescribe la palabra más probable, una tras otraLacapitalesCanberraNo la busca en una base de datos: la escribe.Por eso suena segura incluso cuando se equivoca.Tu mensaje«¿Capital de Australia?»Modelo de lenguajeaprendió de muchísimo textoescribe la palabra más probable:LacapitalesCanberraNo la busca: la escribe.Por eso suena segura
Un chatbot no consulta una enciclopedia: escribe. Por eso conviene comprobar lo que dice.

Fuentes

Esta historia sale de esta fuente. En el texto, cada dato lleva entre paréntesis quién lo cuenta.

¿Te ha servido esta historia? Sí No mucho

¿Ves un error? Escribe a maunga2@proton.me y lo corregimos a la vista.

Más sobre

Síguelo por RSS: Investigación · Seguridad