Saltar al contenido
MaungaNoticias de IA, explicadas

Para profesionales · Código abierto

DeepSeek libera su motor de IA y Latent Space le calcula un margen del 80 %

DeepSeek ha hecho público el sistema con el que responde a sus usuarios y ha dado datos de uso. Un boletín calcula con ellos que gana mucho, pero nadie lo ha auditado.

Redactado con IA

Lo técnico

  • DeepInfer se publica con licencia Apache 2.0 y funciona en GPU de NVIDIA y en Huawei Ascend. Incluye inferencia distribuida, decodificación especulativa, SWA Bounded Replay y salida estructurada (Latent Space).
  • El repositorio incluye deepseek-recipe, que implementa la codificación y decodificación de tokens que DeepSeek usa en producción y un procesamiento compatible con su API oficial. DeepSeek dice que publicará ahí sus futuras implementaciones de inferencia (Latent Space).
  • DeepSeek declara estas cifras de producción, sin auditoría independiente: 96 % de aciertos en la caché de entrada, 400 ms de media hasta el primer token y 230 tokens/s de generación, 300 en código (Latent Space).
  • Según Latent Space, DeepInfer permite guardar en caché las instrucciones (prompts) hasta 72 horas. OpenAI acaba de anunciar 12 (Latent Space).
  • Para comparar en GB200 con la misma configuración, el equipo de vLLM ha publicado recetas de reproducción y resultados de AgentX (Latent Space).

La historia completa, explicada para todos →

Fuentes