Newsletter para devsEntra

Atención en LLM

La atención (attention) es el mecanismo de un LLM que reparte la influencia de cada token entre los demás del contexto: cada token dispone de un presupuesto finito de atención que se reparte entre más competidores a medida que la sesión crece. Con más tokens en juego, la señal sobre relaciones significativas se diluye y el modelo se vuelve más flojo y olvidadizo — la «dumb zone» frente a la «smart zone» inicial. Por eso contextos enormes no se traducen en calidad enorme: el budget por token no crece con la ventana, y compactar para cargar solo lo relevante es la forma de contrarrestar la degradación de atención.

Prompt para tu agente
Explícame cómo afecta la atención del modelo a <mi tarea con contexto largo>: por
qué al crecer la sesión el modelo se vuelve olvidadizo, qué parte del contexto
está en la «dumb zone», y qué compactar o mover al principio para no perder señal.

Fuentes en Web Reactiva

Daniel Primo

Artículo creado por Daniel Primo con ayuda de la IA en base a lo compartido en el podcast, vídeos y textos de Web Reactiva.

12 recursos para developers cada domingo en tu bandeja de entrada

Además de una skill práctica bien explicada, trucos para mejorar tu futuro profesional y una pizquita de humor útil para el resto de la semana. Gratis.