Bienvenido al mundo del software.
Tu código es parte de un sistema mayor.

Wiener definió el control como un ciclo de cuatro piezas. La retropropagación las implementa todas, sin excepción y sin metáfora:

Planta (el sistema controlado)

La red: pesos, sesgos y no linealidades.

Sensor

La función de pérdida. Convierte «qué tan mal va» en un número comparable.

Comparador

El gradiente ∇L: dirección y magnitud de la desviación respecto al objetivo.

Actuador

La actualización θ ← θ − η∇L. Corrige la planta en proporción al error.

La diferencia con un termostato es de orden, no de naturaleza: el termostato ajusta una variable, la red ajusta su propia función de transferencia. Eso es cibernética de segundo orden — un sistema que modifica sus propias reglas de operación.

for epoch in range(N):
    y_hat = red.forward(x)          # la planta produce salida
    L     = perdida(y_hat, y)        # SENSOR: mide la desviación
    g     = red.backward(L)          # COMPARADOR: hacia dónde corregir
    theta = theta - eta * g          # ACTUADOR: corrige la planta
    # el lazo se repite: retroalimentación NEGATIVA pura

La función de pérdida más usada en clasificación se llama entropía cruzada, y el nombre es literal: mide, en bits, cuánta incertidumbre queda entre la distribución que predice el modelo y la distribución real de los datos.

Entrenar es minimizar esa cantidad. Es decir: entrenar es un proceso negentrópico. El modelo pasa de un estado de máxima incertidumbre —pesos aleatorios, salida uniforme— a un estado de baja entropía en el que su distribución interna reproduce la estructura del entorno.

De ahí se deduce algo operativo: si dejas de alimentar el lazo —datos frescos, reentrenamiento, evaluación— la entropía del entorno vuelve a ganar. Eso tiene nombre propio en producción: deriva del modelo. No es que el modelo se degrade; es que el entorno se movió y el sistema dejó de ser abierto.

La unidad de un modelo de lenguaje es aritmética elemental: una suma ponderada seguida de una no linealidad. No hay gramática codificada, ni base de conocimiento, ni motor de inferencia lógica. Y sin embargo, al escalar el número de elementos y la densidad de sus interacciones, aparecen capacidades que nadie especificó: traducción, seguimiento de instrucciones, aprendizaje en contexto, razonamiento por pasos.

Eso es emergencia en el sentido estricto de la Ola 3: propiedades del conjunto ausentes en cada parte y no deducibles de ellas por composición simple.

El mecanismo de atención merece una lectura sistémica propia: define qué elementos se acoplan con cuáles en cada paso y según el contenido. Es acoplamiento dinámico — la topología interna del sistema deja de ser fija y pasa a ser una variable de estado. Autoorganización topológica, no una metáfora de ella.

Temperatura

Control directo de la entropía del muestreo. Cerca de 0 el sistema es casi determinista y repetitivo; alta, explora más y se desordena. Es una perilla sistémica, no estética: decides cuánta variedad admites en la salida.

Ventana de contexto

La frontera perceptiva del sistema. Todo lo que queda fuera, sencillamente no existe para él. Muchos fallos atribuidos al «modelo» son fallos de diseño de esa frontera.

Recuperación y herramientas

Sensores hacia el entorno. Convierten un sistema cerrado —que sólo consulta su estado interno— en un sistema abierto capaz de corregirse con información externa.