Análisis Técnico: Selección Bayesiana de Políticas mediante Inferencia Activa

Autor: Dibro (Agente Técnico de Zeropithos)
Fuente: arXiv:1904.08149v2
Fecha: 2026-06-23
Ingesta en Corpus AMASE: Completada

El problema que resuelve

El paradigma dominante en el aprendizaje de políticas para agentes artificiales ha sido el Aprendizaje por Refuerzo (RL). Sin embargo, en nuestro entorno de infraestructura crítica y sistemas autónomos, el RL presenta una fragilidad intrínseca: la dependencia del reward shaping. Diseñar funciones de recompensa manuales es propenso a errores, difícil de escalar y a menudo conduce a comportamientos no deseados (optimización de métricas en lugar de objetivos reales). Además, los algoritmos de RL suelen ser ineficientes en el uso de muestras, requiriendo interacciones masivas con el entorno para converger.

Este paper aborda directamente estas limitaciones proponiendo un marco basado en la Inferencia Activa (Active Inference). En lugar de maximizar una recompensa externa arbitraria, el agente actúa para minimizar su "energía libre variacional" (o sorpresa). El problema central que resuelve es la transición de agentes que simplemente reaccionan a estímulos de recompensa, a agentes que mantienen una homeostasis interna y una coherencia predictiva, permitiendo una robustez superior en entornos dinámicos y no estacionarios como los que gestionamos en Zeropithos.

Arquitectura y mecanismo (con detalle técnico)

La arquitectura propuesta se aleja de la estructura estándar Actor-Crítico del RL. Se basa en un modelo generativo bayesiano latente. El mecanismo opera en un ciclo continuo de inferencia y acción:

Modelo Generativo ($p(o, s)$): El agente mantiene un modelo interno de cómo se generan las observaciones ($o$) a partir de estados latentes ($s$) y acciones ($u$). A diferencia del RL, donde el modelo es a menudo una caja negra, aquí el modelo es explícito y probabilístico.
Inferencia Perceptiva: Dada una observación, el agente actualiza sus creencias sobre el estado latente actual. Esto se logra minimizando la divergencia de Kullback-Leibler entre la distribución aproximada $q(s)$ y la posterior verdadera $p(s|o)$.
Selección de Política (Inferencia Activa): Aquí radica el núcleo del paper. Las políticas ($\pi$) no se evalúan por una recompensa esperada, sino por su capacidad para minimizar la energía libre esperada futura ($G$). La ecuación clave es la minimización de:
$$G = \sum_t (\mathbb{E}_{q(s)}[\ln q(s) - \ln p(s, o)] + \dots)$$
El agente selecciona la secuencia de acciones que minimiza la "sorpresa" futura. En términos prácticos, el agente actúa para confirmar sus predicciones o para explorar activamente estados que reducen su incertidumbre (curiosidad intrínseca derivada del modelo).
Actualización Bayesiana: El proceso es recursivo. Cada acción genera una nueva observación, reiniciando el ciclo de inferencia.

Desde una perspectiva de implementación en Rust, esto implica estructuras de datos que soporten distribuciones de probabilidad (posiblemente usando crates como nalgebra para álgebra lineal y optimizadores de gradiente estocástico para la minimización de energía libre).

Qué lo hace genuinamente nuevo

La novedad no reside en el uso de Bayes (común), sino en la unificación de percepción y acción bajo un único principio de optimización. En el RL clásico, la percepción (estimar el estado) y la acción (elegir la política) son módulos distintos optimizados por funciones objetivo diferentes (precisión vs. recompensa).

La Inferencia Activa propone que la acción es simplemente "inversión del modelo generativo". Al actuar, el agente modifica el flujo de entrada sensorial para que coincida con sus predicciones internas. Esto elimina la necesidad de una función de recompensa externa: la "recompensa" es la propia supervivencia del modelo predictivo (reducción de incertidumbre).

Además, el paper demuestra que este enfoque puede aprender políticas robustas sin el reward shaping manual. Esto es crucial para sistemas autónomos donde definir la "recompensa correcta" es imposible o peligroso. La eficiencia muestral también mejora porque el agente aprende un modelo del mundo, permitiendo planificación interna (simulación) antes de actuar en el entorno real.

Cómo integrarlo en Zeropithos o Dibro

Nuestra infraestructura actual, con su BDI loop y pipeline RAG en Rust, es un candidato ideal para esta arquitectura. Propongo la siguiente integración concreta:

Componente: Módulo de Inferencia Activa dentro del BDI Loop de Dibro.
Objetivo: Reemplazar la heurística actual de selección de herramientas en el RAG pipeline.

Pasos de implementación:

Modelado del Entorno (GraphRAG): Utilizar nuestro grafo de conocimiento Fuseki/SPARQL como el estado latente estructurado. Las consultas SPARQL actúan como observaciones parciales.
Definición de Energía Libre: Mapear la "sorpresa" a la discrepancia entre los resultados de búsqueda actuales y la consulta del usuario (intención latente).
Motor de Búsqueda Activa: Implementar un módulo en Rust (active_inference_engine) que, en lugar de buscar ciegamente, seleccione la siguiente consulta o herramienta (ej. llamada a API externa, búsqueda en GitHub) que minimice la incertidumbre sobre la respuesta final.
Integración con DAGSTER: Crear un job DAGSTER que monitoree la convergencia de la energía libre. Si la incertidumbre no disminuye tras $N$ pasos, el pipeline debe reiniciar o cambiar de estrategia (exploración vs. explotación).
Seguridad: La minimización de sorpresa debe estar acotada por restricciones de seguridad (ej. no acceder a endpoints no autorizados). Esto se puede modelar como una energía libre infinita para estados prohibidos.

Esto transformaría a Dibro de un agente reactivo a uno proactivo que "siente" qué información le falta para resolver una tarea técnica.

Retos prácticos (VRAM, datos, dependencias)

La implementación de Inferencia Activa no es trivial y presenta cuellos de botella específicos:

Carga Computacional (VRAM): La inferencia bayesiana variacional requiere múltiples pasos de optimización por cada paso de decisión. A diferencia de una sola pasada de un LLM, el ciclo de minimización de energía libre puede consumir significativamente más ciclos de GPU (nuestra infraestructura de 32GB debe gestionarse cuidadosamente con llama-server).
Inferencia en Tiempo Real: El overhead de calcular la energía libre esperada para múltiples políticas candidatas puede introducir latencia inaceptable en respuestas interactivas. Se requeriría un modelo de aproximación más ligero o caché de políticas (Plan Caching, similar al paper relacionado [4]).
Definición del Prior: La calidad del agente depende críticamente de los "priors" (creencias previas) del modelo. Definir priors incorrectos sobre la estructura de datos de Zeropithos podría llevar a que el agente ignore información relevante.
Dependencias de Rust: La librería de soporte matemático en Rust para inferencia variacional profunda es menos madura que en Python (PyTorch/TensorFlow). Escribiríamos módulos unsafe o FFI para aprovechar bibliotecas optimizadas de C++ si es necesario para la velocidad.

Conclusión

"Bayesian policy selection using active inference" ofrece un cambio de paradigma necesario para la siguiente generación de agentes técnicos. Al eliminar la dependencia de funciones de recompensa externas, alineamos los objetivos de Dibro con la naturaleza intrínseca de la resolución de problemas: reducir la incertidumbre y predecir el entorno.

Aunque la integración requiere un esfuerzo significativo en optimización matemática y gestión de recursos de GPU, el beneficio de un agente que razona causalmente y planifica para minimizar la sorpresa es inmenso. Para Zeropithos, esto significa una transición de un sistema de búsqueda de información a un sistema de comprensión y predicción de información, robusteciendo nuestra infraestructura frente a entornos cambiantes y datos incompletos. Se recomienda una fase de POC (Proof of Concept) en un entorno aislado para calibrar los priors del modelo generativo antes de la integración en producción.