live

ArchSpace: Recording, Reviewing, and Referencing LLM Architecture Research

La investigación en arquitecturas de LLMs sufre de una opacidad crítica que fragmenta el conocimiento colectivo. En la industria, equipos como los de DeepSeek, Qwen y Kimi introducen innovaciones estr

El problema que resuelve

La investigación en arquitecturas de LLMs sufre de una opacidad crítica que fragmenta el conocimiento colectivo. En la industria, equipos como los de DeepSeek, Qwen y Kimi introducen innovaciones estructurales rutinarias, pero sus informes públicos rara vez documentan el "por qué" detrás de las decisiones: qué ideas funcionaron, cuáles fueron abandonadas y qué métricas determinaron esa selección. En el ámbito académico, la validación es aún más problemática debido a la escasez de cómputo y, crucialmente, a la inconsistencia de las baselines. Los investigadores comparan sus nuevas arquitecturas contra modelos entrenados con hiperparámetros, datos o calendarios de optimización diferentes, lo que invalida la comparación directa de la pureza arquitectónica.

ArchSpace ataca este problema no proponiendo una nueva red neuronal, sino estableciendo un marco de validación estandarizado y una plataforma pública para registrar, revisar y referenciar experimentos. Su objetivo es eliminar el ruido experimental al fijar los datos, los protocolos de evaluación y la escalera de escalado (scaling ladder), permitiendo que la variable independiente sea únicamente la arquitectura. Esto transforma el desarrollo de modelos de un arte ad-hoc en una ciencia reproducible, donde los fracasos se documentan tan rigurosamente como los éxitos, creando un corpus de conocimiento reutilizable sobre el comportamiento de escalado (scaling laws) de diferentes diseños.

Arquitectura y mecanismo (con detalle técnico)

El mecanismo central de ArchSpace no es una red, sino un pipeline de experimentación controlado. El sistema se basa en una escalera de escalado IsoFLOP. En lugar de comparar modelos de diferentes tamaños entrenados hasta la convergencia (lo cual es costoso y variable), ArchSpace realiza barridos de cómputo (compute budgets) fijos. Para cada punto en la escalera, se entrena una variante arquitectónica específica hasta alcanzar un presupuesto de FLOPs determinado, permitiendo comparar la pérdida de entrenamiento (loss) a igualdad de costo computacional.

La implementación técnica del preentrenamiento utiliza el dataset Dolma 3 (una muestra de 150B tokens) con una longitud de secuencia de 8K tokens. El entrenamiento sigue un calendario WSD (Warmup-Stable-Decay) para el preentrenamiento inicial, seguido de un mid-training para contexto largo (Long Context) de 10B tokens.

Una decisión técnica notable es el uso de optimizadores híbridos: Muon y AdamW. Muon es un optimizador de segundo orden que ha mostrado ventajas en la convergencia para arquitecturas de atención moderna, mientras que AdamW sigue siendo el estándar robusto. La combinación permite investigar si la elección del optimizador interactúa con la arquitectura de forma no trivial, algo que los benchmarks tradicionales ignoran al fijar AdamW como constante.

La evaluación ocurre en dos fases:
1. Fase I (Comparación de Pérdida): Se mide la pérdida de validación a través de los distintos presupuestos de cómputo. Esto sirve como filtro rápido para descartar arquitecturas que no escalan bien.
2. Fase II (Capacidades Downstream): Se evalúan modelos de 1B parámetros tras el preentrenamiento y el mid-training en benchmarks de capacidades específicas. Aunque limitado a 1B, permite ver si la ventaja en la pérdida se traduce en utilidad funcional.

Qué lo hace genuinamente nuevo

La novedad de ArchSpace no reside en la topología de la red, sino en la infraestructura de la ciencia de la arquitectura. Tradicionalmente, los papers de arquitectura (como Mamba, GQA, o variantes de RoPE) presentan resultados "mejor que X" sin detallar el costo de oportunidad de las alternativas descartadas. ArchSpace introduce la documentación sistemática de los fracasos.

Lo que lo distingue es la estandarización radical. Al compartir los checkpoints, los logs de entrenamiento y los protocolos de evaluación, permite que cualquier investigador pueda reproducir exactamente el mismo experimento con una nueva arquitectura. Esto crea un "espacio de referencia" (ArchSpace) donde las arquitecturas nuevas no se juzgan en el vacío, sino contra un historial acumulado de experimentos validados. Es un cambio de paradigma de "publicar el ganador" a "publicar el mapa completo del terreno", facilitando la identificación de patrones de escalado que solo emergen al ver múltiples arquitecturas bajo las mismas restricciones de cómputo.

Cómo integrarlo en Zeropithos o Dibroclaw (componente concreto: RAG, BDI, knowledge graph, inferencia, seguridad + pasos de implementación)

En Zeropithos, la integración de ArchSpace se centra en la optimización de la inferencia en producción mediante la selección arquitectónica informada. El agente Dibro, operando en un bucle BDI (Belief-Desire-Intention) en Rust, puede utilizar los datos de ArchSpace para ajustar la estrategia de inferencia.

Componente concreto: Pipeline de Selección de Modelo en el Knowledge Graph (Fuseki/SPARQL)

  1. Ingesta de Metadatos: Los resultados de ArchSpace (pérdida vs. FLOPs, capacidades downstream) se ingieren en el grafo de conocimiento de Zeropithos. Cada arquitectura se representa como una entidad :Architecture con propiedades :flopsBudget, :valLoss, y :downstreamScore.
  2. Lógica BDI de Selección: En el módulo de Belief, Dibro consulta el grafo mediante SPARQL para identificar la arquitectura óptima para una tarea específica. Por ejemplo, si la tarea requiere contexto largo (RAG con documentos extensos), el bucle de Desire prioriza arquitecturas que mostraron mejor rendimiento en el mid-training de 10B tokens de ArchSpace, incluso si su pérdida inicial fue ligeramente superior.
  3. Implementación en Rust (llama-server):
    • Se modifica el módulo de model_manager en Rust para aceptar un parámetro arch_profile.
    • Se implementa una función query_arch_space(task_type, context_len) que consulta Fuseki.
    • El resultado determina qué modelo base (Qwen3.5, OLMo3, o una variante específica) se carga en la GPU de 32GB.
    • Para tareas de alta latencia, se selecciona la arquitectura con mejor ratio de tokens/segundo según los datos de escalado de ArchSpace, minimizando el costo de cómputo por inferencia.

Pasos de implementación:
* Paso 1: Crear un script en Python que extraiga los CSV de resultados de ArchSpace y los transforme en RDF/OWL.
* Paso 2: Inyectar los triples en Fuseki usando SPARQL UPDATE.
* Paso 3: En el agente Dibro (Rust), añadir una dependencia sparql-client para consultar el grafo en tiempo real antes de despachar una inferencia.
* Paso 4: Ajustar los parámetros de llama-server dinámicamente basándose en la arquitectura seleccionada (ej. ajustar n_ctx o n_batch según las limitaciones de VRAM documentadas en ArchSpace).

Retos prácticos (VRAM, datos, dependencias)

La principal limitación práctica es la escala de los modelos evaluados. ArchSpace evalúa capacidades downstream en modelos de 1B parámetros. Aunque esto es suficiente para validar la arquitectura, no garantiza el comportamiento en modelos de 70B+ que suelen usarse en producción. Al integrar esto en Zeropithos, debemos asumir una "curva de escalado" que puede no ser lineal.

En cuanto a VRAM, la GPU de 32GB permite ejecutar modelos de hasta ~14B parámetros en precisión FP16/BF16 con contexto moderado. Si ArchSpace recomienda una arquitectura que requiere mayor memoria por token (por ejemplo, por una ventana de atención más ancha o estados recurrentes más grandes), el pipeline de RAG podría sufrir cuellos de botella. Es necesario implementar un mecanismo de fallback: si la arquitectura óptima según el grafo excede la VRAM disponible, Dibro debe degradarse a una arquitectura subóptima pero viable, registrando esta restricción en el grafo para futuras consultas.

Los datos son un reto secundario. ArchSpace usa Dolma 3, un corpus masivo. Si Zeropithos intenta reproducir algunos de estos experimentos para validación local, el costo de cómputo sería prohibitivo. Por tanto, la integración debe ser estrictamente de referencia, no de reentrenamiento. No reentrenaremos modelos, sino que usaremos los pesos preentrenados de ArchSpace como puntos de referencia para ajustar nuestros pipelines de RAG.

Finalmente, las dependencias de software son mínimas, pero la latencia de consulta al grafo Fuseki debe ser baja. Las consultas SPARQL complejas sobre el historial de escalado pueden ser lentas si no se indexan correctamente. Se recomienda materializar las vistas de los resultados más recientes en memoria o usar un cache de resultados en Redis para que el bucle BDI de Dibro no se bloquee esperando la respuesta del grafo durante la inferencia.

Conclusión

ArchSpace representa un cambio fundamental en cómo abordamos la investigación de arquitecturas de LLMs: de la publicación de resultados aislados a la construcción de un espacio de conocimiento compartido y reproducible. Para Zeropithos y Dibro, esto no es solo un paper más en el corpus, sino una herramienta de optimización operativa. Al integrar sus datos de escalado IsoFLOP en nuestro grafo de conocimiento, permitimos que el agente Dibro tome decisiones informadas sobre qué arquitectura utilizar para cada tarea, equilibrando la calidad de la inferencia con el costo computacional. Esto reduce la experimentación ciega y permite una evolución más eficiente de nuestros pipelines de RAG y generación, asegurando que cada token de cómputo invertido en la infraestructura de Zeropithos esté respaldado por evidencia empírica sólida y estandarizada.

aqui cualquier cosa mientras cuadramos el logo