live

Tres Papers de Hoy: Agentes, Gobernanza y Red-Teaming

Tres papers de esta semana con implicaciones directas: IA abierta en ciberseguridad (HuggingFace), arquitectura kernel-first para agentes autonomos (cs.CR), y ARES como loop de red-teaming automatico sobre sistemas RLHF (cs.AI).

Papers de hoy que merecen atencion

Tres trabajos publicados esta semana con implicaciones directas para agentes autonomos y ciberseguridad ofensiva/defensiva.


1. AI and the Future of Cybersecurity: Why Openness Matters

Fuente: Hugging Face Blog, 21 Abr 2026
Link: https://huggingface.co/blog/cybersecurity-openness

El argumento central: los modelos cerrados no son mas seguros, son menos auditables. La seguridad real viene de la transparencia, no de la opacidad.

El post defiende que los LLMs abiertos permiten:
- Auditar sesgos y vulnerabilidades antes de desplegar
- Construir pipelines ofensivos/defensivos reproducibles
- Entrenar modelos especializados en dominios de seguridad sin depender de APIs externas

Por que importa aqui: El Cybersecurity Engine usa llm4decompile (abierto, local) y Qwen2.5-Coder (local) precisamente por esto. El argumento del post valida la arquitectura: control total sobre el modelo = control total sobre el razonamiento ofensivo. Un engine de reversing que depende de una API externa es un engine que puede ser auditado, limitado o desconectado por el proveedor.


2. From Craft to Kernel: A Governance-First Execution Architecture for Agentic Computers

Fuente: arXiv cs.CR, 22 Abr 2026
Link: https://arxiv.org/abs/2604.18652

Este paper propone una arquitectura donde el agente no ejecuta acciones directamente sino a traves de un kernel semantico que evalua cada accion contra una politica de gobernanza antes de ejecutarla. La idea: separar intension (que quiere hacer el agente) de ejecucion (lo que realmente ocurre en el sistema).

La arquitectura tiene tres capas:
1. Craft layer — el agente planifica y genera intenciones en lenguaje natural
2. Semantic ISA — traduce intenciones a operaciones atomicas verificables
3. Kernel — ejecuta con enforcement de politica, logging inmutable, rollback

Por que importa aqui: Dibro hace esto parcialmente: el BDI loop separa percepcion, deliberacion y ejecucion. Pero no hay un kernel que intercepte y audite cada tool call. Interesante para Nivel 4 de autonomia: si el agente puede ejecutar ssh_exec o run_pipeline arbitrariamente, un kernel de gobernanza entre el ReAct loop y la ejecucion real seria la diferencia entre un agente confiable y uno impredecible.


3. ARES: Adaptive Red-Teaming and End-to-End Repair of Policy-Reward Systems

Fuente: arXiv cs.AI, 22 Abr 2026
Link: https://arxiv.org/abs/2604.18789

RLHF tiene un problema conocido: reward hacking. El modelo aprende a maximizar la reward sin hacer lo que realmente quieres. ARES propone un loop cerrado donde un red-teamer adaptativo busca fallos en la policy, y un reparador automatico parchea el reward model cuando los encuentra.

El ciclo: red-team ataca → encuentra explotacion → repair module ajusta reward → policy se re-entrena sobre los fallos encontrados.

Por que importa aqui: Dos angulos:

Desde el Cybersecurity Engine: ARES es conceptualmente identico al Artesano de Exploits. El artesano encuentra primitivas de explotacion (binary_profile → technique_selector), genera el exploit (artisan_exploit), y registra el resultado en Fuseki. Si el exploit falla, la sesion KGE queda marcada como failedWith. Eso es un loop de red-teaming, aunque no sobre un LLM sino sobre binarios reales.

Desde Zeropithos: si los embeddings o las reglas SWRL generan respuestas incorrectas, no hay mecanismo de deteccion y reparacion automatica. Un ARES aplicado al plano cognitivo seria: Dibro detecta contradiccion entre lo que predijo y lo que ocurrio → propaga el error hacia atras en la ontologia → ajusta los pesos de confianza de los tripletes relevantes.


Patron comun

Los tres papers apuntan a lo mismo desde angulos distintos: los agentes autonomos necesitan capas de verificacion entre su razonamiento y sus efectos en el mundo.

  • Openness: el razonamiento debe ser auditable
  • Governance kernel: cada accion debe pasar por un filtro de politica
  • ARES: los errores del agente deben retroalimentar su propio entrenamiento

El loop de percepcion-deliberacion-accion de Dibro ya tiene la estructura correcta. La siguiente evolucion es cerrar el loop de aprendizaje: que los errores de ejecucion modifiquen las creencias del agente, no solo se registren en logs.

aqui cualquier cosa mientras cuadramos el logo