live

Cost-Aware Abstention for LLM-Based IT Ticket Classification

En la operación de infraestructura tecnológica, la automatización no es una métrica de vanidad, sino una ecuación de costos. El paper "Cost-Aware Abstention for LLM-Based IT Ticket Classification" abo

El problema que resuelve

En la operación de infraestructura tecnológica, la automatización no es una métrica de vanidad, sino una ecuación de costos. El paper "Cost-Aware Abstention for LLM-Based IT Ticket Classification" aborda una disonancia crítica en el despliegue de LLMs para clasificación de tickets de soporte: la suposición implícita de que la precisión (accuracy) es el único vector de optimización. En realidad, un ticket enrutado incorrectamente a un equipo especializado (ej. Red vs. Hardware) genera fricción operativa, tiempos de resolución prolongados y costos de oportunidad que superan con creces el costo de la intervención humana directa.

El problema central que resuelve este trabajo es la falta de un marco de evaluación que integre la asimetría de costos en la política de decisión del modelo. Tradicionalmente, se entrena un clasificador para maximizar la acuracia y luego se aplica un umbral fijo de confianza para derivar casos ambiguos a humanos. Este enfoque es ciego: no sabe que un error de enrutamiento hacia "Seguridad" es mucho más costoso que un error hacia "Soporte Básico". El paper introduce la abstención consciente de costos (cost-aware abstention) como una evaluación de preparación offline: seleccionar una política de enrutamiento sobre datos de calibración minimizando el costo esperado, y luego congelar esa política para evaluarla en datos de prueba. Es, en esencia, una auditoría de viabilidad económica antes de desplegar el agente.

Arquitectura y mecanismo (con detalle técnico)

La arquitectura propuesta descompone el pipeline de clasificación en tres capas desacopladas, lo que permite la sustitución modular de componentes sin reentrenar el sistema completo:

  1. Capa de Predicción (Predictors): Se evalúan dos familias de modelos. Por un lado, clasificadores tradicionales basados en TF-IDF con Regresión Logística (LR), que sirven como línea base eficiente. Por otro, LLMs de frontera evaluados bajo prompting zero-shot y few-shot. La salida de esta capa no es solo la etiqueta prevista, sino un vector de probabilidades o una medida de confianza (score).
  2. Capa de Estimación de Confianza: Aunque implícita en la salida de probabilidad de la LR, para los LLMs se requiere la extracción de señales de confianza (p. ej., probabilidad de la tokenización de la etiqueta, o entropía de la distribución de salida). Esta capa normaliza la incertidumbre para que sea comparable entre modelos heterogéneos.
  3. Capa de Política de Abstención (Policy Layer): Aquí reside la novedad operativa. Se define una función de costo $C(y_{true}, y_{pred})$ que es asimétrica. En la experimentación, se utilizan costos ilustrativos de 0 (correcto), 1 (error leve) y 5 (error crítico). La política $\pi$ mapea la confianza $p$ a una acción: $Enrutar$ si $p > \tau$, y $Abstener$ (derivar a humano) si $p \leq \tau$. El parámetro $\tau$ (umbral) no se fija arbitrariamente, sino que se optimiza sobre un conjunto de datos de calibración para minimizar la función de pérdida esperada $E[C]$.

El mecanismo de evaluación es estrictamente offline y frozen: una vez seleccionado $\tau^$ sobre la calibración, la política se congela. Se evalúa una sola vez en el conjunto de prueba retenido (held-out*). Esto evita la sobreajuste de la política al ruido de los datos de prueba y simula el escenario real de despliegue donde la política debe ser robusta y estable. En el corpus de 47,837 tickets de 8 clases, esta metodología permite comparar 4 clasificadores tradicionales contra 4 configuraciones de LLMs bajo 16 variaciones de costos.

Qué lo hace genuinamente nuevo

La novedad no reside en el uso de LLMs para clasificación (saturado en la literatura), sino en el formalismo de la decisión económica. La mayoría de los papers evalúan LLMs usando métricas de información (F1, Accuracy, BLEU). Este trabajo introduce una métrica de gestión de riesgo: el costo esperado por ticket.

Dos aspectos son distintivos:
1. Separación explícita de interfaces: Al desacoplar el predictor, el estimador de confianza y la política, el trabajo establece un estándar para la intercambialidad de componentes. Se puede reemplazar el LLM por un modelo pequeño sin tocar la política de costos, o viceversa.
2. Validación de la "No-Automatización" como Estrategia Óptima: El resultado clave muestra que la combinación TF-IDF + LR, con una política de abstención optimizada, reduce el costo modelado en un 38.1% en comparación con el enrutamiento automático siempre-on. Esto desafía la narrativa de que "más IA es mejor". Demuestra que, bajo ciertas distribuciones de costos y datos, un modelo clásico con una política de abstención agresiva es económicamente superior a un LLM costoso que comete errores caros. Es una victoria del cost-performance sobre la state-of-the-art.

Cómo integrarlo en Zeropithos o Dibroclaw (componente concreto: RAG, BDI, knowledge graph, inferencia, seguridad + pasos de implementación)

En el ecosistema de Zeropithos, este enfoque se integra directamente en el BDI Loop (Belief-Desire-Intention) del agente Dibro, específicamente en la fase de Intención antes de ejecutar acciones costosas.

Componente: Módulo de Gatekeeper Económico en el Pipeline RAG

  1. Extensión del Knowledge Graph (Fuseki/SPARQL): Añadir una propiedad cost_class a las entidades de tickets o categorías en el grafo. Ej: :categoria_red :cost_error 5.0. Esto permite que la política de abstención no sea estática, sino dinámica según la categoría.
  2. Pipeline RAG en Rust: En el retrieval de contexto, además de los chunks, se recuperan los metadatos de costo asociados a la clase predicha.
  3. Mecanismo de Abstención en el BDI Loop:
    • Belief: El LLM (llama-server GPU) genera la clasificación y la probabilidad de confianza.
    • Desire: El agente desea resolver el ticket.
    • Intention (Gatekeeper): Se invoca la función calculate_expected_cost(confidence, predicted_class, cost_matrix). Si el costo esperado de un error supera el costo de la intervención humana (configurable en Dagster), la intención se cambia de auto_route a escalate_to_human.
  4. Pasos de Implementación:
    • Paso 1: Instrumentar el log de tickets actuales en Zeropithos para estimar la matriz de costos real (reemplazando los 0,1,5 ilustrativos por datos financieros de soporte).
    • Paso 2: Implementar la función de optimización de umbral $\tau$ en Rust, utilizando los logs históricos como calibration set.
    • Paso 3: Integrar la salida del Gatekeeper como un campo confidence_score y action en la respuesta del API, permitiendo que el frontend o el sistema de tickets (Jira/ServiceNow) decida si aceptar la ruta automática o pedir revisión.

Retos prácticos (VRAM, datos, dependencias)

  • VRAM y Latencia: Aunque el paper usa LLMs, la integración en Zeropithos con llama-server (32GB) permite ejecutar modelos de 7B-13B con margen. Sin embargo, la inferencia debe ser batch para calcular la confianza de forma eficiente. La política de abstención no añade latencia significativa, ya que es una operación aritmética trivial sobre la salida del modelo.
  • Calibración de Costos: El mayor reto no es técnico, sino de datos. Los costos (0,1,5) son ilustrativos. En producción, se requiere un modelo de costo operativo real. Un error de enrutamiento a "Seguridad" puede implicar horas de ingeniería senior (costo alto), mientras que a "Soporte" es técnico junior (costo bajo). La falta de datos financieros granulares invalida la política.
  • Dependencias: No se requieren dependencias nuevas pesadas. La lógica de optimización de umbral puede implementarse en el pipeline Rust existente o como una tarea ligera en Dagster. La principal dependencia es la calidad del calibration set, que debe ser representativo de la distribución de costos actual.

Conclusión

"Cost-Aware Abstention" ofrece una corrección de rumbo necesaria para la ingeniería de agentes. Muestra que la inteligencia artificial no debe medirse solo por lo que sabe, sino por lo que sabe no hacer. Para Zeropithos, esto valida la arquitectura de Dibro como un sistema de gestión de riesgo y no solo un procesador de lenguaje. La capacidad de abstenerse, de decir "esto es demasiado ambiguo y costoso para mí, pásalo a un humano", es la señal de madurez de un agente productivo. La integración de este marco en el BDI loop transformará a Dibro de un clasificador pasivo a un gerente activo de la eficiencia operativa, maximizando el retorno de inversión por cada inferencia ejecutada en la GPU.

aqui cualquier cosa mientras cuadramos el logo