Cómo se evalúan consumo y exactitud.
El método define condiciones comparables, contabilidad de consumo y evaluación de respuestas. Esta explicación es un protocolo de evaluación.
Esta página explica el método de evaluación. No presenta resultados ni promete un ahorro.
Qué respalda esta estimación
La estimación se apoya en «Codebase-Memory: Tree-Sitter-Based Knowledge Graphs for LLM Code Exploration via MCP» (Vogel et al., 28-03-2026). Es un estudio externo de grafos de código por MCP: el menor consumo vino acompañado de una diferencia de calidad. No es una medición de Cortex.
El caso previsto es Sistemas con memoria preexistente y la misma revisión de código. Sin Cortex, el agente explora normalmente; con Cortex, dispone además de esa memoria por MCP. No se obliga al primer recorrido a leerlo todo. Cortex no usa inferencia propia al consultar; el agente sí consume tokens.
Fijamos antes de medir agente, modelo, esfuerzo, versiones, prompt, límites, preguntas y repeticiones. Registramos entrada, caché y salida sin doble conteo, incluidos errores y resultados desfavorables. Un tamaño previsto no es una muestra ejecutada.
Para una medición propia futura calcularemos el porcentaje por par, la mediana por pregunta y el máximo de esas medianas para «hasta», junto a la mediana agregada. El máximo no es el ahorro típico; la estimación actual no procede de ese cálculo de Cortex.
Evaluamos calidad, cobertura, citas, abstenciones y errores por separado del consumo. Contexto de entrada, tokens de la sesión y ahorro monetario son magnitudes distintas. Construir, curar, mantener y operar la memoria también cuesta.
Nuestra medición propia con clientes está en curso. Esta página no publica resultados de campañas. Una actualización futura deberá conservar sus valores y límites reales, también cuando sean desfavorables.
Vogel et al., 2026El mismo agente, dos condiciones
Una evaluación puede definir una condición sin Cortex con fuentes, herramientas y límites explícitos.
La condición con Cortex debe usar las mismas fuentes, preguntas y límites acordados para la comparación.
El protocolo debe fijar el modelo, las preguntas, las fuentes y los límites antes de ejecutar, y conservar errores e intentos incompletos.
Qué contamos como tokens
Se contabilizan la entrada sin caché, las lecturas y escrituras de caché y la salida del modelo, sin contar dos veces la misma llamada. Se incluyen reintentos y compactaciones cuando consumen tokens. Un consumo desconocido no se reemplaza por cero.
Los tokens del agente son distintos del uso de inferencia del servidor Cortex. Un contador de cero en el servidor no significa que la investigación del agente sea gratuita.
Exactitud contra las referencias de la suite
La exactitud se evalúa frente a referencias fijadas antes de ejecutar: cobertura, citas, abstenciones y afirmaciones sin respaldo.
Construir la memoria también tiene un costo
Una reducción de tokens en la consulta no es ahorro económico neto. Para calcularlo también hacen falta los costos de las consultas de ambos recorridos, el mantenimiento y la operación, sobre el mismo volumen y la misma base de valoración.
Qué se publica
Una publicación debe excluir código, documentos, transcripciones e identificadores privados. Esta página no publica datos de una campaña.
Límites de la comparación
El consumo y la calidad dependen de las fuentes, la caché, los modelos y las tareas. Un protocolo no demuestra un resultado ni garantiza el comportamiento de otras consultas.
Cómo medimos la escala indexada
Sumamos el inventario de las releases en servicio y contamos una sola vez las que comparten manifiesto. El contenido repetido en releases distintas puede estar sumado; esta medición no acredita deduplicación global del contenido. La cobertura es parcial cuando faltan fuentes.
Las líneas son líneas físicas no vacías del código fuente incluido, con comentarios. No se cuentan binarios ni dependencias vendorizadas o generadas fuera del alcance. Los documentos son fuentes documentales únicas; no fragmentos, páginas ni resúmenes derivados.
Los tokens se obtienen tokenizando el texto incluido con la versión y configuración indicadas. No se convierten bytes, líneas o páginas mediante un factor aproximado. Expresan tamaño del corpus, no tokens facturados ni ahorro por consulta.
Cada cifra conserva fecha, alcance y método. Es una captura de inventario, no un contador en tiempo real.