coder: 5.66× de eficiencia de costes en fable 5 & calidad SWE

1 · Eficiencia de costes: dos palancas independientes

coder reduce el coste facturado mediante dos mecanismos separados, y esta página mantiene su contabilidad separada: compresión (medida) y niveles saver (un hecho de precios). Cada palanca tiene su propia fórmula, su propia evidencia y su propia fila en la tabla de metodología.

1.1 · Compresión (medida)

El pipeline entrega al modelo una representación compacta de la misma sesión. Por solicitud, el ledger registra la línea base sin comprimir y la entrada realmente enviada: factor = línea base ÷ enviado. Mediana 2.83× (p10–p90 2.26–3.08×) en la última ventana completa del ledger (2026-07-23, n = 7,222 solicitudes).

Evidencia de calidad para esta palanca: el A/B de SWE / SWE Pro con compresión ON vs OFF (§2) — tareas idénticas, calificación oficial en Docker, pipeline activado versus desactivado — es la evidencia de calidad de esta compresión: los resultados de resolución siguen al brazo sin comprimir dentro del ruido. La fórmula y la ventana de muestra del propio 2.83× están en la tabla de metodología; este párrafo trata solo de la palanca de compresión — saver tiene su propia sección más abajo.

💰 #.#x = tasa de ahorro — el indicador de la barra de estado abajo a la izquierda en esta grabación de pantalla sin editar es el múltiplo de ahorro por compresión en vivo: arranca en el suelo de 2.0× y sube hasta 5.1× al final de la ejecución (pico 6.1×) a medida que se acumula contexto cacheado/comprimido — 92.4% de proporción de entrada cacheada en toda la ejecución, según el ledger de rollout de la sesión (12 entradas de uso de API, 287,269 tokens de entrada). La tarea es una tarea SWE pública real sobre pallets/flask (funcionalidad CLI + tests, todo en verde). La reproducción está acelerada 8× (anotado arriba a la derecha); contenido intacto.

1.1b · Ventana de contexto efectiva (misma medición, segundo dividendo)

La compresión tiene un segundo efecto más allá del coste: la ventana de contexto física del modelo contiene la representación comprimida, así que su capacidad efectiva escala por el mismo factor medido. Con la mediana medida de 2.83× (p10–p90 2.26–3.08×), una ventana física de 200K tokens transporta aproximadamente 450K–620K tokens de contenido de sesión (200K × 2.26–3.08). La consecuencia práctica: las sesiones largas rara vez alcanzan presión de ventana de contexto — menos compactación, menos contexto perdido, trabajo de larga duración estable.

• Línea de conversión: capacidad efectiva = ventana física × factor de compresión medido. Misma fuente de datos que §1.1; sin medición separada.
• Ejemplo real del mismo día de ledger: una sesión del 2026-07-23 acumuló 58,815,232 tokens de entrada que se habrían enviado, entregados como 18,622,941 tokens realmente enviados (3.16×) — un día de trabajo de tráfico de contexto transportado a aproximadamente un tercio de su tamaño bruto (ledger de sesión rollout-2026-07-23T09-27-46-019f8fcd….jsonl, imgctxOriginalInputTokens acumulado vs enviado).

1.2 · Niveles saver (hecho de precios)

Independientemente de la palanca de compresión medida de arriba, coder ofrece dos carriles de entrega a mitad de precio. Fórmula: facturado = 50% × precio del carril estándar — un hecho del esquema de precios que no necesita evidencia de test. Entra en el titular solo como el factor oficial de precios (50% de lista ⇒ 2.00×) y nunca se mezcla con la cifra medida de compresión:

• batch — envío y recuperación asíncronos para cargas no interactivas (evaluación masiva, análisis en segundo plano, trabajos programados): 50% del coste estándar.
• flex — la misma interfaz de streaming síncrona, planificada sobre capacidad flexible, para trabajo que no necesita entrega con capacidad reservada: 50% del coste estándar.
• Mismos modelos, misma calidad, misma salida — los niveles cambian la planificación, no los resultados.
• Contabilidad del titular: factor titular = compresión (mediana medida 2.83×) × saver (precios oficiales 2.00×) = 5.66×. El término saver se toma del esquema oficial de precios (batch/flex al 50% de lista ⇒ 2.00×), no del tráfico de esta ventana — la propia ventana titular del 2026-07-23 no transportó tráfico de carril saver, que es exactamente por lo que el término va a precio de esquema y no ponderado por tráfico.

Compresión pura a escala de flota (verificación cruzada conservadora)

Los números de arriba provienen de los ledgers de una sola máquina. Como verificación cruzada a escala de flota, medimos solo la compresión pura de tokens sobre 7 días de tráfico real de gateway:

2 · SWE / SWE Pro: compresión ON vs OFF

El pipeline de eficiencia solo merece desplegarse si preserva la calidad de la salida. Ejecutamos las suites SWE-bench, estándar de la industria, como un A/B interno — tareas idénticas, modelos idénticos, harness oficial de calificación en Docker, pipeline ON (comprimido) versus OFF (directo) — ambas suites re-ejecutadas sobre la misma build actual del pipeline.

Notas de protocolo: muestras de instancias fijas (Lite 10 / Pro 18 pares); ambos brazos de un par ejecutan la misma instancia, el mismo modelo, el mismo batch. Los veredictos provienen únicamente de los harnesses oficiales de Docker (Lite: run_evaluation de swebench sobre princeton-nlp/SWE-bench_Lite; Pro: SWE-bench_Pro-os, jefzda/sweap-images) — sin juicio por LLM. “Acuerdo” = tareas donde ambos brazos alcanzaron el mismo veredicto de resuelta/no resuelta. Pipeline fijado en origin/main 8a9175d para ambas re-ejecuciones.

La única tarea Pro divergente, navidrome-0488, se zanjó con una re-ejecución de equivalencia dedicada de N=5 por brazo: ON 3/5 vs OFF 3/5 — los dos brazos son equivalentes dentro del ruido (p exacta de Fisher = 1.0). Todos los veredictos provienen del harness oficial de Docker (10/10 ejecuciones calificadas, rc = 0), y las 10 ventanas de ejecución muestran collapsed_turns = 0 con cero reescrituras, es decir, la ruta de compresión dejó las transcripciones intactas. Contabilidad de varianza: las 4 ejecuciones fallidas se reparten ON 2 + OFF 2 y comparten el mismo patrón de error propio del modelo — el brazo sin comprimir cae en los mismos agujeros. Veredicto: la divergencia original es varianza agéntica entre ejecuciones, no daño por compresión (informe de veredicto N=5). Nota de alcance: N = 5 por brazo en una instancia, mismo protocolo e instancia que §2, pipeline 8a9175d — una lectura de equivalencia con N pequeño, no una afirmación universal.

• SWE-bench Lite (n=10 pares, re-ejecución con el pipeline actual): ON 10/10 vs OFF 10/10, acuerdo 10/10 — cero instancias divergentes; cada par se resolvió de forma idéntica en ambos brazos. Lite tiende a lo fácil, así que esta suite mide paridad a igual dificultad, no superioridad.
• SWE-bench Pro (n=18 pares, re-ejecución con el pipeline actual): ON 15/18 vs OFF 16/18; los veredictos coincidieron en 17 de 18 tareas. La única tarea divergente se zanja arriba (re-ejecución de equivalencia N=5 de navidrome-0488: ON 3/5 vs OFF 3/5, p de Fisher = 1.0, veredicto de varianza agéntica).
• Alineación de fallos (Pro): aparte de la única tarea divergente, cada fallo de Pro falló en ambos brazos (ansible, una instancia de element-web).
• Fidelidad de contexto: 98/98 sondas de recuerdo/estado con respuesta posible correctas en ambos brazos, y 0/16 respuestas fabricadas en sondas deliberadamente sin respuesta posible en ambos brazos.

3 · Metodología: de dónde sale cada número

Nuestra regla para esta página: un número aparece solo si puede rastrearse hasta un registro escrito por máquina o un script reproducible. Fórmulas y ventanas de muestra abajo.

Limitaciones conocidas (declaradas, no ocultas)

• El término de compresión del titular (2.83×) se mide en los ledgers de sesión de una sola máquina de build — el término saver (2.00×) es un hecho de precios, no una medición; la verificación cruzada a escala de flota reporta compresión pura a escala de flota.
• Los tamaños de muestra de los benchmarks son pequeños (10 + 18 pares; la re-ejecución de equivalencia es N=5 por brazo en una instancia). Reportamos paridad, acuerdo y equivalencia dentro del ruido, no superioridad.
• La cuenta de precios de primera línea mezcla la proporción de entrada cacheada de un día de una sola máquina (94.9%) con precios oficiales de lista; las primas por escritura de caché quedan excluidas de la mezcla y se declaran como tales. Las cifras de precio efectivo son aritmética de cuentas medidas, no una cotización de facturación.
• Las cifras en dólares de totales por ejecución entre brazos mezclan varianza de número de turnos y deliberadamente no se usan como evidencia de compresión en ninguna parte de esta página.
• La matriz de fidelidad de contexto es un modelo, una semilla, un día (98 sondas con respuesta posible por brazo).
• Las conversiones de divisas en los ledgers usan una referencia FX estimada (frankfurter, 2026-06-30), no FX de factura.