coder: eficiência de custo de 5.66× no fable 5 & qualidade SWE

1 · Eficiência de custo: duas alavancas independentes

O coder reduz o custo cobrado por meio de dois mecanismos separados, e esta página mantém a contabilidade deles separada: compressão (medida) e tiers saver (um fato de precificação). Cada alavanca tem sua própria fórmula, sua própria evidência e sua própria linha na tabela de metodologia.

1.1 · Compressão (medida)

O pipeline entrega ao modelo uma representação compacta da mesma sessão. Por requisição, o ledger registra a linha de base não comprimida e a entrada efetivamente enviada: fator = linha de base ÷ enviado. Mediana 2.83× (p10–p90 2.26–3.08×) na janela de ledger completa mais recente (2026-07-23, n = 7,222 requisições).

Evidência de qualidade para esta alavanca: o A/B de SWE / SWE Pro com compressão ON vs OFF (§2) — tarefas idênticas, avaliação oficial em Docker, pipeline ligado versus desligado — é a evidência de qualidade desta compressão: os resultados de resolução acompanham o braço não comprimido dentro do ruído. A fórmula e a janela amostral do próprio 2.83× estão na tabela de metodologia; este parágrafo trata apenas da alavanca de compressão — o saver tem sua própria seção abaixo.

💰 #.#x = taxa de economia — o indicador na barra de status, canto inferior esquerdo, desta gravação de tela sem edição é o múltiplo de economia de compressão ao vivo: começa no piso de 2.0× e sobe para 5.1× ao final da execução (pico 6.1×) conforme o contexto em cache/comprimido se acumula — 92.4% de participação de entrada em cache ao longo da execução, segundo o ledger de rollout da sessão (12 entradas de uso de API, 287,269 tokens de entrada). A tarefa é uma tarefa SWE pública real em pallets/flask (funcionalidade de CLI + testes, tudo verde). A reprodução está acelerada 8× (anotado no canto superior direito); conteúdo intocado.

1.1b · Janela de contexto efetiva (mesma medição, segundo dividendo)

A compressão tem um segundo efeito além do custo: a janela de contexto física do modelo contém a representação comprimida, então sua capacidade efetiva escala pelo mesmo fator medido. Na mediana medida de 2.83× (p10–p90 2.26–3.08×), uma janela física de 200K tokens carrega aproximadamente 450K–620K tokens de conteúdo de sessão (200K × 2.26–3.08). A consequência prática: sessões longas raramente atingem pressão de janela de contexto — menos compactação, menos contexto descartado, trabalho de longa duração estável.

• Linha de conversão: capacidade efetiva = janela física × fator de compressão medido. Mesma fonte de dados da §1.1; nenhuma medição separada.
• Exemplo real do mesmo dia de ledger: uma sessão de 2026-07-23 acumulou 58,815,232 tokens de entrada que seriam enviados, entregues como 18,622,941 tokens efetivamente enviados (3.16×) — um dia de trabalho de tráfego de contexto transportado a cerca de um terço do seu tamanho bruto (ledger de sessão rollout-2026-07-23T09-27-46-019f8fcd….jsonl, imgctxOriginalInputTokens acumulado vs enviado).

1.2 · Tiers saver (fato de precificação)

Independentemente da alavanca de compressão medida acima, o coder oferece duas lanes de entrega a meio preço. Fórmula: cobrado = 50% × preço da lane padrão — um fato de tabela de preços que não precisa de evidência de teste. Ele entra no número principal apenas como o fator oficial precificado (50% da lista ⇒ 2.00×) e nunca é misturado à cifra de compressão medida em si:

• batch — envio e recuperação assíncronos para cargas não interativas (avaliação em massa, análise em segundo plano, jobs agendados): 50% do custo padrão.
• flex — a mesma interface de streaming síncrona, agendada em capacidade flexível, para trabalho que não precisa de entrega com capacidade reservada: 50% do custo padrão.
• Mesmos modelos, mesma qualidade, mesma saída — os tiers mudam o agendamento, não os resultados.
• Contabilidade do número principal: fator principal = compressão (mediana medida 2.83×) × saver (preços oficiais 2.00×) = 5.66×. O termo saver vem da tabela oficial de preços (batch/flex a 50% da lista ⇒ 2.00×), não do tráfego desta janela — a própria janela principal de 2026-07-23 não carregou tráfego de lane saver, e é exatamente por isso que o termo é precificado, não ponderado por tráfego.

Compressão pura em toda a frota (verificação cruzada conservadora)

Os números acima vêm dos ledgers de uma única máquina. Como verificação cruzada em escala de frota, medimos apenas a compressão pura de tokens ao longo de 7 dias de tráfego real de gateway:

2 · SWE / SWE Pro: compressão ON vs OFF

O pipeline de eficiência só vale a pena ser lançado se preservar a qualidade da saída. Rodamos as suítes SWE-bench, padrão da indústria, como um A/B interno — tarefas idênticas, modelos idênticos, harness oficial de avaliação em Docker, pipeline ON (comprimido) versus OFF (direto) — ambas as suítes reexecutadas no mesmo build atual do pipeline.

Notas de protocolo: amostras de instâncias fixas (Lite 10 / Pro 18 pares); os dois braços de um par executam a mesma instância, mesmo modelo, mesmo lote. Os veredictos vêm apenas dos harnesses oficiais em Docker (Lite: swebench run_evaluation em princeton-nlp/SWE-bench_Lite; Pro: SWE-bench_Pro-os, jefzda/sweap-images) — sem julgamento por LLM. “Concordância” = tarefas em que ambos os braços chegaram ao mesmo veredicto de resolvido/não resolvido. Pipeline travado em origin/main 8a9175d para ambas as reexecuções.

A única tarefa divergente do Pro, navidrome-0488, foi resolvida com uma reexecução de equivalência dedicada de N=5 por braço: ON 3/5 vs OFF 3/5 — os dois braços são equivalentes dentro do ruído (Fisher exato p = 1.0). Todos os veredictos vêm do harness oficial em Docker (10/10 execuções avaliadas, rc = 0), e todas as 10 janelas de execução mostram collapsed_turns = 0 com zero reescritas, isto é, o caminho de compressão deixou as transcrições intocadas. Contabilidade de variância: as 4 execuções falhas se dividem em ON 2 + OFF 2 e compartilham o mesmo padrão de erro próprio do modelo — o braço não comprimido cai nos mesmos buracos. Veredicto: a divergência original é variância agêntica entre execuções, não dano de compressão (relatório do veredicto N=5). Nota de escopo: N = 5 por braço em uma instância, mesmo protocolo e instância da §2, pipeline 8a9175d — uma leitura de equivalência com N pequeno, não uma alegação universal.

• SWE-bench Lite (n=10 pares, reexecução no pipeline atual): ON 10/10 vs OFF 10/10, concordância 10/10 — zero instâncias divergentes; cada par resolvido de forma idêntica em ambos os braços. O Lite tende ao fácil, então esta suíte mede paridade em dificuldade igual, não superioridade.
• SWE-bench Pro (n=18 pares, reexecução no pipeline atual): ON 15/18 vs OFF 16/18; os veredictos concordaram em 17 de 18 tarefas. A única tarefa divergente é resolvida acima (reexecução de equivalência N=5 de navidrome-0488: ON 3/5 vs OFF 3/5, Fisher p = 1.0, veredicto de variância agêntica).
• Alinhamento de falhas (Pro): além da única tarefa divergente, toda falha do Pro falhou em ambos os braços (ansible, uma instância do element-web).
• Fidelidade de contexto: 98/98 sondas respondíveis de recordação/estado corretas em ambos os braços, e 0/16 respostas fabricadas em sondas deliberadamente sem resposta em ambos os braços.

3 · Metodologia: de onde vem cada número

Nossa regra para esta página: um número só aparece se puder ser rastreado até um registro escrito por máquina ou um script reproduzível. Fórmulas e janelas amostrais abaixo.

Limitações conhecidas (declaradas, não escondidas)

• O termo de compressão do número principal (2.83×) é medido nos ledgers de sessão de uma única máquina de build — o termo saver (2.00×) é um fato de precificação, não uma medição; a verificação cruzada em toda a frota reporta compressão pura em escala de frota.
• As amostras de benchmark são pequenas (10 + 18 pares; a reexecução de equivalência é N=5 por braço em uma instância). Reportamos paridade, concordância e equivalência dentro do ruído, não superioridade.
• A conta de preços de primeira linha mistura a participação de entrada em cache de um dia de uma máquina (94.9%) com preços de lista oficiais; os prêmios de escrita de cache ficam fora da mescla e são declarados como tal. As cifras de preço efetivo são aritmética de conta medida, não uma cotação de faturamento.
• Valores totais em dólares por execução entre braços misturam variância de contagem de turnos e deliberadamente não são usados como evidência de compressão em nenhum lugar desta página.
• A matriz de fidelidade de contexto é um modelo, uma seed, um dia (98 sondas respondíveis por braço).
• Conversões de moeda nos ledgers usam uma referência de câmbio estimada (frankfurter, 2026-06-30), não o câmbio da fatura.