A Ora, uma startup com 16 pessoas que mede a prontidão de agentes web para clientes empresariais, publicou resultados de benchmark comparando seis harnesses de agentes—Claude Code, ChatGPT, Gemini, Hermes, OpenClaw e eve da Vercel—contra sites de produção real. As métricas são operacionais: custo por jornada, latência, contagem de etapas e taxa de conclusão de tarefas nativas, capturadas em centenas de fluxos de trabalho reais de clientes.
A metodologia impõe uma restrição crítica. Como nenhum dos dois harnesses expõe etapas identicamente, a Ora executa um runtime separado para cada um e rastreia cada etapa. Ido Finder, líder de engenharia, explica: sem rastreamento por etapa, uma pontuação de benchmark é vazia. Quando um agente falha em um fluxo de inscrição, os clientes veem exatamente qual etapa quebrou e o que o agente tentou. Esse rastreamento é o produto.
Eve versus Claude Code produziu diferenciais concretos. Executando ambos os harnesses no Claude Fable 5 e Haiku 4.5 contra tarefas de integração idênticas em sites de clientes, a Ora mediu: eve completou tarefas em 7% menos etapas, alcançou 2x sucesso nativo (finalizando no site do cliente versus fallback de busca web) e encontrou 9% mais endpoints válidos. Uma execução detectou um bug de cache de prompt no eve. A Vercel lançou uma correção dentro da janela de testes. O próximo ciclo mostrou aproximadamente 15% de custo total inferior.
Esse loop de feedback importa para arquitetos. A Ora faz parceria com a Vercel, dando ao time do eve acesso direto aos dados de rastreamento da Ora. O bug surgiu não de testes unitários, mas de execuções de comparação entre harnesses em jornadas representativas de produção. A redução de custo seguiu diretamente.
Depois de publicar os resultados, a Ora decidiu construir sua própria camada de agente no eve—um sinal significativo de uma equipe cujo negócio é executar todos os outros harnesses lado a lado. Motivo técnico: sandbox override do eve. Eve vem com seu próprio ambiente de execução isolado, que normalmente é executado fora do rastreamento instrumentado da Ora. O override permite que a Ora substitua seu próprio ambiente, para que agentes eve obtenham o mesmo registro por etapa que outros harnesses sem nova infraestrutura. journey.ora.ai agora abrange ambos: eve é um harness em teste e o framework no qual a plataforma é executada.
O padrão de implantação mostra pressão de escala. Dezesseis engenheiros lançam centenas de commits diariamente. Agentes de codificação lidam com tarefas rotineiras de infraestrutura—leitura de logs, implantação, atualização de variáveis de ambiente. Finder estima o tempo economizado em poucas horas por semana. Consolidar front-end, back-end e runtime de agente em uma única implantação da Vercel permite que agentes de codificação raciocinem sobre uma superfície de infraestrutura unificada em vez de costurar sistemas separados.
Pela medida da Ora, 99% da web não consegue lidar com um agente que se inscreve, integra e paga. Esse número impulsiona o pitch da Ora—a plataforma mostra às empresas onde agentes falham e o que corrigir. A Ora agora está se dividindo em microsserviços na Vercel, com agentes eve internos sendo executados como mais um serviço no gráfico.
Lição para arquitetos: escolha de harness não é escolha de modelo. Claude Fable 5 foi executado dentro de eve e Claude Code neste benchmark. O harness produziu diferenças mensuráveis em contagem de etapas, validade de endpoint e custo. Sem isolar harness de modelo em suas avaliações, você não sabe qual alavanca está puxando.