A semana em que agentes viraram disciplina de engenharia mensurável — e o silício embaixo deles deixou de ser monopólio.
Oitenta e oito por cento.
Essa é a proporção de projetos de agentes de IA que nunca chegam à produção. Não projetos que decepcionam. Projetos que são abandonados antes que um único usuário real interaja com eles.
Esta é a Edição 22 da ai|expert. A semana em que agentes viraram disciplina de engenharia mensurável — e o silício embaixo deles deixou de ser monopólio.
Começamos pelo problema que dominou a semana em pesquisa: o gap entre benchmark e produção em sistemas agênticos não é editorial — é estrutural. E dois papers e um release de framework tentaram fechar esse gap ao mesmo tempo, a partir de ângulos completamente diferentes.
A LangChain abriu o jogo na quarta. Publicaram o Harbor como open-source — um runner de avaliação que troca comparação de texto por inspeção de estado real. O agente manipula um ambiente Docker definido por Dockerfile ou Compose. Um script test.sh verifica artefatos e efeitos colaterais de API. A pergunta deixa de ser "a resposta parece certa?" e passa a ser "o filesystem mudou do jeito correto?" Isso muda fundamentalmente o que conta como aprovação. [ref: langchains-agent-benchmarking-]
Os números são densos. O Harbor-Index tem oitenta e dois tasks destilados de mais de seis mil candidatos em cinquenta e quatro benchmarks — cobrindo engenharia de software, pesquisa, análise de dados, e uso de ferramentas de longo horizonte. O τ³-bench contribui com trinta tasks multi-turno com usuário simulado, onde o scoring valida resultados reais e não coerência superficial de diálogo. O ContextBench adiciona trinta tasks de recuperação, cada uma com corpus completo enviado dentro do sandbox, forçando o agente a localizar e combinar informação em vez de depender de conhecimento paramétrico ou de um banco de vetores externo. [ref: langchains-agent-benchmarking-]
A arquitetura em duas camadas é o que torna a operação viável. O subset "lite" roda oito vezes mais rápido e seis vezes mais barato que o suite completo. Commits diários passam pelo lite. Decisões de release passam pelo completo. Não é novidade teórica — foi essa separação que capturou a regressão quando a LangChain removeu o middleware de todo-list e comprimiu o system prompt no Deep Agents 0.7. O benchmark detectou o problema antes do release. Esse é o caso de uso que justifica todo o overhead de infraestrutura.
O overhead é real e precisa ser orçado. A LangChain não publicou latência por task, custo em dólar por sessão, ou consumo de GPU para o suite completo. Cada novo task exige Dockerfile, test script, e setup de ambiente determinístico. O custo de integração é substancialmente maior que um eval de prompt. E o que foi publicado é engenharia de release interna da LangChain — não evidência de adoção em produção por clientes externos. Arquitetos devem buscar curvas de custo e taxas de regressão em escala de cliente antes de importar a stack.
Concordo com a ressalva, mas não diminuo o padrão. A separação entre suite rápido para commits e suite pesado para release gates é o que falta na maioria dos times que operam agentes hoje. Eles ou não avaliam, ou avaliam tudo com o mesmo peso. Esse é o déficit operacional.
E o KDD '26 chegou com o diagnóstico do outro lado do mesmo problema. Um tutorial de Grace Hui Yang e colaboradores de Bloomberg, Bayer, Salesforce AI Research e Microsoft Research — quatro organizações com experiência direta de produção — mapeou em detalhe os modos de falha que os leaderboards estáticos não capturam. [ref: agents-in-the-wild-bridging-th]
Os números que ancoram o argumento: oitenta e oito por cento dos projetos de agentes nunca chegam à produção, segundo a CIO Research 2025. O Gartner projeta que mais de quarenta por cento dos que restam serão cancelados até 2027. Os modos de falha nomeados pelo tutorial — corrupção silenciosa de chamadas de ferramenta, erros em cascata em grafos de agentes, loops de retry que consomem budget enquanto parecem bem-sucedidos — são exatamente os que testes de output final não detectam. Um argumento de ferramenta corrompido no passo dois pode envenenar todos os passos seguintes silenciosamente. [ref: agents-in-the-wild-bridging-th]
O detalhe operacional que o tutorial adiciona é observabilidade cross-agente. O OpenTelemetry GenAI semconv chegou ao status estável em semconv 1.29+. Mas rastrear estado entre agentes num grafo multi-agente ainda é problema de engenharia não resolvido dentro de orçamentos industriais de latência e compute. E a coordenação multi-agente introduz modos de falha que sistemas monolíticos evitam completamente: deadlocks entre agentes colaborando, overhead de sincronização de estado, e ausência de protocolos seguros de comunicação inter-agente.
Tem uma heurística operacional aqui que a Zylos.ai documentou com números concretos. Um agente de código pode consumir dois dólares de API calls num bom dia e quarenta dólares num mau dia preso em loop de retry. Qualquer sessão custando mais de cinco vezes a mediana do tipo de feature vira incidente de corretude — não de faturamento. Acima de cinquenta vezes a mediana é loop descontrolado. Custo como sinal de corretude é a segunda lente que falta na maioria dos times.
A conclusão combinada dos dois papers: avaliação baseada em estado de artefato, custo de sessão como sinal de corretude, e rastreamento cross-agente por semconv estável. Três contribuições práticas da semana para quem opera agentes em produção hoje.
A terceira peça de pesquisa da semana vai na direção oposta. Não é sobre medir o comportamento externo do agente — é sobre confiar no que o modelo diz sobre si mesmo. Sobre interpretabilidade como fundação para segurança.
E a resposta do paper é direta: não confie ainda. Um paper de Hiskias Dingeto auditou o Natural Language Autoencoder da Anthropic para o Qwen-2.5-7B — o checkpoint de camada vinte disponível no HuggingFace, fine-tuned a partir do Qwen-2.5-7B-Instruct. O resultado: cerca de dois por cento das afirmações específicas nas explicações são genuinamente ancoradas na ativação. O restante — aproximadamente noventa e oito por cento — sobrevive rastreando o gist geral da entrada sem carregar fatos verificáveis. A explicação parece fiel. Não é. [ref: activation-explanations-fail-f]
E o modo de falha não é uma borda rara. Em testes sintéticos com ground truth exato, a receita padrão de treinamento produziu o que o paper chama de "códigos privados" — linguagem falsa que o reconstructor aprendeu a depender — em cinco de cinco execuções. Falso por construção, com boa pontuação de reconstrução.
O problema é estrutural no objetivo. O objetivo de reconstrução recompensa suficiência: a explicação precisa conter informação suficiente para regenerar a ativação. Mas o objetivo não penaliza adições falsas. Isso vale independente de escala ou modelo. A insensibilidade segue do objetivo em si.
O paper propõe o RECAP — Readable Encodings via Co-trained Auxiliary Predictors. Cabeças lineares treinadas junto ao modelo mantêm conteúdo designado decodificável. Um probe treinado com RECAP atinge AUC de zero vírgula noventa e seis em distinguir afirmações verdadeiras de falsas — contra zero vírgula oitenta e dois do baseline. Sob edição adversarial projetada para suprimir oitenta e sete por cento da penalidade de mentira enquanto preserva o score de reconstrução, o probe RECAP ainda detecta engano com AUC zero vírgula noventa e cinco.
O probe de controle, nessa mesma condição adversarial, colapsa para zero vírgula cinquenta e um — indistinguível do acaso. O custo do RECAP: mais zero vírgula zero zero um nats de treinamento. Tecnicamente barato. Mas com uma restrição operacional crítica: o RECAP exige co-treinamento durante o treinamento inicial. Não pode ser adicionado a pesos já publicados — incluindo o checkpoint público do Qwen-2.5-7B NLA que está em uso agora. [ref: activation-explanations-fail-f]
Qualquer time usando explicações de ativação hoje para auditar vetores de steering ou probes de conceito está limitado a protocolos de auditoria pós-hoc. Que são passos diagnósticos manuais — não filtros automatizados.
E há uma implicação que atravessa os três blocos de pesquisa desta semana. Estamos construindo avaliações de agentes sobre stacks de interpretabilidade que, por este paper, podem nos fornecer afirmações plausíveis e falsas ao mesmo tempo. Perda de reconstrução sozinha não é gate suficiente de fidelidade. Qualquer camada de segurança construída sobre verbalizadores de ativação precisa de verificação por afirmação — não apenas similaridade vetorial.
Medir é necessário. Mas o instrumento de medição também pode mentir.
Enquanto o lado de software renegociava seus contratos com a realidade, o lado de hardware renegociava seu contrato com a NVIDIA. E essa renegociação tem números.
O DAC 2026 foi o ponto de medição desta semana para o lado de compute. As submissões cresceram mais de vinte e seis por cento ano a ano nos dois tracks — Research e Engineering. Quarenta por cento do programa técnico focado em IA e design de chips. Mas o número que importa é de projeção: embarques de ASICs customizados crescerão a quarenta e quatro vírgula seis por cento CAGR em 2026, mais que o dobro dos dezesseis vírgula um por cento para GPUs merchant. A participação da NVIDIA em aceleradores de inferência específicos — onde dois terços de todo o compute de IA está concentrado — deve cair de mais de noventa por cento hoje para vinte a trinta por cento até 2028. [ref: diy-ai-chips-enterprises-desig]
O Engineering Track do DAC — que só aceita resultados em produção, não protótipos de pesquisa — é onde a substância está. A Samsung apresentou um ambiente de emulação pré-silicon usando Deep Q-Networks com enhancements dueling e double-DQN e replay de experiência priorizado, para otimizar parâmetros de QoS de SoC em throughput, latência, e potência. Eliminando tuning manual de arbitragem e alocação de banda. Isso é RL aplicado ao design de hardware, não à geração de texto.
A IBM apresentou dois papers que merecem atenção separada. O primeiro: fluxos de verificação agêntica usando servidores MCP para ingerir especificações de design, HDL, waveforms, e bases de cobertura — com redução estimada de quinze a quarenta por cento no esforço manual de triage de falhas em verificação de hardware IBM Z. O segundo paper é o mais dramático operacionalmente: um framework MCP que gera utilitários EDA a partir de especificações do usuário usando blocos MCP reutilizáveis, reduzindo o desenvolvimento de uma ferramenta de verificação estrutural de quatro person-weeks estimadas para menos de trinta minutos. [ref: diy-ai-chips-enterprises-desig]
Quatro person-weeks para trinta minutos não é aceleração incremental. É uma categoria diferente de impacto — e é num domínio onde os ciclos de design custam milhões e os erros de verificação custam tape-outs inteiros.
E isso tem validação externa ao DAC. A Midjourney migrou inferência de GPUs NVIDIA para TPUs Google, reduzindo custos mensais de compute de dois vírgula um milhões de dólares para setecentos mil dólares — uma redução de sessenta e cinco por cento. A Morgan Stanley estima que a Amazon vai embarcar um vírgula cinco milhão de chips Trainium em 2026. XPUs — aceleradores customizados — devem liderar crescimento de gastos em data center em 2026 com vinte e dois por cento, superando GPUs em dezenove por cento.
Mas o DAC também expôs o atrito real que essa transição carrega. A TSMC está operando o nó de três nanômetros com cem por cento de capacidade, com demanda três vezes a oferta atual. Os substratos físicos para o silicon customizado já estão em escassez estrutural. E a vantagem de custo de quarenta a sessenta e cinco por cento dos ASICs — atraente na escala de hyperscaler rodando bilhões de queries por dia — fica muito diferente para uma empresa rodando dezenas de milhares de queries por semana. O break-even exige volume substancial de inferência.
E tem a dinâmica que um observador do DAC nomeou como míopia coletiva. Samsung, NVIDIA, Meta, e OpenAI estão cada uma construindo camadas similares de IA em cima de motores EDA licenciados — eficaz e míope ao mesmo tempo. Cada gigante reconstrói o mesmo encanamento em privado. As lições não propagam entre elas.
O parceiro mais improvável da semana foi Cerebras e AMD.
Inferência disaggregada: AMD Helios, com EPYC e Instinct MI400, processa prompts e prefill de alto throughput. O Wafer Scale Engine da Cerebras cuida da geração de tokens, onde a largura de banda de memória é o gargalo dominante. A afirmação das duas empresas: cinco vezes mais tokens por segundo por watt que abordagens concorrentes. Disponível no Cerebras Cloud no segundo semestre de 2026. [ref: cerebras-amd-partnership-signa]
Com a ressalva obrigatória: esse benchmark vem da AMD Performance Labs e da Cerebras, modelagem interna de julho de 2026. Sem validação independente, sem MLPerf, sem traces de produção ao vivo. Latência absoluta, comportamento de tail p99, custo por milhão de tokens — não publicados. E o interconnect entre os dois domínios de silicon — protocolo, banda, e topologia física para transferência de estado KV-cache — ainda não foi divulgado. Esse é o unknown que define se a arquitetura funciona na prática.
O contexto estratégico é real independente do benchmark. A NVIDIA adquiriu ativos da Groq por vinte bilhões de dólares em dezembro para tecnologia de baixa latência. A Cerebras tem um deal separado com a OpenAI de mais de dez bilhões de dólares para entregar setecentos e cinquenta megawatts de compute até 2028. A parceria com AMD é uma terceira aposta da Cerebras num mercado de inferência que está claramente se reestruturando fora do monopólio NVIDIA. [ref: cerebras-amd-partnership-signa]
Quem apostar na arquitetura Cerebras-AMD hoje está apostando no interconnect que ninguém descreveu ainda. O padrão — prefill em GPU denso, decode no Wafer Scale Engine — tem lógica arquitetural. O custo real por query não.
O silício está se fragmentando. A regulação está tentando controlar por onde os fragmentos podem fluir.
O decreto executivo de 20 de julho, com vigência a partir de 1º de janeiro de 2027, elimina isenções de cadeia de fornecimento para semicondutores provenientes de nações adversárias em contratos de defesa. A tarifa de vinte e cinco por cento da Seção 232 sobre chips de IA avançados importados é o impacto imediato de custo. E as potenciais restrições de exportação de dois anos para o silicon Blackwell da NVIDIA para nações adversárias compõem a pressão sobre qualquer time de IA focado em defesa. [ref: us-defense-supply-chain-order-]
A exigência operacional é específica e onerosa. Contratantes primários e subcontratantes em todos os níveis devem mapear cadeias de fornecimento críticas desde matérias-primas até produtos finais — um "indentured Bill of Materials" que liga dependências de software e firmware a componentes físicos, fabricantes, e países de origem. Riscos significativos reportados em quinze dias. Planos de ação corretivos confidenciais, em quarenta e cinco dias.
O Departamento de Guerra tem cento e oitenta dias para desenvolver a política de mapeamento e mais noventa dias para promulgar regulamentos. Mas os contratantes já precisam rastrear acesso administrativo, hospedagem de dados, locais de desenvolvimento, e propriedade beneficiária agora — não em 2027. A janela de preparação é menor do que parece.
A NDAA de 2026 bane "Covered AI" de contratos de defesa e inteligência — principalmente DeepSeek e a parent High Flyer, mais qualquer modelo desenvolvido por entidades com vinte por cento ou mais de propriedade indireta dessas fontes ou da China, Rússia, Irã, ou Coreia do Norte. Subcontratantes devem certificar compliance como condição de contrato, com exposição à False Claims Act para submissões imprecisas. [ref: us-defense-supply-chain-order-]
E aqui está o detalhe que a maioria dos times vai descobrir tarde demais: a definição de cadeia de fornecimento crítica inclui provedores de cloud, provedores de serviços gerenciados, e desenvolvedores de software. Camadas de abstração multi-cloud são superfície de compliance direto. Todo cluster de GPUs e arquivo de pesos de modelo precisa ser tratado como item de Bill of Materials desde a primeira ordem de compra.
Provar proveniência por quatro níveis de subcontratante sob escrutínio da False Claims Act não é problema que se resolve depois do deploy. O Departamento de Guerra também foi instruído a usar IA para analisar as submissões dos contratantes e identificar pontos únicos de falha — o que torna os próprios mapas de cadeia de fornecimento uma superfície de ataque de alto valor.
A política está sendo usada para resolver um problema de hardware. E o hardware está sendo redesenhado para escapar da política. Os dois movimentos estão acontecendo ao mesmo tempo.
Para fechar, três cases onde a semana saiu do paper e entrou em produção real. Começamos com a Anthropic auditando sua própria operação.
O Claude Tag — o agente de código integrado ao Slack da Anthropic — fecha sessenta e cinco por cento dos pull requests de engenharia de produto do time do Claude Code. Em paralelo, o system prompt do Claude Code foi reduzido em oitenta por cento. Esses dois números juntos são o sinal mais claro até agora de que modelos de fronteira requerem menos scaffolding — não mais. [ref: claude-tag-closes-65-of-anthro]
O mecanismo foi detalhado num fireside chat transcrito por Simon Willison, com os engenheiros Cat Wu e Thariq Shihipar. O Claude Tag roda em modo "auto" — sem aprovação humana para cada tool call — em canais públicos do Slack da Anthropic, gerando diffs abertamente e automatizando revisão de código para as camadas externas do produto. Revisão humana reservada para mudanças críticas. O que não foi publicado: os critérios exatos que distinguem mudança rotineira de mudança crítica.
A inversão de paradigma mais importante não é no número de PRs — é nos prompts. Em modelos como o Fable 5 e o Opus 4.8, adicionar exemplos ao system prompt agora degrada a qualidade. Listas de "não faça X, não faça Y" também. A receita que estabilizava modelos antigos ativamente prejudica os novos. Qualquer sistema em produção estabilizado por few-shot prompting e listas de restrições vai enfrentar uma re-arquitetura de ruptura ao migrar para essa geração de modelos.
O timeline de ideia para produção comprimiu de seis a doze meses para em torno de uma semana. O que eles chamam internamente de "ant fooding" — testar features em funcionários antes de qualquer rollout externo — é a retenção interna como gate de lançamento. Features que não ganham tração internamente não chegam ao rollout amplo.
Thariq Shihipar reverteu o Mythical Man-Month: rewrites são agora a abordagem correta. Um suite de testes disciplinado torna o rewrite mais seguro do que preservar código legado quando o codebase é o único documento de especificação. E foi o benchmark — não a intuição do engenheiro — que justificou deletar o scaffolding legado no 0.7. [ref: claude-tag-closes-65-of-anthro]
Com a ressalva de proveniência dos dados: sessenta e cinco por cento vem do time que construiu a ferramenta. Não de outros times da Anthropic. Não de empresas externas. Inferência econômica, burn rate de GPU, taxa de PRs que exigiram emenda humana depois do merge — não publicados.
A segunda case é a FDA.
Em dois meses de lançamento, o ELSA — a plataforma interna de IA generativa da FDA — passou de menos de um por cento para oitenta e cinco por cento de adoção diária entre os dezesseis mil funcionários da agência. A camada de dados subjacente, o Halo, processa aproximadamente um petabyte de documentos e centenas de gigabytes por dia de cinquenta a sessenta fontes de todos os oito centros da FDA num único stack Databricks com Unity Catalog aplicando controles de acesso em nível de tabela. [ref: fdas-ai-platform-achieves-85-d]
O que tornou essa adoção possível foi o que aconteceu antes. O CDER — o centro de medicamentos da FDA — passou cinco anos validando a fundação Databricks antes que os outros sete centros seguissem. A adoção em dois meses veio depois da fundação estar prova. Não o contrário. Isso é a lição de sequenciamento que a maioria dos casos de adoção rápida omite.
O resultado operacional mais concreto: revisores de aplicações de drogas agora consultam três a quatro milhões de páginas de registros de materiais iniciais em cerca de três minutos. A mesma tarefa levava dias antes da consolidação. Compartilhamento de dados entre centros que levava quatro a cinco dias foi substituído por streaming em tempo real. E os funcionários constroem centenas de novos agentes por semana via servidores MCP em cima do Unity Catalog — sem escrever queries. [ref: fdas-ai-platform-achieves-85-d]
O que a FDA não divulgou é crítico para qualquer arquiteto que queira usar este case como referência: latência de inferência, custo por token, horas de GPU, os modelos base específicos que alimentam o ELSA, e — mais importante — o harness de avaliação, detecção de alucinação, ou protocolos de red-teaming para uma plataforma influenciando decisões regulatórias pré-mercado de drogas.
Num ambiente onde extração de dados corrompida pode distorcer uma revisão de medicamento, a ausência de protocolos publicados de human-in-the-loop não é lacuna de comunicação — é risco real. A FDA migrou de chatbots isolados para uma fábrica de agentes unificada. O stack de avaliação que justifica essa confiança permanece não divulgado. Antes de citar a FDA como referência de adoção, um arquiteto em indústria regulada deve fazer exatamente essa pergunta.
E a terceira case fecha o ciclo entre hardware e aplicação real.
Bristol Myers Squibb está implantando oito sistemas DGX Vera Rubin NVL72 num segundo DGX SuperPOD — a primeira empresa de ciências da vida a adquirir silicon Vera Rubin em escala. A afirmação de eficiência é dez vezes mais performance por megawatt sobre o cluster predecessor. O cluster anterior já estava saturado — em produção com predições de larga escala para moléculas grandes e construção de modelos fundacionais próprios. [ref: bristol-myers-squibb-builds-ai]
O impacto clínico é o número que ancoramos. Robert Plenge, da BMS, indica que ferramentas de IA já reduziram o tempo necessário para produzir medicamentos para testes clínicos em vinte a trinta por cento — com expectativa de chegar a cinquenta por cento. O throughput de triagem de candidatos cresceu de aproximadamente dez para dezenas de compostos. E um candidato para doença falciforme está em testes iniciais produzido com essa metodologia.
O padrão transferível se chama "Predict First". Inferência barata filtra candidatos antes de síntese cara em laboratório molhado. Pesquisadores submetem jobs em linguagem natural — identificação de alvos, ranqueamento de moléculas por otimização multi-parâmetro — antes de qualquer validação física. O padrão é aplicável em qualquer domínio regulado onde validação física é o custo dominante. Não é específico de pharma. [ref: bristol-myers-squibb-builds-ai]
O que falta no modelo publicado: a BMS não divulgou profundidade de fila, políticas de preempção, ou distribuições de latência para o dispatcher de jobs em linguagem natural. A integração de um plano de dados único — quebrando restrições de site de aquisições anteriores — é uma migração que tipicamente custa mais que o hardware em si. E o método de gating "Predict First" não tem harness de avaliação público, deixando a taxa de falsos negativos em compostos viáveis como incógnita.
A BMS opera em domínio de compliance que torna esses detalhes improvável de serem publicados. Mas o princípio do "Predict First" — compute barato como gate antes de validação física cara — é o padrão que sai dessa case e entra na sua arquitetura.
Cinco camadas, um movimento. Medir o agente pelo estado que ele deixa no mundo, não pelo texto que ele produz. Questionar o que o modelo diz sobre si mesmo antes de construir segurança em cima disso. Escolher o silício certo sem travar em um único fornecedor. Operar dentro de uma regulação que trata clusters de GPU como itens de bill of materials com proveniência rastreável. E entregar resultado em produção em domínios onde o custo do erro é clínico. A Edição volta na sexta. Bom trabalho.