Google anunciou disponibilidade geral das funções AlloyDB AI, operações de banco de dados compatíveis com PostgreSQL para busca semântica, filtragem e classificação ao lado de um padrão de modelo proxy de duas fases que aborda o problema de custo de LLM por linha em escala. O modelo proxy inverte a relação típica de banco de dados para LLM: em vez de chamar um modelo externo para cada decisão de linha, o banco de dados aprende com uma amostra usando um modelo de fronteira, então aplica esse julgamento localmente na velocidade do banco de dados.
A arquitetura funciona em duas fases. Fase 1: uma declaração PREPARE envia uma amostra de dados para um modelo de fronteira (por exemplo, Vertex AI) para treinar um proxy leve localmente. Fase 2: a consulta é executada usando o proxy local na velocidade do banco de dados, com fallback para o modelo de fronteira se a confiança for muito baixa. Para filtragem semântica ai.if em preview, Google relata throughput de 100.000 linhas por segundo com modelos proxy, em comparação com processamento linha por linha de ~4 linhas por segundo—uma melhoria de 23.000x. A redução de custo atinge 6.000x eliminando chamadas de API por linha e overhead de prompt.
O lançamento também adiciona smart batching (GA para ai.if e ai.rank), agrupando múltiplas linhas em chamadas de modelo únicas e entregando melhoria de throughput de 2.400x sobre linha por linha. AlloyDB agora inclui ai.generate, ai.if, ai.rank, ai.forecast, ai.summarize, ai.agg_summarize e ai.analyze_sentiment. Um servidor MCP gerenciado para AlloyDB permite que agentes consultem bancos de dados através do Model Context Protocol sem que as equipes executem infraestrutura customizada.
Para equipes de plataforma, o padrão de destilação em tempo de consulta é arquiteturalmente significativo. Aplica-se além de AlloyDB: qualquer banco de dados chamando modelos externos por linha enfrenta a mesma parede de custo e latência. AlloyDB se posiciona como um banco de dados compatível com PostgreSQL onde consultas estruturadas, busca semântica, busca vetorial (até 10 bilhões de vetores via ScaNN) e análise impulsionada por LLM coexistem. Nota: os números 23.000x e 6.000x são de teste interno de ai.if em preview. Execute benchmarks em seus próprios dados antes de se comprometer com produção.