Cloudflare anunciou novos componentes de infraestrutura otimizados para fazer deploy e rodar modelos de linguagem grandes, mirando empresas buscando alternativas a caminhos de inferência locked-in em hyperscalers. A plataforma visa reduzir latência e custo para inferência de LLM na borda.
Este movimento posiciona Cloudflare como uma neutral carrier para model serving, competindo com AWS SageMaker, Azure Cognitive Services e Google Vertex AI em deployments de modelos open-source e de terceiros.