Economize na Inferência com Nvidia Blackwell

Reduções de Custo na Inferência com a Plataforma Blackwell da Nvidia

A Nvidia divulgou uma análise reveladora sobre como a combinação de hardware e software pode reduzir significativamente os custos de inferência em até 10 vezes. Com a plataforma Blackwell, empresas como Baseten, DeepInfra, Fireworks AI e Together AI estão alcançando economias impressionantes em setores como saúde, jogos, chatbots e atendimento ao cliente.

Combinação de Hardware e Software para Reduzir Custos

A chave para essas reduções envolve a utilização do hardware Blackwell aliado a pilhas de software otimizadas e a transição de modelos proprietários para modelos de código aberto. Apenas as melhorias de hardware possibilitaram um aumento de 2x em desempenho em alguns casos, enquanto o uso de formatos de baixa precisão, como o NVFP4, e a substituição de APIs fechadas por soluções abertas impulsionaram ainda mais as economias.

Casos de Sucesso em Diversas Indústrias

• Sully.ai: Reduziu em 90% os custos de inferência na saúde (10x), aumentando a eficiência em 65% ao adotar modelos de código aberto na plataforma Blackwell da Baseten.
• Latitude: Cortou custos de inferência em jogos para a plataforma AI Dungeon em 4x, utilizando modelos MoE no Blackwell da DeepInfra. A transição para o formato NVFP4 foi crucial para essa redução.
• Sentient Foundation: Atingiu eficiência de custo de 25% a 50% melhor para sua plataforma de chat, processando milhões de consultas com baixa latência.
• Decagon: Reduziu em 6x o custo por consulta em suporte ao cliente por voz, mantendo tempos de resposta abaixo de 400 milissegundos.

Fatores Técnicos por Trás das Reduções de Custo

As economias de custo variam entre 4x e 10x dependendo de três fatores principais: adoção de formatos de precisão, escolhas de arquitetura de modelo e integração da pilha de software.

• Formatos de Precisão: O NVFP4 reduz o número de bits necessários, permitindo mais cálculos por ciclo de GPU sem sacrificar a precisão.
• Arquitetura de Modelo: Modelos MoE se beneficiam da comunicação rápida entre especialistas, possibilitada pela infraestrutura da Blackwell.
• Integração da Pilha de Software: A co-design de hardware e software, como a arquitetura NVL72 da Blackwell, melhora o desempenho.

Considerações para Empresas

Empresas devem calcular se suas cargas de trabalho justificam mudanças de infraestrutura. Aquelas com aplicações de alto volume e sensíveis à latência podem se beneficiar mais das melhorias. Testes práticos são essenciais, pois métricas publicadas podem não refletir condições reais de uso.

Conclusão

A plataforma Blackwell da Nvidia demonstra que a redução de custos de inferência é alcançável através de uma combinação de hardware avançado e software otimizado. Para empresas buscando otimizar seus custos, avaliar cuidadosamente a infraestrutura e as necessidades específicas de suas cargas de trabalho é essencial para determinar o caminho mais econômico. A abordagem correta pode significar economias substanciais e maior eficiência operacional.