AT&T Inova com Modelos de Linguagem Eficientes e Econômicos

AT&T Revoluciona a Inteligência Artificial com Modelos de Linguagem Pequenos e Eficientes

Com um consumo médio diário de 8 bilhões de tokens, a AT&T enfrentou um desafio monumental em escala. Andy Markus, diretor de dados, percebeu que não era viável ou econômico processar tudo através de modelos de raciocínio grandes. A solução foi a reconstrução da camada de orquestração no assistente pessoal Ask AT&T, resultando em uma pilha de agentes múltiplos baseada no LangChain.

Reestruturando a Orquestração de Agentes

Essa nova estrutura utiliza “super agentes” de grandes modelos de linguagem para direcionar “agentes de trabalho” menores, focados em tarefas específicas. Este modelo flexível melhorou significativamente a latência, velocidade e tempos de resposta, alcançando até 90% de economia de custos. Markus acredita que o futuro da inteligência artificial está em muitos modelos de linguagem pequenos (SLMs), que se mostraram tão precisos quanto os modelos grandes em áreas de domínio específicas.

Ask AT&T Workflows: Automação Simplificada

Utilizando essa arquitetura reestruturada e o Microsoft Azure, a AT&T criou o Ask AT&T Workflows, uma plataforma gráfica que permite aos funcionários automatizar tarefas. Os agentes utilizam uma suíte de ferramentas proprietárias da AT&T para processamento de documentos, conversão de linguagem natural para SQL e análise de imagens. Todo o processo é supervisionado por humanos, garantindo a precisão e segurança dos dados.

Modelos Intercambiáveis e Selecionáveis

Ao invés de construir tudo do zero, a AT&T opta por modelos “intercambiáveis e selecionáveis,” evitando a reconstrução de commodities. À medida que as funcionalidades amadurecem, substituem ferramentas internas por opções prontas do mercado. Isso permite que a empresa se adapte rapidamente às mudanças do setor, realizando avaliações rigorosas das opções disponíveis.

Como 100.000 Funcionários Estão Aproveitando a Plataforma

O Ask AT&T Workflows já foi implementado para mais de 100.000 funcionários, com mais da metade usando diariamente e relatando aumentos de produtividade de até 90%. A plataforma oferece duas jornadas: uma pro-code, para programação em Python, e uma no-code, com interface visual de arrastar e soltar. Curiosamente, até usuários proficientes preferem a opção no-code.

A Revolução do “AI-fueled Coding”

Essa abordagem também está transformando a maneira como a AT&T desenvolve software, através do que Markus chama de “AI-fueled coding.” Utilizando métodos ágeis e prompts de linguagem natural, a equipe pode criar protótipos de software rapidamente. Isso não só acelera o ciclo de desenvolvimento, mas também aumenta a produção de código de qualidade de produção.

Conclusão

Com uma visão inovadora e o uso estratégico de modelos de linguagem pequenos, a AT&T está redefinindo a eficiência e a eficácia da inteligência artificial e do desenvolvimento de software. Essa abordagem não só melhora a produtividade da empresa, mas também oferece um vislumbre do futuro da tecnologia, onde a automação e a agilidade caminham lado a lado.