Como prometido pela Microsoft quando investiu US$ 1 bilhão na OpenAI em 2019, a empresa gastou centenas de milhões de dólares para construir um supercomputador que ajuda a alimentar o ChatGPT.
Em uma publicação, a Microsoft explica que a parceria firmada entre as empresas resultou na colaboração para criação dos recursos de supercomputação no Azure, “projetados e dedicados para permitir que a OpenAI treine um conjunto crescente de modelos de IA cada vez mais poderosos”.
A construção do supercomputador contou com milhares de unidades de processamento gráfico (GPUs) e chips gráficos A100 da Nvidia.
De acordo com Nidhi Chappel, gerente geral de infraestrutuera de IA do Azure, a criação do supercomputador foi o que “tornou possível o ChatGPT”. Consequentemente, o conjunto de recursos do supercomputador usado na criação do chatbot da OpenAI, foi posteriormente usado para treinar e executar o próprio modelo de IA do Bing.
Em comunicado, o diretor de tecnologia da Microsoft, John Roach, explica que as tarefas realizadas pela IA, como respostas, análises, etc, necessitam de uma configuração específica. A Azure utilizou datacenters de 60 regiões do mundo e também utilizou a rede InfiniBand para agrupar GPUs em cada datacenter.
”Como as GPUs estão conectadas em uma rede mais rápida, você pode encaixar modelos maiores nelas. E como o modelo se comunica mais rapidamente consigo mesmo, você poderá fazer a mesma quantidade de computação em menos tempo, por isso é mais barato. Do ponto de vista do cliente final, trata-se de quão barato podemos servir a inferência.
Nidhi Chappell, gerente geral de infraestrutuera de IA do Azure
Para otimizar a inferência, a Microsoft utilizou sistemas com o Open Neural Network Exchange, um mecanismo que incorpora “técnicas avançadas de otimização para fornecer inferências até 17 vezes mais rápidas”.
