A Nvidia descreveu o L4 como um acelerador universal para vídeo, IA e gráficos eficientes. Por ser uma placa de baixo perfil, ela cabe em qualquer servidor, transformando qualquer servidor ou qualquer data center em um data center de IA. Ela é otimizada especificamente para vídeo de IA com novos aceleradores de codificador e decodificador.
A Nvidia disse que essa GPU é quatro vezes mais rápida que sua antecessora, a T4, 120 vezes mais rápida que um servidor com CPU tradicional, usa 99% menos energia que um servidor com CPU tradicional e pode decodificar 1040 fluxos de vídeo provenientes de diferentes dispositivos móveis.
O Google será uma espécie de parceiro de lançamento dessa placa, com o L4 oferecendo suporte a serviços de IA generativa disponíveis para os clientes do Google Cloud.
Outra nova GPU é a H100 NVL da Nvidia, que é basicamente dois processadores H100 em uma placa. Essas duas GPUs funcionam como uma só para implantar modelos de linguagem grande e modelos de inferência GPT de 5 bilhões de parâmetros até 200 bilhões, o que torna o processo 12 vezes mais rápido do que o rendimento de um processador x86, afirma a Nvidia.
Detalhes da nuvem DGX
A Nvidia deu um pouco mais de detalhes sobre o DGX Cloud, seus sistemas de IA que são hospedados por provedores de serviços em nuvem, incluindo Microsoft Azure, Google Cloud e Oracle Cloud Infrastructure. Jensen Huang, CEO da Nvidia anunciou anteriormente o serviço em uma teleconferência de resultados com analistas no mês passado, mas não deu muitos detalhes.
O DGX Cloud não é apenas o hardware, mas também uma pilha de software completa que transforma o DGX Cloud em uma oferta de treinamento como serviço pronta para uso. Basta apontar para o conjunto de dados que o senhor deseja treinar, dizer para onde os resultados devem ir e o treinamento é realizado.
