A novidade da H100 é uma função chamada computação confidencial, que protege os modelos de IA e os dados dos clientes enquanto eles estão sendo processados. Kharya observou que, atualmente, os dados confidenciais costumam ser criptografados em repouso e em trânsito pela rede, mas geralmente ficam desprotegidos durante o uso. A computação confidencial aborda essa lacuna ao proteger os dados em uso, disse ele.
O Hopper também possui o NVLink de quarta geração, a tecnologia de interconexão de alta velocidade da Nvidia. Combinado com um novo switch NVLink externo, o novo NVlink pode conectar até 256 GPUs H100 com uma largura de banda nove vezes maior do que a geração anterior.
Por fim, o Hopper adiciona novas instruções DPX para acelerar a programação dinâmica, a prática de decompor problemas com complexidade combinatória em subproblemas mais simples. Ela é empregada em uma ampla gama de algoritmos usados em genômica e otimizações de gráficos. As instruções DP do Hopper acelerarão a programação dinâmica em sete vezes, disse Kharya.
Promessa do supercomputador mais rápido
Juntas, essa tecnologia será usada para criar os sistemas Nvidia DGX H100, unidades 5U montadas em rack, o bloco de construção dos poderosos supercomputadores DGX SuperPOD.
Kharya disse que o novo DGX H100 ofereceria 32 petaflops de desempenho de IA, seis vezes mais do que o DGX A100 atualmente no mercado. E, quando combinado com o sistema de switch NVLink, criaria um DGX SuperPOD de 32 nós que ofereceria um exaflop de desempenho de IA. Ele também oferecerá uma largura de banda de bissecção de 70 terabytes por segundo, 11 vezes maior do que o DGX A100 SuperPOD.
Para mostrar os recursos do H100, a Nvidia está construindo um supercomputador chamado Eos com 18 DGX H100 SuperPODs que têm 4.608 GPUs H100 unidas por switches NVLink e InfiniBand de quarta geração, para um total de 18 exaflops de desempenho de IA. Para colocar isso em perspectiva, de acordo com a mais recente lista Top500 de supercomputadores, o desempenho máximo de 8 bits do supercomputador mais rápido, o Fugaku, chega a quatro exaflops; a Nvidia promete ser quatro vezes mais rápida do que isso.
