GPU AMD Instinct MI300X
Assim como a Nvidia, a AMD reaproveita sua tecnologia de GPU comercial para o trabalho no data center, com algumas modificações necessárias. Nesse caso, a Instinct MI300X é baseada na arquitetura CDNA 3, que, por sua vez, é baseada na arquitetura de GPU RDNA.
As duas placas Instinct diferentes têm dois mercados-alvo diferentes. O MI300X terá como alvo o treinamento e a execução de inferência em grandes modelos de linguagem, como o Llama2 e o Bloom da Meta, enquanto o MI300A se concentrará em cargas de trabalho gerais de HPC e IA.
O MI300X é uma fera em termos de chip, não importa como o senhor o corte, e a CEO da AMD, Lisa Su, não hesitou em comparar o MI300X com “a concorrência”. Ele tem o tamanho aproximado de um copo, enorme para qualquer padrão de processador, com 192 GB de memória HBM3 de alta largura de banda (2,4x a capacidade HBM3 da placa H100 da Nvidia). Sua largura de banda de memória é de 5,3 TB/s, 60% maior do que os 3,3 TB/s da H100. Ela também consome mais energia, 750 W, o que é mais do que os 700 W da H100.
Em termos de desempenho de HPC, a AMD disse que o MI300X pode atingir até 163,4 teraflops para matemática matricial de precisão dupla FP32 e 81,7 teraflops de operações vetoriais FP64, ambos 2,4 vezes mais rápidos que o H100.
Para matemática de ponto flutuante de precisão única, também conhecida como FP32, o MI300X pode atingir 163,4 teraflops para operações de matriz e vetor. O desempenho vetorial do chip é 2,4 vezes melhor do que o do H100, afirma a AMD.
APU AMD MI300A
A AMD chama o Instinct MI300A de “a primeira APU de data center do mundo para HPC e IA”. APU é o termo da empresa para um único chip que combina núcleos de CPU e núcleos de GPU na mesma matriz. A AMD vem oferecendo esses tipos de produtos como processadores de desktop para PCs desde 2008, mas este é o primeiro produto para servidor.
