Essas instâncias também são pesadas. As instâncias P4d com oito GPUs Nvidia A100 têm capacidade para até 2,5 petaflops de desempenho de precisão mista e 320 GB de memória de GPU de alta largura de banda em uma instância EC2. A AWS disse que as instâncias P4d são as primeiras a oferecer largura de banda de rede de 400 Gbps com Elastic Fabric Adapter (EFA) e interfaces de rede Nvidia GPUDirect RDMA para permitir a comunicação direta entre GPUs em servidores para menor latência e maior eficiência de dimensionamento.
Cada instância do P4d também oferece 96 vCPUs Intel Xeon Scalable (Cascade Lake), 1,1 TB de memória do sistema e 8 TB de memória local. NVMe para reduzir o tempo de treinamento em um único nó. Ao mais do que dobrar o desempenho da geração anterior de instâncias P3, as instâncias P4d podem reduzir o custo de treinamento de modelos de aprendizado de máquina em até 60%.
“À medida que os dados se tornam mais abundantes, os clientes treinam modelos com milhões e, às vezes, bilhões de parâmetros, como os usados no processamento de linguagem natural para resumir documentos e responder a perguntas, detecção e classificação de objetos para veículos autônomos, classificação de imagens para moderação de conteúdo em larga escala, mecanismos de recomendação para sites de comércio eletrônico e algoritmos de classificação para mecanismos de pesquisa inteligentes – tudo isso exige um aumento no rendimento da rede e na memória da GPU”, disse a AWS em um comunicado.
