Os sistemas IPU-POD desagregam a computação de IA dos servidores, o que significa que diferentes tipos de cargas de trabalho de IA que exigem diferentes níveis de desempenho podem ser executados no mesmo POD. Por exemplo, um POD pode ser alocado para o treinamento mais rápido de grandes modelos de linguagem baseados em Transformer em todo o sistema, ou o sistema pode ser dividido em vPODs menores e flexíveis para dar acesso à IPU a mais desenvolvedores.
Isso é feito por meio da pilha de software Poplar da Graphcore, que inclui um SDK, a Graphcore Communication Library (GCL) para gerenciar a comunicação e a sincronização entre as IPUs, e o PopRun e o PopDist, que permitem que os desenvolvedores executem seus aplicativos em vários sistemas IPU-POD.
Para a comunicação IPU intra-rack, os PODs anteriores usavam IPU-Links de 64 Gb/s. Agora, o IPU-POD128 e o IPU-POD256 usam novos Gateway Links, uma conexão horizontal de rack para rack que estende os IPU-Links usando tunelamento sobre Ethernet 100Gb regular.
