Cientistas de dados e outros pesquisadores de IA geralmente recebem uma alocação de GPUs, com as GPUs reservadas para indivíduos executarem seus processos e os de mais ninguém. É assim que a computação de alto desempenho (HPC) e os supercomputadores operam, e fazer a alocação correta do processador é uma espécie de arte negra para os administradores.
Com o Thin GPU Provisioning e o Job Swapping, sempre que uma carga de trabalho em execução não estiver utilizando suas GPUs alocadas, esses recursos são agrupados e podem ser automaticamente provisionados para uso por uma carga de trabalho diferente. É semelhante ao thin provisioning introduzido pela primeira vez pela VMware para redes de área de armazenamento, em que o espaço em disco de armazenamento disponível é alocado, mas não provisionado até que seja necessário, de acordo com uma declaração da Run:AI.
O Thin GPU Provisioning cria GPUs com excesso de provisionamento, enquanto o Job Swapping usa prioridades predefinidas para reatribuir a capacidade não utilizada da GPU. Juntas, segundo a Run:AI, as duas tecnologias maximizam a utilização geral da GPU.
