“A taxa de mudança nas redes neurais é tal que qualquer tipo de processador de função fixa já estaria obsoleto quando fosse gravado e entregue. O senhor precisa de um substrato de silício flexível, e foi isso que construímos – uma arquitetura que pode ser reconfigurada a cada ciclo de clock de acordo com as necessidades dos operadores subjacentes que estão sendo executados a partir do software”, disse Choy.
Isso soa como um FPGA, mas não é exatamente isso. Choy chamou o chip de CGRA, ou arquitetura reconfigurável de granulação grossa. Os FPGAs são muito flexíveis, mas são bastante difíceis de programar. A SambaNova projetou o chip para ser de mais alto nível para estruturas de aprendizado de máquina e para não ser tão complicado quanto os FPGAs podem ser.
Junto com o hardware, vem a pilha de software baseada em Linux SambaFlow, com aprimoramentos em torno da integração empresarial, como o suporte nativo ao Kubernetes para a orquestração de modelos virtualizados e em contêineres.
De acordo com a SambaNova, ao treinar um modelo GPT-3 de 13 bilhões de parâmetros, o novo sistema DataScale SN30 funcionou seis vezes mais rápido do que um sistema Nvidia DGX A100 de oito soquetes. E Choy disse que os sistemas são capazes de realizar as partes de treinamento e inferência da IA, que geralmente são feitas por dois sistemas separados.
“Tradicionalmente, com CPUs e GPUs, o senhor faz o treinamento em uma GPU e, em seguida, faz a inferência na CPU. Isso implica uma grande movimentação de dados entre os sistemas. Com o SambaNova, temos uma única imagem de sistema que pode fazer tanto o treinamento quanto a inferência. Assim, o senhor vê a eliminação dessa dispendiosa movimentação de dados”, disse ele.
Os sistemas DataScale estão disponíveis para implantação no local e sob demanda por meio de parceiros provedores de serviços em nuvem.
