Dan Olds, diretor de pesquisa da Intersect360 Research, disse que essa é uma grande atualização tanto em termos de hardware quanto, o que é mais importante, da pilha de software circundante. Ele observa que o limite de 5 trilhões de parâmetros do SN40 é quase três vezes maior do que o tamanho estimado de 1,7 trilhão de parâmetros do GPT-4.
“A memória maior, além da adição do HBM, são fatores fundamentais para impulsionar o desempenho desse novo processador. Com espaços de memória maiores, os clientes podem colocar mais de seus modelos na memória principal, o que significa um processamento muito mais rápido. O acréscimo do HBM à arquitetura permite que o sistema mova dados entre a memória principal e o cache do HBM em blocos muito maiores, o que também acelera o processamento”, disse Olds.
A capacidade de executar modelos muito maiores em sistemas relativamente pequenos e de executar vários modelos simultaneamente com alto desempenho, além da integração de LLMs de código aberto para ajudar os clientes a iniciarem rapidamente seus próprios projetos de IA generativa, marcam um grande passo à frente para o SambaNova, disse Olds.
“Isso proporciona a eles um hardware que pode realmente competir com sistemas baseados em GPU em modelos grandes e um conjunto de software que deve eliminar grande parte do mistério (e do tempo) da criação de um LLM personalizado para os usuários finais”, disse ele.
