Chamado de Nvidia Inference Microservices (NIM), o software faz parte do pacote de software Enterprise AI da Nvidia. Ele consiste em um pacote de mecanismos de inferência otimizados, APIs padrão do setor e suporte para modelos de IA, todos agrupados em contêineres para facilitar a implantação. O NIM fornece modelos pré-construídos, além de permitir que as organizações adicionem seus próprios dados e modelos proprietários.
Uma coisa que se pode dizer sobre essa tecnologia NIM é que a Nvidia não trabalhou em um vácuo. A empresa trabalhou com muitos dos principais fornecedores de software, incluindo SAP, Adobe, Cadence, CrowdStrike e ServiceNow, bem como fornecedores de plataformas de dados, incluindo Box, Cohesity, Cloudera, Databricks, Datastax e NetApp.
Ele oferece processamento de inferência em muitos dos modelos populares de IA do Google, Meta, Hugging Face, Microsoft, Mistral AI e Stability AI. Os microsserviços do NIM estarão disponíveis no Amazon Web Services, no Google Kubernetes Engine e no Microsoft Azure AI.
Entrando na validação do armazenamento
O armazenamento é um componente essencial do processamento de IA, pois a IA não é nada sem grandes quantidades de dados. Para esse fim, a Nvidia iniciou um programa de validação de parceiros de armazenamento projetado para ajudar as empresas a encontrar as soluções de armazenamento certas, oferecendo certificação para IA e cargas de trabalho com uso intensivo de gráficos. O programa é chamado de Nvidia OVX, um esquema de nomenclatura semelhante ao dos servidores de computação DGX. O primeiro lote de empresas que buscam a validação de armazenamento OVX é DDN, Dell PowerScale, NetApp, Pure Storage e WEKA.
Os servidores NVIDIA OVX combinam computação acelerada por GPU de alto desempenho com acesso de armazenamento de alta velocidade e rede de baixa latência para lidar com uma variedade de cargas de trabalho complexas de IA e gráficos intensivos. O programa oferece um processo padronizado para que os parceiros validem seus dispositivos de armazenamento.
Fabricantes de servidores aderem à Blackwell
Todos os principais OEMs anunciaram novas ofertas baseadas em Blackwell.
