Embora as empresas estejam se apressando para adotar a IA generativa para melhorar seus negócios, o custo de aquisição do hardware e de sua operação tem feito muitos hesitarem. Um servidor DGX da Nvidia, desenvolvido sob medida para IA generativa e repleto de hardware, pode facilmente custar cerca de seis dígitos. Por esse valor, o senhor também pode comprar cerca de 10 servidores comuns. Qual será a prioridade das empresas?
Além disso, há a despesa de operá-los. As GPUs da Nvidia não são conhecidas por consumirem pouca energia. É exatamente o oposto. Elas são as maiores consumidores de energia em um data center. Portanto, para uma empresa que se preocupa com o orçamento, especialmente uma empresa de médio porte, a implementação de hardware de IA generativa pode ser muito onerosa.
Além disso, a forma como a IA opera é diferente dos aplicativos tradicionais de linha de negócios. Há a tarefa de treinamento com uso intensivo de processos, que exige GPUse, em seguida, há a inferência, que executa os modelos treinados pelas GPUs. Depois que um modelo é treinado, há uma boa chance de que o senhor não precise revisá-lo por meses. Assim, seu hardware muito caro fica ocioso, desnecessário e se depreciando.
As empresas poderiam fazer isso sozinhas sem usar um provedor de nuvem em hiperescala? “Teoricamente, sim, mas os custos podem ser proibitivos e o acesso ao tipo certo de conhecimento especializado pode ser muito limitado”, disse John Dinsdale, analista-chefe e diretor de pesquisa do Synergy Research Group.
Portanto, a tendência emergente na TI empresarial para IA generativa é terceirizar a parte de treinamento de sua IA, mas fazer a inferência, que é muito menos intensiva em termos de processo, internamente. Por que investir centenas de milhares de dólares em hardware que o senhor só usa com moderação quando pode alugá-lo do Google ou da AWS?
Isso é conhecido como IA como serviço, uma oferta emergente de hiperescalares como AWS e Microsoft. Podemos esperar mais sobre isso.
