No domingo (02), durante a Computex 2024, a Nvidia lançou oficialmente o Nvidia NIM (Nvidia Inference Microservices). O serviço oferece uma variedade de ferramentas para ajudar empresas de todos os tamanhos a criar aplicativos com o auxílio da inteligência artificial. Com base no conceito de IA generativa, o NIM permite a criação de ferramentas como chatbots e copilotos em minutos, além de maximizar a eficiência de qualquer infraestrutura, sendo capaz de produzir cinco vezes mais tokens por segundo ao executar o Llama 3-8B da Meta.
Todas as ferramentas foram pré-construídas com softwares de inferência da Nvidia, incluindo o Triton Inference Server e o TensorRT-LLM. Os pacotes oferecem suporte a modelos abertos e privados, sejam da própria Nvidia ou de outras empresas, como Microsoft, Google e Meta.
“Toda empresa está buscando uma forma de incorporar IA generativa em suas operações, mas nem todas possuem um time dedicado de pesquisadores em IA. Com integração em qualquer plataforma, sempre acessível aos desenvolvedores e operando continuamente, o Nvidia NIM está tornando a IA generativa acessível para qualquer empresa”, explicou Jensen Huang, CEO da Nvidia.
Para as empresas interessadas em usar o Nvidia NIM, ele estará disponível na plataforma Nvidia AI Enterprise sem custos para desenvolvedores. Isso permite a utilização ilimitada de todos os recursos para desenvolvimento e pesquisa em cloud, datacenters ou estações de trabalho pessoais.
Os desenvolvedores também podem obter uma licença renovável através do programa Nvidia Developers. O custo é de US$ 4,5 mil (cerca de R$ 23 mil) anuais por GPU, ou US$ 1 (R$ 5) por GPU a cada hora de serviço contratado.
Para mais informações sobre os serviços, os interessados podem visitar o site das plataformas de IA da Nvidia, onde encontrarão detalhes sobre o Nvidia NIM e outros produtos da empresa.
