Projetos de inteligência artificial podem ter desafios relacionados a dados, processos, falta de estratégia e até falhas pelos modelos escolhidos. Mas eles também dão certo, geram resultados relevantes, porém, mesmo nesses casos, tem surgido outro obstáculo: o custo variável e imprevisível. Esse custo variável por ter ligação apenas com o processamento de um modelo próprio em nuvem ou pelo uso de IAs comerciais que adicionam ao jogo o consumo incontrolável de tokens. A startup Hoff Analytics vivia esse dilema. Desenvolveu um modelo próprio baseado em algumas LLMs, mas o treinamento em nuvem, estimado em US$ 50 mil mensais, poderia inviabilizar a solução. Diante do cenário, Wesley Bichoff, fundador da empresa, optou por investir no processamento local, algo cada vez mais defendido por fabricantes de hardware.

No caso da Hoff, a opção foi por construir uma estrutura de treinamento do processamento do modelo baseado no GN100, da Acer, um dispositivo que carregada o processador GB10 da NVIDIA e capacidade de processamento que pode chegar a 1 teraflop. O caminho percorrido por Bichoff deve se tornar tendência, seja para startups, centros de pesquisa ou empresas que querem o benefício da IA, mas com previsibilidade de custo.

“Essa máquina serve para o propósito específico, em vez de rodar em nuvem, coloca o modelo e roda aqui”, comentou o executivo. Ele lembra que, para sua startup, foram desenvolvidos 2 modelos proprietários fazendo fine-tuning de LLMs existentes. Atualmente, ele conta com 5 máquina GN100. “Criamos modelo de 3 bilhões de parâmetros. Em 3 meses, você consegue criar um modelo, presumindo que você tenha o data set para treinamento. As máquinas me fizeram economizar muito dinheiro. Gastaria US$ 50 mil dólares para treinar em nuvem. E esses computadores podem rodar em cluster, vocês veem duas máquinas, mas funcionam como algo único.”

Segurança e controle dos dados

O carro-chefe da Hoff Analytics é gerar inteligência para o setor da construção civil. Os modelos desenvolvidos pela empresa compilam dados e mais dados, sejam eles abertos ou cedidos por clientes. Tudo é processado, analisado e devolvido em forma de inteligência, por meio de dashboards e relatórios para melhor entender as tendências de consumo de produtos do setor. O cliente pode contratar como serviço ou relatórios únicos. Para se ter uma ideia do poder desse tipo de equipamento, apenas para mapear informações disponíveis, eles mapeiam 2,5 milhões de sites para entender a dinâmica do mercado. 

Além do custo, que poderia inviabilizar a startup, Wesley Bichoff afirma que outro benefício desses equipamentos é a possibilidade de garantir que os dados estejam em ambiente controlado e seguro, sem risco de serem utilizados por LLMs para outros fins. Isso é altamente valorizado pelos clientes. Ele também entende que a linha que ele segue, de criar modelos específicos, tende a ganhar força, já que entrega mais agilidade e com menor custo e tempo de treinamento. Ele brinca ao dizer que nem toda IA precisa te passar a melhor receita de bolo de laranja, o que é verdade. 

Como ressaltou o diretor de vendas da Acer, Marco Vorrah, a fabricante tenta advogar por esse tipo de equipamento, seja para startups como a Hoff Analytics, seja para empresas que buscam mais liberdade e controle de custos em suas iniciativas de inteligência artificial. “Queremos dar luz para mais formas de uso, mudar a dinâmica para quem desenvolve IA localmente. Esse equipamento resolve latência, questões de segurança, privacidade de dados e previsibilidade de custo”, detalhou.

Alto poder computacional

O poder de um GN100 é tão grande que Jomar Silva, gerente de relações com desenvolvedores da NVIDIA para América Latina, lembra que a capacidade computacional dessa máquina é praticamente a mesma do servidor que propiciou o surgimento da OpenAI. “Essa arquitetura é sonho de consumo do desenvolvedor de IA, porque ele consegue conectar diversos aparelhos e tem capacidade como se os chips estivessem juntos (em uma só máquina). Tem muita startup usando porque você consegue fazer um treinamento pesado. O custo disso em nuvem seria absurdo. E esse esqueceu alguma coisa durante o teste, perdeu dinheiro. Com o hardware, a gente faz esse teste local e você erra quanto quiser”, resume. 

Outro exemplo de custo elevado em nuvem é o de criação e treinamento de agentes de IA. Além do tempo de treinamento e ajuste para consumo mínimo de token, o especialista da NVIDIA afirma que eles não são determinísticos. Isso faz com que uma mesma pergunta feita em momentos diferentes possa apresentar consumos de tokens totalmente variados. 

“O que acontece é que os agentes de IA trazem retorno de negócio, porque é a primeira vez que você resolve problema real, mas está todo mundo perdido tentando entender como escala isso”, comentou Silva. Ele citou como exemplo uma empresa que ele ajuda com a NVIDIA, que tem 400 consultores, e fizeram piloto de agentes com 10 consultores. Com o aumento de produtividade, a liderança queria liberar para toda a empresa. Após conversas, decidiram sair de 10 para 100. Após a mudança, o budget de token da empresa par ao ano todo foi consumido em 4 dias. Eles puxaram o freio e agora avaliam possibilidades de aproveitar IA, mas com previsibilidade. 

Assim, as aplicações desse mini supercomputador são as mais variadas e vão de startups a centros de pesquisa, passando por empresas de diferentes portes. A combinação entre processamento local e nuvem também favorece o uso desse tipo de máquina. Dependendo da configuração, a quantidade de usuários simultâneos suportada é totalmente adequada aos ambientes corporativos. A Hoff chegou a simular mil usuários em uma máquina, o que é pouco provável que aconteça tal cenário com alguma aplicação corporativa. O equipamento atende desde necessidades de processar localmente LLMs a workloads de data science, machine learning, treinamento de visão computacional, entre outros.