A execução de cargas de trabalho de IA está chegando a uma máquina virtual perto de você, alimentada por GPUs e Kubernetes

Run:AI oferece uma camada de virtualização para IA, com o objetivo de facilitar a infraestrutura de IA. Está vendo muita tração e acaba de levantar uma rodada de financiamento da Série C de US$75 milhões. Veja como a evolução do cenário da IA moldou seu crescimento.

Run:AI oferece uma camada de virtualização para executar cargas de trabalho de IA

Run:AI pega sua IA e a executa na pilha de software super-rápida do futuro. Essa foi a manchete do nosso artigo de 2019 sobre Run:AI, que tinha acabado de sair do stealth. Embora gostemos de pensar que permanece preciso, a abordagem não convencional do Run:AI teve um rápido crescimento desde então.

A Run:AI, que se autodenomina uma "plataforma de orquestração de IA", anunciou hoje que arrecadou US$75 milhões na rodada da Série C liderada pela Tiger Global Management e Insight Partners, que liderou a rodada anterior da Série B. A rodada inclui a participação de investidores existentes adicionais, TLV Partners e S Capital VC, elevando o financiamento total arrecadado até o momento para US$118 milhões.

Conversamos com Omri Geller, CEO e cofundador da Run:AI, para discutir chips e infraestrutura de IA, o progresso da Run:AI e a interação entre eles.

AI Chips são legais, mas as GPUs da Nvidia dominam

A Run:AI oferece uma camada de software chamada Atlas para acelerar a execução da carga de trabalho de aprendizado de máquina, no local e na nuvem. Essencialmente, o Atlas funciona como uma máquina virtual para cargas de trabalho de IA: ele abstrai e simplifica o acesso ao hardware subjacente.

No entanto, a experiência de Geller no campo é que as organizações não estão apenas procurando uma maneira econômica de treinar e implantar modelos. Eles também estão procurando uma maneira simples de interagir com o hardware, e essa é uma das principais razões pelas quais a Nvidia ainda domina. Em outras palavras, está tudo na pilha de software. Isso está de acordo com o que muitos analistas identificam.

No entanto, estávamos nos perguntando se a promessa de desempenho superior pode atrair organizações ou se os concorrentes da Nvidia conseguiram de alguma forma fechar a lacuna em termos de evolução e adoção de sua pilha de software.

A experiência de Geller é que, embora os chips de IA personalizados possam atrair organizações com cargas de trabalho com perfis específicos orientados para o desempenho, sua adoção geral permanece baixa. O que o Run:AI vê, no entanto, é mais demanda por GPUs que não são Nvidia. Seja AMD MI200 ou Intel Ponte Vecchio, Geller vê as organizações procurando utilizar mais GPUs em um futuro próximo.

Kubernetes para IA

O domínio da Nvidia não é a única razão pela qual o desenvolvimento de produtos da Run:AI saiu do jeito que saiu. Outra tendência que moldou a oferta da Run:AI foi a ascensão do Kubernetes. Geller acha que o Kubernetes é uma das peças mais importantes na construção de uma pilha de IA, já que os contêineres são muito usados na ciência de dados - e além.

No entanto, Geller acrescentou, o Kubernetes não foi construído para executar cargas de trabalho de alto desempenho em chips de IA - ele foi construído para executar serviços em CPUs clássicas. Portanto, há muitas coisas que estão faltando no Kubernetes para executar aplicativos com eficiência usando contêineres.

Demorou um pouco para o Run:AI identificar isso. Depois de fazer isso, no entanto, sua decisão foi construir seu software como um plug-in para Kubernetes para criar o que Geller chamou de "Kubernetes para IA". Para evitar fazer escolhas específicas do fornecedor, a arquitetura Kubernetes da Run:AI permaneceu amplamente compatível. Geller disse que a empresa fez parceria com todos os fornecedores do Kubernetes e os usuários podem usar o Run:AI independentemente da plataforma Kubernetes que estiverem usando.

Com o tempo, a Run:AI construiu um ecossistema de parceiros notável, incluindo empresas como Dell, HP Enterprise, Nvidia, NetApp e OpenShift. Além disso, a plataforma Atlas também evoluiu tanto em largura quanto em profundidade. Mais notavelmente, Run:AI agora suporta cargas de trabalho de treinamento e inferência. Como a inferência normalmente representa a maior parte dos custos operacionais da IA na produção, isso é realmente importante.

Além disso, o Run:AI Atlas agora se integra a várias estruturas de aprendizado de máquina, ferramentas de MLOps e ofertas de nuvem pública. Isso inclui Weights & Biases, TensorFlow, PyTorch, PyCharm, Visual Studio e JupyterHub, bem como Nvidia Triton Inference Server e NGC, Seldon, AirFlow, KubeFlow e MLflow, respectivamente.

Mesmo as estruturas que não são pré-integradas podem ser integradas com relativa facilidade, desde que sejam executadas em contêineres sobre o Kubernetes, disse Geller. No que diz respeito às plataformas de nuvem, o Run:AI funciona com todos os 3 principais provedores de nuvem (AWS, Google Cloud e Microsoft Azure), bem como no local. Geller observou que a nuvem híbrida é o que eles veem nas implantações dos clientes.

Run:AI vê a infraestrutura de IA como uma pilha de camadas

Embora a realidade do mercado em que a Run:AI opera tenha derrubado parte do planejamento inicial, fazendo com que a empresa buscasse mais opções de operacionalização em vez de expandir o suporte para mais chips de IA, isso não significa que não houve avanços na frente técnica.

As principais conquistas técnicas do Run:AI são chamadas de compartilhamento fracionado de GPU, provisionamento fino de GPU e troca de tarefas. O compartilhamento fracionado de GPU permite executar muitos contêineres em uma única GPU, mantendo cada contêiner isolado e sem alterações de código ou penalidades de desempenho.

O que a VMware fez para CPUs, Run:AI faz para GPUs, em um ecossistema de contêineres sob Kubernetes, sem hipervisores, como disse Geller. Quanto ao provisionamento dinâmico e à troca de tarefas, eles permitem que a plataforma identifique quais aplicativos não estão usando recursos alocados em cada momento e realoce dinamicamente esses recursos conforme necessário.

Notavelmente, o Run:AI foi incluído no relatório Forrester Wave AI Infrastructure publicado no 4º trimestre de 2021. A empresa ocupa uma posição única entre os fornecedores de infraestrutura de IA, que inclui fornecedores de nuvem, Nvidia e OEMs de GPU.

Todos eles, disse Geller, são parceiros da Run:AI, pois representam infraestrutura para executar aplicativos. Geller vê isso como uma pilha, com hardware na camada inferior, uma camada intermediária que atua como interface para cientistas de dados e engenheiros de aprendizado de máquina e aplicativos de IA na camada superior.

A Run:AI está tendo uma boa tração, aumentando sua receita recorrente anual em 9x e sua equipe em 3x em 2021. A empresa planeja usar o investimento para aumentar ainda mais suas equipes globais e também considerará aquisições estratégicas à medida que desenvolve e aprimora sua plataforma.