Se o ChatGPT produz código gerado por IA para o seu aplicativo, a quem ele realmente pertence?

A fabricante de computadores de IA lançou sete modelos de código aberto, como o GPT da OpenAI, como um recurso para a comunidade de pesquisa.

O supercomputador Andromeda da Cerebras foi usado para treinar sete programas de linguagem semelhantes ao ChatGPT da OpenAI.

O mundo da inteligência artificial, especialmente aquele que é extremamente popular conhecido como “IA generativa” - criação automática de textos e imagens - corre o risco de fechar os seus horizontes devido ao efeito inibidor das empresas que decidem não publicar os detalhes. de suas pesquisas.

Mas a mudança para o sigilo pode ter levado alguns participantes no mundo da IA a intervir e preencher o vazio de divulgação.

Na terça-feira, a Cerebras Systems, pioneira em IA, fabricante de um computador de IA dedicado e do maior chip de computador do mundo, publicou como código aberto várias versões de programas de IA generativos para uso sem restrições.

Os programas são “treinados” pela Cerebras, ou seja, levados ao desempenho ideal usando o poderoso supercomputador da empresa, reduzindo assim parte do trabalho que pesquisadores externos têm de realizar.

“As empresas estão tomando decisões diferentes das que tomaram há um ou dois anos e discordamos dessas decisões”, disse o cofundador e CEO da Cerebras, Andrew Feldman, em entrevista à ZDNET, aludindo à decisão da OpenAI, criadora do ChatGPT, não publicar detalhes técnicos quando divulgou este mês seu mais recente programa de IA generativa, o GPT-4, uma medida que foi amplamente criticada no mundo da pesquisa de IA.

"Acreditamos que uma comunidade aberta e vibrante - não apenas de pesquisadores, e não apenas de três, quatro, cinco ou oito profissionais de LLM, mas uma comunidade vibrante na qual startups, empresas de médio porte e empresas estejam treinando grandes modelos linguísticos - - é bom para nós e é bom para os outros", disse Feldman.

O termo modelo de linguagem grande refere-se a programas de IA baseados em princípios de aprendizado de máquina nos quais uma rede neural captura a distribuição estatística de palavras em dados de amostra. Esse processo permite que um grande modelo de linguagem preveja a próxima palavra em uma sequência. Essa capacidade está subjacente a programas populares de IA generativa, como o ChatGPT.

O mesmo tipo de abordagem de aprendizado de máquina se aplica à IA generativa em outros campos, como o Dall-E da OpenAI, que gera imagens com base em uma frase sugerida.

A Cerebras postou sete grandes modelos de linguagem que estão no mesmo estilo do programa GPT da OpenAI, que deu início à mania da IA generativa em 2018. O código está disponível no site da startup de IA Hugging Face e no GitHub.

Os programas variam em tamanho, de 111 milhões de parâmetros, ou pesos neurais, a treze bilhões. Mais parâmetros tornam um programa de IA mais poderoso, em geral, de modo que o código Cerebras oferece uma gama de desempenho.

A empresa publicou não apenas o código-fonte dos programas, nos formatos Python e TensorFlow, sob a licença de código aberto Apache 2.0, mas também os detalhes do regime de treinamento pelo qual os programas foram levados a um estado de funcionalidade desenvolvido.

Essa divulgação permite aos pesquisadores examinar e reproduzir o trabalho do Cerebras.

O lançamento da Cerebras, disse Feldman, é a primeira vez que um programa estilo GPT se torna público “usando técnicas de eficiência de treinamento de última geração”.

Outros trabalhos de treinamento de IA publicados ocultaram dados técnicos, como o GPT-4 da OpenAI, ou os programas não foram otimizados em seu desenvolvimento, o que significa que os dados alimentados ao programa não foram ajustados ao tamanho do programa, conforme explicado em uma postagem técnica no blog da Cerebras.

Esses grandes modelos de linguagem são notoriamente intensivos em computação. O trabalho da Cerebras divulgado na terça-feira foi desenvolvido em um conjunto de dezesseis de seus computadores CS-2, computadores do tamanho de refrigeradores de dormitórios ajustados especialmente para programas de estilo IA. O cluster, divulgado anteriormente pela empresa, é conhecido como supercomputador Andromeda, que pode reduzir drasticamente o trabalho de treinamento de LLMs em milhares de chips GPU da Nvidia.

Como parte do comunicado de terça-feira, a Cerebras ofereceu o que disse ser a primeira lei de escalonamento de código aberto, uma regra de referência sobre como a precisão de tais programas aumenta com o tamanho dos programas baseados em dados de código aberto. O conjunto de dados usado é o The Pile de código aberto, uma coleção de textos de 825 gigabytes, principalmente textos profissionais e acadêmicos, lançada em 2020 pelo laboratório sem fins lucrativos Eleuther.

As leis de escalonamento anteriores da OpenAI e DeepMind do Google usavam dados de treinamento que não eram de código aberto.

No passado, a Cerebras defendeu as vantagens de eficiência dos seus sistemas. A capacidade de treinar com eficiência os exigentes programas de linguagem natural está no cerne das questões de publicação aberta, disse Feldman.

“Se você conseguir eficiência, poderá colocar coisas na comunidade de código aberto”, disse Feldman. "A eficiência nos permite fazer isso de forma rápida e fácil e fazer a nossa parte pela comunidade."

A principal razão pela qual a OpenAI, e outras, estão a começar a fechar o seu trabalho ao resto do mundo é porque devem proteger a fonte de lucro face ao aumento do custo de formação da IA, disse ele.

“É tão caro que eles decidiram que é um ativo estratégico e decidiram retirá-lo da comunidade porque é estratégico para eles”, disse ele. “E acho que é uma estratégia muito razoável.

“É uma estratégia razoável se uma empresa deseja investir muito tempo, esforço e dinheiro e não partilhar os resultados com o resto do mundo”, acrescentou Feldman.

No entanto, “pensamos que isso torna o ecossistema menos interessante e, a longo prazo, limita a maré crescente” da investigação, disse ele.

As empresas podem “armazenar” recursos, como conjuntos de dados ou conhecimentos especializados em modelos, acumulando-os, observou Feldman.

“A questão é: como esses recursos são usados estrategicamente na paisagem”, disse ele. "Acreditamos que podemos ajudar apresentando modelos abertos, usando dados que todos possam ver."

Questionado sobre qual seria o produto do lançamento de código aberto, Feldman observou: "Centenas de instituições distintas podem trabalhar com esses modelos GPT que de outra forma não conseguiriam e resolver problemas que de outra forma poderiam ter sido deixados de lado."