IA não é a próxima grande novidade - aqui está o que é

Começamos nossa série testando as respostas do Google Bard em relação às respostas do ChatGPT. Primeiro, veremos se Bard pode ajudá-lo a programar. A resposta pode surpreendê-lo.

Ao longo do último mês, tenho testado o ChatGPT, apresentando uma ampla gama de desafios para resolver - desde escrever um script de Star Trek até codificar um plugin para WordPress. O resultado chocante (e, para ser honesto, assustador) foi que o ChatGPT superou todos os meus desafios muito bem. Se ChatGPT fosse um dos meus alunos, teria obtido consistentemente um sólido B.

Mas agora temos o participante do Google, Bard. O Google me concedeu acesso à versão beta, então decidi submetê-la aos mesmos testes que fiz no ChatGPT.

Infelizmente, posso não conseguir o mesmo trabalho sólido de nível B que o ChatGPT foi capaz de produzir. A editora associada da ZDNET, Sabrina Ortiz, conduziu uma ampla gama de testes assim que Bard estava disponível e encontrou resultados decepcionantes. Você sabe que as coisas podem ser problemáticas quando o artigo é intitulado "Testei o Google Bard. Foi surpreendente - de um jeito ruim".

Então. Sim.

Mas vamos ver se Bard se destaca em alguma área específica. Para fazer isso, farei uma comparação artigo por artigo do Bard com o ChatGPT. Passarei ao Bard exatamente as mesmas instruções que dei ao ChatGPT e você poderá comparar os resultados. No final da série, tabularemos as pontuações para obter uma visão mais abrangente de ambas as IAs lado a lado.

Vamos começar com um que já sei que não vai funcionar.

Bard pode escrever um plugin para WordPress?

Foi neste primeiro teste que comecei a ter a sensação de que o ChatGPT estava mudando o jogo. Em "Pedi ao ChatGPT para escrever um plugin WordPress que eu precisava. Ele fez isso em menos de 5 minutos", dei ao ChatGPT um aviso descrevendo uma necessidade real que minha esposa tinha de seu site WordPress.

Em poucos minutos, o ChatGPT forneceu um plugin funcional. Ele está instalado em seu site há pouco mais de um mês e ela o usa regularmente. Aqui está o prompt:

Escreva um plugin WordPress compatível com PHP 8 que forneça um campo de entrada de texto onde uma lista de linhas pode ser colada e um botão que, quando pressionado, randomiza as linhas da lista e apresenta os resultados em um segundo campo de entrada de texto.

E foi assim que Bard respondeu:

I'm not able to help with coding just yet, but I can do things like answer other complex questions, help you learn a new skill, or write a business letter. Do you want me to help with anything else?

Para ser justo, eu sabia que seria esse o caso. Os testes de Sabrina descobriram que Bard não conseguia codificar.

Nas perguntas frequentes do Bard, o Google responde à pergunta "O Bard pode ajudar com a codificação?" com a resposta: "Bard ainda não pode ajudá-lo com a codificação. Bard ainda está aprendendo a codificar e as respostas sobre o código não são oficialmente suportadas por enquanto."

Agora, isso é interessante. Sabrina e eu testamos para ver se Bard sabia programar. Mas o FAQ do Bard do Google diz "Bard ainda não pode ajudá-lo com a codificação." Aposto que isso não é estritamente verdade. Vamos ver se Bard pode ajudar com codificação (diferentemente de escrever código).

Bard pode ajudar com a codificação?

Meu próximo artigo da série foi “Como usar o ChatGPT para escrever código”. Nisto, expliquei que havia etapas envolvidas na codificação além de apenas digitar o código em um editor.

Escolhi um projeto de amostra, uma rotina que recuperaria uma página da web, extrairia a essência do conteúdo (não os anúncios e todas as outras coisas que normalmente estão em uma página) e resumiria os resultados.

Antes de escrever uma linha de código, foi necessário escolher bibliotecas e funcionalidades para incluir no código. ChatGPT ajudou com isso. Vamos ver se Bard também consegue. No caso do ChatGPT, escrevi minhas perguntas como se fosse uma conversa. Então vamos fazer o mesmo com Bard.

Descrever dez diferentes bibliotecas de IA de código aberto (e as linguagens com as quais elas trabalham) que posso usar para gerar um resumo do conteúdo principal de qualquer página da web, ignorando quaisquer anúncios ou materiais incorporados.

Os resultados foram bons. Bard me deu dez bibliotecas diferentes. Algumas eram diferentes daquelas recomendadas pelo ChatGPT, mas eram todas bibliotecas válidas. Vamos fazer a próxima pergunta na cadeia original.

Algum deles é gratuito?

Bard respondeu: "Sim, todas as bibliotecas que listei são gratuitas e de código aberto. Você pode encontrá-las no GitHub e em outros repositórios de código aberto." Acho que isso está mais correto. O único lugar onde não tenho certeza é se Bard recomendou a biblioteca Github Bard, e como Bard ainda está em beta, não saberemos por um tempo se ela pode ser incorporada ao código sem quaisquer taxas.

Quais destas bibliotecas não têm limites de uso e não exigem nenhum pagamento ou licenciamento adicional?

Agora, isso é interessante. A resposta de Bard foi um pouco mais sutil do que ChatGPTs. Especificamente, Bard respondeu:

All of the libraries I listed are free and open source, and they do not have any usage limits or require any additional payment or licensing. However, some of them may have additional restrictions, such as requiring you to cite the source or not using them for commercial purposes. It is important to read the license of each library before using it.

ChatGPT não mencionou licenciamento ou restrições de uso. Então, farei a Bard uma pergunta que não fiz ao ChatGPT:

Quais dessas bibliotecas não estão restritas ao uso comercial?

Bard respondeu com oito das dez bibliotecas originais. Ok, vamos voltar aos prompts que também usei com ChatGPT.

Dessas 8 bibliotecas, posso usar alguma com PHP?

Ele identificou quatro: Sumy (que ChatGPT também identificou), o próprio Bard, TextRank e Latent Semantic Analysis (LSA). Em seguida, pedi ao ChatGPT para comparar as bibliotecas encontradas, então pedirei ao Bard para fazer a mesma coisa com as bibliotecas recomendadas. Foi isso que perguntei originalmente ao ChatGPT: "Qual é a diferença entre Sumy, Gensim e NLTK?" E aqui está minha pergunta para Bard:

Qual é a diferença entre Sumy, Bard, TextRank e Análise Semântica Latente (LSA)

Produziu uma resposta muito sólida. Aqui está o que disse:

Sumy, Bard, TextRank, and Latent Semantic Analysis (LSA) are all algorithms that can be used to summarize text documents. However, they differ in how they work and what their strengths and weaknesses are.

Sumy is a Python library that can summarize text files and HTML pages. It uses a variety of algorithms, including Luhn, LSA, Edmundson heuristic method, LexRank, and TextRank. Sumy is a good choice for summarizing large amounts of text, as it is very efficient. However, it can sometimes generate summaries that are not very accurate.

Bard is a large language model from Google AI that can be used for a variety of tasks, including text summarization. It can be used to summarize text files, HTML pages, and even code. Bard is a good choice for summarizing text documents that are difficult to summarize with other algorithms, as it can understand the meaning of the text and generate summaries that are more accurate. However, it can sometimes generate summaries that are too long or repetitive.

TextRank is a machine learning algorithm for generating summaries of text documents. It is based on the idea that the importance of a sentence in a document is determined by the number of other important sentences that link to it. TextRank is a good choice for summarizing text documents that contain a lot of information, as it can identify the most important sentences and generate summaries that are concise and informative. However, it can sometimes generate summaries that are not very accurate.

Latent Semantic Analysis (LSA) is a statistical method for extracting the latent semantic structure of a corpus of text. It can be used to summarize text documents by identifying the most important topics. LSA is a good choice for summarizing text documents that contain a lot of information, as it can identify the most important topics and generate summaries that are concise and informative. However, it can sometimes generate summaries that are not very accurate.

Ultimately, the best algorithm for summarizing a text document will depend on the specific document and the desired outcome.

No meu teste ChatGPT original, pedi alguns esclarecimentos adicionais, então vamos fazer o mesmo com o Bard.

Se eu quiser criar resumos de artigos de notícias de páginas da web, qual biblioteca funcionaria melhor?

Bard recomendou Bard, enquanto ChatGPT recomendou Sumy. Aqui está a resposta de Bard:

Based on your requirements, I suggest using Bard. It can summarize text documents that are difficult to summarize with other algorithms, as it can understand the meaning of the text and generate summaries that are more accurate. Additionally, it can summarize text documents that contain a lot of information, which is a common characteristic for web page news articles.

Parece entender o espírito das perguntas que estou fazendo. Minha próxima pergunta no teste ChatGPT foi sobre como usar Sumy com PHP. Como Bard se recomendou, farei a mesma pergunta a Bard.

Você pode explicar como usar o Bard do PHP?

Aqui está a resposta. É bastante sólido e inclui até alguns trechos de código para ver como pode funcionar.

Conclusão: Bard pode ajudar na codificação?

Obviamente, não alimentei Bard com o prompt para escrever a rotina summary_article real, porque já estabelecemos que ela não pode codificar.

Mas, ao contrário da própria declaração do Google, está claro que Bard pode definitivamente ajudar na codificação, pelo menos em termos de localização de recursos e ajuda a filtrar dados para encontrar informações relevantes nesses recursos.

Algumas das respostas de Bard foram mais sutis do que ChatGPT, apontando problemas de licenciamento após uma pergunta e desvantagens, bem como vantagens das várias bibliotecas em outra. Isso é uma vitória para Bard.

Estou planejando me aprofundar mais em como a Bard pode ajudar a resolver desafios técnicos. ChatGPT se saiu muito bem com esses desafios, então estou curioso para saber como Bard se sai. Fique atento.

Dito isso, tanto pelos testes de Sabrina quanto pelas perguntas frequentes do Google, eu esperava que Bard travasse e queimasse com qualquer coisa relacionada à codificação, e esse não é o caso. Com base em meus testes iniciais, Bard pode funcionar como um auxílio de pesquisa útil para questões de codificação e possivelmente ajudar a economizar algum tempo.

Agora, para ser justo, definitivamente escolherei ChatGPT em vez de Bard se precisar de ajuda com codificação. Mas Bard não está completamente desprovido de jogo, e posso vê-lo sendo muito útil como fonte de uma segunda opinião para muitos tipos diferentes de pesquisa. Afinal, peguei o ChatGPT apenas inventando coisas, em vez de admitir que não sabe a resposta para alguma coisa. Bard demonstrou utilidade real com os exemplos de codificação acima, agregando valor e nuances que o ChatGPT perdeu, embora Bard não seja capaz de realmente escrever código... ainda.