O Dall•E 2 da OpenAI pode significar que nunca mais precisaremos de fotos
Digitar uma frase sobre um cenário, como um usuário ansioso do Windows sentado em sua mesa vendo um aviso de patch, pode fornecer apenas a imagem necessária para acompanhar um artigo.
O Dall•E 2 da OpenAI, que se tornou disponível ao público esta semana, pode criar imagens em uma variedade de gêneros e estilos digitando uma frase, neste caso, "Foto de uma pessoa com óculos fazendo um ponto para várias pessoas em uma mesa de conferência em uma sala de reuniões".
O reino das coisas falsas continua a ser refinado pela inteligência artificial, com o texto falso tendo sido dominado há alguns anos com o programa de processamento de linguagem natural GPT-3 da startup OpenAI.
Agora, as imagens, que alcançaram falsificações substanciais graças a programas como o StyleGAN da Nvidia, introduzido por Tero Karras e colegas da Nvidia em 2019, receberam um impulso neste verão com o anúncio da OpenAI de um novo programa para falsificar imagens, DALL•E 2, que se baseia no primeiro DALL•E, lançado em janeiro de 2021. Ele pode pegar uma frase que você digita e convertê-la em uma imagem, com várias maneiras de moldar a imagem de saída.
Esta semana, a OpenAI removeu a lista de espera; qualquer pessoa agora pode acessar o site para dar uma olhada no DALL•E 2, desde que esteja disposta a criar uma conta no site da OpenAI com um endereço de e-mail e número de telefone.
O forte do DALL•E 2, como seu antecessor, é criar imagens a partir de um texto que uma pessoa digita em um campo na página da web. Digite a frase "um astronauta montando um cavalo em um estilo fotorrealista" e uma imagem aparecerá mais ou menos dessa forma: uma representação realista de uma figura de perfil em um uniforme de astronauta, montado em um cavalo caminhando contra o que parece ser uma imagem do cosmos.
O trabalho é descrito em um artigo de pesquisa dos cientistas da OpenAI, Aditya Ramesh e colegas, "Hierarchical Text-Conditional Image Generation with CLIP Latents", postado no servidor de pré-impressão arXiv.
DALL•E 2 é o que é conhecido como codificador-decodificador contrastivo. Ele é construído comprimindo imagens e suas legendas em uma espécie de representação abstrata e combinada e, em seguida, descomprimindo-as. Esse treinamento desenvolve a capacidade do programa de associar texto e imagem.
O ponto principal de Ramesh e colegas é que a forma como a compactação/descompressão acontece permite fazer mais do que simplesmente traduzir entre texto e imagem, permite usar frases para moldar aspectos de uma imagem, como adicionar o termo "fotorrealista", que produz algo com um certo realismo liso.
Embora as imagens ainda sejam um pouco ásperas, você pode ver que o DALL•E 2 tem o potencial de substituir muitas ilustrações comerciais e até mesmo fotografias. Ao digitar uma frase e um estilo, como "foto", você pode gerar uma variedade de imagens que podem ser adequadas para ilustrar artigos.
Você pode ver por si mesmo experimentando. A maioria das coisas que vêm imediatamente à mente são combos engraçados. Por exemplo, "Uma baleia azul e um gatinho fazendo amigos na praia, arte digital" produz a cativante saída no estilo de cartão de felicitações abaixo.
"Uma baleia azul e um gatinho fazendo amigos em uma praia, arte digital"
Quatro versões são oferecidas por vez, e você pode baixar cada uma delas no formato PNG.
"Uma baleia azul e um gatinho fazendo amigos em uma praia, arte digital"
Mas também é possível obter várias imagens mais banais que se encaixam em um contexto de fotografia de banco de imagens. Digitar a frase "Um escritor colaborador da ZDNET vendo o futuro da tecnologia em seus próprios artigos na encosta de uma montanha pairando no espaço" produz um tipo de imagem de ficção científica que se aproxima do que poderia acompanhar um artigo.
"Um escritor colaborador da ZDNET vendo o futuro da tecnologia em seus próprios artigos na encosta de uma montanha pairando no espaço"
Pode-se adicionar a frase "imagem realista" e obter algo um pouco mais liso.
"Imagem realista de um escritor colaborador da ZDNET vendo o futuro da tecnologia em seus próprios artigos na encosta de uma montanha pairando no espaço."
Usar a frase "Foto de um usuário de computador muito ansioso olhando para o monitor do computador e vendo um alerta de patch do Windows" produziu uma deliciosa variedade de imagens de usuários de computador tipicamente temerosos.
"Foto de usuário de computador muito ansioso olhando para o monitor do computador e vendo um alerta de patch do Windows"
A frase pode ser amplificada com palavras adicionais para obter resultados mais específicos, como "Foto de um usuário de computador muito ansioso em sua mesa olhando para o monitor do computador e vendo um alerta de patch do Windows".
"Foto de um usuário de computador muito ansioso em sua mesa olhando para o monitor do computador e vendo um alerta de patch do Windows."
Depois de começar a pensar em fotografia de banco de imagens, você descobrirá que pode criar muitos cenários para transformar em uma imagem. Por exemplo, "Foto de uma pessoa com óculos apontando para várias pessoas em uma mesa de conferência em uma sala de reuniões" produz uma seleção muito boa do que parece à primeira vista como cenas reais de escritório.
"Foto de uma pessoa com óculos fazendo um ponto para várias pessoas em uma mesa de conferência em uma sala de reuniões"
Novamente, pode-se ser mais específico, alterando os atributos da cena com algumas palavras, como "Foto de uma pessoa de óculos ao lado de um quadro-negro em uma sala de conferências explicando algo para seus colegas de trabalho".
"Foto de uma pessoa com óculos ao lado de um quadro-negro em uma sala de conferências explicando algo para seus colegas de trabalho"
Como você pode ver, coisas como características faciais geralmente são degradadas na saída DALL•E 2.
Ao aplicar termos de artistas, mídia artística ou estilo, pode-se mudar a mesma imagem do reino da fotografia para o reino da ilustração, como na frase "Francis Bacon pintando um grupo de pessoas em uma sala de conferências e uma pessoa com óculos ao lado de um quadro-negro explicando algo".
"Francis Bacon pintando de um grupo de pessoas em uma sala de conferências e uma pessoa com óculos ao lado de um quadro-negro explicando algo."
Depois de criar uma conta, o OpenAI oferece 50 "créditos", são solicitações gratuitas para o sistema, onde cada frase inserida conta como uma solicitação. Depois de usar os 50, você pode esperar um mês e obter os próximos 15 créditos gratuitos ou comprar créditos. Os créditos são vendidos em pacotes de 115 por US $15, ou 13 centavos por crédito.
É possível atrapalhar o programa. Alguns pedidos podem ser uma mistura demais de real e imaginário para serem renderizados de maneira convincente. Por exemplo, um pedido de "ratos com pêlo azul tomando conta da Times Square" produz uma primeira tentativa decente, mas o elemento de pêlo dá à imagem uma qualidade desleixada e irregular que realmente não funciona.
"ratos com pêlo azul tomando conta da Times Square"
Outras solicitações podem atrapalhar o DALL•E 2 devido à escolha de uma única palavra.
O pedido "um saco de dinheiro sentado em uma cadeira de jardim em uma varanda com vista para o pôr do sol" gerou imagens completamente bizarras e não relacionadas, como um close das unhas dos pés e uma imagem ambígua que parecia ser algumas flores presas dentro de um tapete.
"Um saco de dinheiro sentado em uma cadeira de jardim em uma varanda com vista para o pôr do sol."
Substituir a palavra "colocado" por "sentado" permitiu que o DALL•E 2 produzisse um resultado satisfatório em uma em cada três imagens.
"Um saco de dinheiro colocado em uma cadeira de jardim em uma varanda com vista para o pôr do sol."
Pode ser que o programa não consiga encontrar uma combinação adequada de elementos para o que parece ser um verbo ativo, sentar, quando combinado com um objeto inanimado, um saco.
Em geral, o programa parece ter dificuldades com aspectos do lugar, como "ficar na frente de um cavalete".
Frases que não são descrições, mas perguntas ou interjeições parecem inicializar o sistema em um modo aleatório. Por exemplo, "DALL•E 2 sabe seu próprio nome?" é uma expressão que produz várias imagens de flores. Isso pode ser uma resposta poética, mas parece mais uma rejeição do prompt.
"DALL•E 2 sabe seu próprio nome?"
Existem algumas proteções colocadas pela OpenAI, explicitadas na política de conteúdo postado, e elas serão usadas para eliminar automaticamente qualquer tentativa de verboten. Por exemplo, digitar "o cofundador da Microsoft, Bill Gates, fumando um charuto em um apartamento atarracado com móveis quebrados" não será gerado. Em vez disso, uma mensagem de erro é exibida informando que a solicitação viola a política e direciona você para a página da política. Provavelmente, este é um caso de violação da regra "Não crie imagens de figuras públicas".
O mesmo pedido, substituindo a figura pública menos conhecida Tiernan Ray, um escritor colaborador da ZDNET, gerou uma seleção de imagens divertidas de pessoas que não são Tiernan Ray.
"Tiernan Ray fumando um charuto em um apartamento atarracado com móveis quebrados"
Além do mais, o texto protegido por direitos autorais parece estar protegido contra violações por atacado. A frase "um monte de gente na frente do McDonald's" produz uma cena adequada o suficiente, mas cada resultado oferecido tem alguma ligeira modificação de "McDonald's" para torná-lo não realmente essa palavra.
"Um monte de gente na frente do McDonald's"
Para onde as coisas vão a seguir? O trabalho sobre a abordagem básica do texto para imagem está ocorrendo em várias frentes. Uma é adicionar mais complexidade lexical ao programa. Por exemplo, Chitwan Saharia e sua equipe do Google Brain publicaram em maio seu trabalho no "Imagen", um programa que eles dizem ter um "grau de fotorrealismo sem precedentes". O truque era usar um corpus muito maior de materiais de linguagem para treinar a rede.
E há trabalho sendo feito para ampliar a complexidade dos tipos de coisas que um programa pode fazer. Por exemplo, os cientistas do Google Wenhu Chen e colegas criaram este mês um programa que estende o Imagen de Sahari e equipe, chamado "Re-imagen", que combina a ideia básica de compactar texto e imagem junto com um terceiro elemento, os resultados da pesquisa.
Ao adicionar o que eles chamam de "recuperação", o programa é desenvolvido não apenas para encontrar uma combinação "semântica" de palavra e imagem, mas também para procurar nos resultados de pesquisa da Internet combinações que ajustem a saída. Eles afirmam que os resultados são muito superiores ao Imagen e ao DALL•E 2 no tratamento de frases raras e obscuras como "Picarones é servido com vinho", referindo-se à sobremesa peruana de batata-doce.