Meta lança Llama 3.1, o maior modelo de IA open source já criado

Midjourney/Reprodução

A Meta cumpriu sua promessa de abril e lançou o Llama 3.1, o maior modelo de inteligência artificial open source já desenvolvido. A empresa afirma que o modelo supera o GPT-4 da OpenAI e o Claude 3.5 Sonnet da Anthropic em diversos benchmarks. Além disso, a Meta está expandindo a disponibilidade do assistente de IA baseado no Llama para mais países e idiomas, além de incluir um recurso que permite gerar imagens com a aparência de uma pessoa específica. O CEO Mark Zuckerberg prevê que o assistente de IA da Meta será o mais utilizado até o fim do ano, superando o ChatGPT.

Com 405 bilhões de parâmetros, o Llama 3.1 é significativamente mais complexo que as versões anteriores do Llama 3, lançadas há alguns meses. Seu treinamento exigiu o uso de mais de 16 mil GPUs H100 da Nvidia, um hardware extremamente caro e desenvolvido especificamente para IA. Embora a Meta não tenha revelado os custos de desenvolvimento do Llama 3.1, estima-se que tenham sido gastos centenas de milhões de dólares apenas em chips Nvidia.

Diante desse investimento, a pergunta que fica é: por que a Meta continua distribuindo o Llama sob uma licença que exige apenas aprovação de empresas com centenas de milhões de usuários? Em um post no blog da empresa, Zuckerberg defende que modelos de IA open source superarão e já estão se desenvolvendo mais rapidamente que modelos proprietários, assim como o Linux se tornou o sistema operacional open source que domina smartphones, servidores e dispositivos embarcados em geral.

O executivo compara o investimento da Meta em IA open source com o Open Compute Project, iniciativa que, segundo ele, economizou bilhões de dólares à empresa ao envolver empresas como a HP no aprimoramento e padronização dos projetos de data centers da Meta. Zuckerberg espera que a mesma dinâmica se repita com a IA, afirmando que o lançamento do Llama 3.1 será um ponto de inflexão, com a maioria dos desenvolvedores passando a priorizar o uso de código aberto.

Para acelerar a adoção do Llama 3.1, a Meta está colaborando com mais de duas dezenas de empresas, incluindo Microsoft, Amazon, Google, Nvidia e Databricks, para auxiliar desenvolvedores a implementar suas próprias versões do modelo. A Meta afirma que o custo de operação do Llama 3.1 em produção é cerca da metade do GPT-4 da OpenAI. Além disso, a empresa está liberando os pesos do modelo para que outras empresas possam treiná-lo com dados personalizados e ajustá-lo conforme suas necessidades.

Naturalmente, a Meta é pouco transparente sobre os dados utilizados para treinar o Llama 3.1. Empresas de IA geralmente alegam que essa informação é segredo comercial, enquanto críticos apontam que se trata de uma estratégia para adiar inevitáveis processos judiciais por violação de direitos autorais.

A Meta revela, no entanto, ter utilizado dados sintéticos, ou seja, dados gerados por um modelo e não por humanos, para melhorar as versões menores do Llama 3.1 (70 bilhões e 8 bilhões de parâmetros) com base no modelo de 405 bilhões de parâmetros.

Veja também:

Pela primeira vez, os testes adversários (red teaming) do Llama 3.1 incluíram a busca por potenciais usos em cibersegurança e bioquímica. Outro motivo para testar o modelo mais rigorosamente são os emergentes comportamentos “agentes”. O Llama 3.1 é capaz de se integrar a uma API de busca para “recuperar informações da internet com base em uma consulta complexa e chamar várias ferramentas em sequência para concluir suas tarefas”. Outro exemplo citado pela empresa é solicitar ao modelo que plote o número de casas vendidas nos Estados Unidos nos últimos cinco anos.

A implementação própria da Meta para o Llama é seu assistente de IA, posicionado como um chatbot de uso geral, semelhante ao ChatGPT, e disponível em praticamente todas as áreas do Instagram, Facebook e WhatsApp. A partir desta semana, o Llama 3.1 estará inicialmente acessível pelo WhatsApp e pelo site da Meta AI nos Estados Unidos, seguido pelo Instagram e Facebook nas próximas semanas. O assistente também está sendo atualizado para incluir novos idiomas, como francês, alemão, hindi, italiano e espanhol.

Embora o modelo de 405 bilhões de parâmetros do Llama 3.1 esteja disponível gratuitamente no Meta AI, o assistente mudará para o modelo de 70 bilhões após um número não especificado de prompts em uma semana – assim como faz o ChatGPT, que muda do GPT-4o para o GPT-4 Mini após um número limitado de interações em até 3 horas. Isso sugere que o modelo de 405 bilhões é caro demais para ser executado em escala total pela Meta. A empresa fornecerá mais informações sobre o limite de prompts após avaliar o uso inicial.

Deepfake e realidade virtual

Um novo recurso chamado “Imagine Me” no Meta AI escanea seu rosto por meio da câmera do telefone para permitir que você insira sua aparência em imagens geradas. Ao capturar sua aparência dessa forma e não por meio das fotos do seu perfil, a Meta espera evitar a criação de uma máquina de deepfake. A empresa enxerga demanda por pessoas que desejam criar mais tipos de mídia de IA e compartilhá-los em seus feeds, mesmo que isso signifique desfocar a linha entre o que é claramente real e o que não é.

O Meta AI também chegará ao headset Quest nas próximas semanas, substituindo sua interface de comando de voz. Assim como em sua implementação nos óculos Meta Ray-Ban, você poderá usar o Meta AI no Quest para identificar e aprender sobre o que está olhando enquanto estiver no modo passthrough do headset, que mostra o mundo real por meio do display.

Meta ousada (perdão pela piada)

Apesar da previsão de Zuckerberg de que o Meta AI será o chatbot mais utilizado até o fim do ano — o ChatGPT tem mais de 100 milhões de usuários —, a Meta ainda não compartilhou estatísticas de uso do seu assistente. Mesmo com todo o hype em torno da IA, é claro que a Meta e seus concorrentes acreditam que a corrida está apenas começando e esperam crescimento.

O Llama 3.1 é fluente em português, mas o Brasil, ficou fora deste último lançamento “por incertezas regulatórias locais”, diz a Meta. A empresa enfrenta investigações da Autoridade Nacional de Proteção de Dados (ANDP), do Conselho Administrativo de Defesa Econômica (Cade) e da Secretaria Nacional do Consumidor (Senacon) pelo uso de dados do Instagram e do Facebook para desenvolver modelos de IA generativa após denúncia do Instituto de Defesa de Consumidores (Idec) por suposta violações à Lei Geral de Proteção de Dados (LGPD) e ao Código de Defesa do Consumidor.

Em 2 de julho, a ANPD expediu medida preventiva para impedir a Meta de usar dados dos usuários no treinamento de IAs e ordenando a suspensão da sua nova política de privacidade. A empresa recorreu e perdeu.