GPT-4o Mini escrito em um card branco em um fundo colorido de giz de cera
OpenAI/Divulgação

A OpenAI anunciou o nesta quinta-feira (18) o GPT-4o Mini, uma versão menor e mais eficiente do seu mais recente modelo de linguagem, o GPT-4o, e que substituirá o GPT-3.5 Turbo no ChatGPT. A novidade já está disponível para usuários de contas gratuitas e assinantes do ChatGPT Plus ou Team, e chegará ao ChatGPT Enterprise na próxima semana.

O lançamento do GPT-4o mini é parte da estratégia da OpenAI para tornar a IA “o mais acessível possível” – e ampliar seu domínio do mercado – e reflete a crescente competição entre provedores de IA na nuvem e o aumento do interesse em modelos de IA de código aberto e gratuitos. Meta, por exemplo, deve lançar na próxima semana a versão mais robusta de seu modelo gratuito, o Llama 3.

O GPT-4o Mini promete ser multimodal, assim como seu antecessor, lançado em maio. Atualmente, ele permite entradas de imagem através da API, e a OpenAI planeja expandir suas capacidades para interpretar imagens, textos e áudios, além de gerar imagens futuramente.

Com suporte para 128 mil tokens de contexto de entrada e uma base de conhecimento limitada até outubro de 2023, o GPT-4o Mini se destaca também pelo custo-benefício. Como produto de API, ele é 60% mais barato que o GPT-3.5 Turbo, custando 15 centavos por milhão de tokens de entrada e 60 centavos por milhão de tokens de saída. Os tokens são fragmentos de dados utilizados pelos modelos de linguagem para processar e sintetizar informações.

Um diferencial importante do GPT-4o Mini é o uso de uma nova técnica chamada “hierarquia de instruções”, que prioriza algumas instruções sobre outras. Essa inovação visa dificultar ataques de injeção de prompts, jailbreaks ou extrações de prompts do sistema que possam subverter o ajuste fino embutido ou as diretrizes do sistema.

A OpenAI afirma que o modelo terá um desempenho notável em diversos benchmarks, como o MMLU (conhecimento de nível universitário) e o HumanEval (codificação). No entanto, há críticas de que esses benchmarks sintéticos não refletem a utilidade prática do modelo, pois a qualidade percebida do output pode depender mais do estilo e estrutura do que da capacidade factual ou matemática.

A tendência dos modelos de linguagem compactos

O lançamento do GPT-4o Mini segue uma tendência comum na indústria de IA, onde empresas como Meta, Google, Apple e Anthropic também desenvolvem versões menores de seus modelos. Esses modelos menores são projetados para tarefas mais simples e econômicas, como fazer listas, resumir textos ou sugerir palavras, em vez de realizar análises profundas.

Oferecendo o GPT-4o Mini gratuitamente no ChatGPT, a OpenAI espera não só reduzir custos para os usuários, mas também otimizar seus próprios gastos.

Os modelos menores de linguagem possuem menos parâmetros, o que significa uma rede neural menor e, geralmente, uma capacidade limitada para entender contextos profundos. No entanto, a eficiência do modelo, a qualidade dos dados de treinamento e o próprio processo de treinamento também são fatores cruciais para o desempenho. Modelos pequenos como o Microsoft Phi-3 têm demonstrado capacidades impressionantes, desafiando a correlação direta entre o tamanho do modelo e sua capacidade.

Menos parâmetros resultam em menos cálculos necessários para executar o modelo, o que significa a necessidade de GPUs menos potentes (e menos caras) ou menos cálculos em hardware existente, reduzindo custos de energia e, consequentemente, o custo final para o usuário.