OpenELM: a IA da Apple que roda localmente
Modelos de linguagem supercompactos visam privacidade e eficiência e podem rodar até em smartphones, sem a nuvem
Uma nova onda está tomando o mercado de inteligência artificial: os “pequenos modelos de linguagem”. Em vez de exigir servidores poderosos na nuvem, esses modelos podem ser executados diretamente em dispositivos locais, como smartphones. Na última quarta-feira, a Apple deu um passo importante nessa direção com o lançamento do OpenELM, um conjunto de modelos de linguagem de inteligência artificial de código aberto minúsculos o suficiente para caber em um iPhone.
Os novos modelos de IA da Apple, coletivamente chamados de OpenELM (Modelos de Linguagem Eficientes de Código Aberto, em Inglês), estão disponíveis no Hugging Face sob a Licença de Código de Amostra. Apesar de algumas restrições na licença, o código-fonte do OpenELM está acessível, aproximando-se da definição de “código aberto”.
Menos é mais
Na semana anterior, a Microsoft apresentou os modelos Phi-3, com objetivos semelhantes: alcançar um nível útil de compreensão de linguagem e desempenho de processamento em pequenos modelos de IA locais. O Phi-3-mini possui 3,8 bilhões de parâmetros, enquanto alguns dos modelos OpenELM da Apple são ainda menores, variando de 270 milhões a 3 bilhões de parâmetros em oito modelos distintos.
Em comparação, o maior modelo da família Llama 3 da Meta inclui 70 bilhões de parâmetros (com uma versão de 400 bilhões em desenvolvimento), e o GPT-3 da OpenAI, de 2020, tinha 175 bilhões de parâmetros. A contagem de parâmetros serve como uma medida aproximada da capacidade e complexidade do modelo de IA, mas pesquisas recentes se concentram em tornar os modelos de linguagem de IA menores tão capazes quanto os maiores eram alguns anos atrás.
Os oito modelos OpenELM se dividem em duas categorias: quatro como “pré-treinados” (basicamente, uma versão bruta do próximo token do modelo) e quatro como ajustados por instrução.
O OpenELM apresenta uma janela de contexto máxima de 2.048 tokens. Os modelos foram treinados em conjuntos de dados publicamente disponíveis: RefinedWeb, uma versão do PILE com duplicações removidas, um subconjunto do RedPajama e um subconjunto do Dolma v1.6, que a Apple diz totalizar cerca de 1,8 trilhão de tokens de dados. Tokens são representações fragmentadas de dados usados por modelos de linguagem de IA para processamento.
Veja também:
- Desenvolvimento de IAs é mais rápido que capacidade de avaliar riscos
- Não há internet suficiente para treinar IAs
- Os 6 melhores GPTs de produtividade para o ChatGPT em 2024
- Como instalar a IA Llama no Linux
- MemoryCache traz inteligência artificial rodando localmente no navegador Firefox
Foco em eficiência
A Apple afirma que sua abordagem com o OpenELM inclui uma “estratégia de dimensionamento em camadas” que aloca parâmetros de forma mais eficiente em cada camada, economizando recursos computacionais e melhorando o desempenho do modelo enquanto é treinado em menos tokens. De acordo com o artigo que eles publicaram, essa estratégia permitiu ao OpenELM alcançar uma melhoria de 2,36% na precisão em relação ao OLMo 1B da Allen AI (outro modelo de linguagem pequeno) enquanto requer metade dos tokens de pré-treinamento.
A Apple também lançou o código do CoreNet, uma biblioteca que usou para treinar o OpenELM, e incluiu receitas de treinamento reproduzíveis que permitem replicar os pesos (arquivos de rede neural), algo incomum para uma grande empresa de tecnologia até agora. Como a Apple diz em seu resumo do artigo OpenELM, a transparência é um objetivo principal da empresa: “A reprodutibilidade e transparência de grandes modelos de linguagem são cruciais para o avanço da pesquisa aberta, garantindo a confiabilidade dos resultados e permitindo investigações sobre dados e vieses do modelo, bem como riscos potenciais”.
Código aberto
Ao liberar o código-fonte, pesos do modelo e materiais de treinamento, a Apple afirma que visa “capacitar e enriquecer a comunidade de pesquisa aberta”. No entanto, também alerta que, como os modelos foram treinados em conjuntos de dados de fonte pública, “existe a possibilidade desses modelos produzirem resultados imprecisos, prejudiciais, tendenciosos ou questionáveis em resposta às solicitações do usuário”.
Esse foco em modelos menores e a própria liberação do OpenELM como código aberto sugerem uma estratégia dupla da Apple: por um lado, permitir o desenvolvimento de recursos de IA embarcada que respeitem a privacidade do usuário, já que os dados são processados no próprio dispositivo. Por outro lado, a empresa demonstra transparência e colaboração com a comunidade científica, o que pode render frutos futuros no aperfeiçoamento da tecnologia.
Ainda é cedo para prever os impactos diretos do OpenELM no cotidiano do usuário final. Mas a iniciativa da Apple certamente contribui para uma IA mais acessível e segura.
IA rodando no iPhone?
Embora a Apple ainda não tenha integrado essa nova onda de recursos de modelo de linguagem de IA em seus dispositivos de consumo, o próximo update do iOS 18, que deve ser revelado em junho na WWDC, é alvo de rumores que incluem novos recursos de IA que utilizam processamento no dispositivo para garantir a privacidade do usuário.