Unsplash/pazarando

A inteligência artificial (IA) tem se tornado cada vez mais presente em nossas vidas, e a capacidade de executar modelos de linguagem natural em sistemas locais, evitando problemas com vazamento de dados, é uma área de interesse crescente. O Llama, desenvolvido pela Meta AI, é um modelo de grande porte que promete otimizar a forma como interagimos com conteúdos e informações. Neste guia, mostrari como instalar o Llama em sistemas Linux, permitindo que você explore suas funcionalidades e crie aplicações baseadas em IA.

Antes de começarmos, verifique se seu sistema atende aos seguintes requisitos:

  • RAM: Recomendamos pelo menos 8GB de memória RAM (recomenado ter 16GB).
  • GPU VRAM: Mínimo de 8GB, mas é recomendado pelo menos 12GB.
  • Armazenamento: É altamente recomendado usar um SSD, pois o modelo exige cerca de 11GB de espaço para o modelo de 7B parâmetros.
  • Python: Você precisará de conhecimentos básicos em Python para criar programas interativos que utilizem o modelo.

Instalando o Llama no seu computador

Existem dois métodos muito simples para instalar o Llama no Linux. O primeiro dele é através do tutorial desenvolvido pelo usuário Jeffrey Morgan, no GitHub, e acessível também no site ollama.com.

Instalação

Abra o terminal e instale o Ollama com o seguinte comando:

curl -fsSL https://ollama.com/install.sh | sh

O mesmo comando serve para atualizar o Ollama para versões mais recentes.

Suporte para GPUs AMD Radeon

Embora a AMD contribua com o driver amdgpu para o kernel do Linux, a versão pode não suportar todos os recursos do ROCm. É recomendado que você instale o driver mais recente para obter o melhor suporte para sua GPU Radeon.

Instale o ROCm

Siga o tutorial descrito neste guia de instalação para instalar o ROCm no seu computador. Instale o ROCm v6.

Iniciando o Ollama com o sitema

Ainda no terminal, crie um usuário para o Ollama com a linha de comando abaixo:

sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

Crie um aquivo de serviço com o seguinte comando:

sudo touch /etc/systemd/system/ollama.service; sudo nano /etc/systemd/system/ollama.service

Uma instância no nano será aberta no terminal. Cole o código abaixo dentro do arquivo, salve (Ctrl+O) e feche o nano (Ctrl+X).

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3

[Install]
WantedBy=default.target

Reinicie o serviço:

sudo systemctl daemon-reload; sudo systemctl enable ollama

Iniciando o Ollama

Para iniciar o Ollama, basta usar o seguinte comando:

sudo systemctl start ollama

Instalando com o Docker

Outro método de instalação do Llama é criando um contêiner com o Docker. Este processo é muito mais rápido, mas requer conhecimentos prévios de virtualização.

Já com o Docker rodando no sistema, abra o terminal e use o seguinte comando:

docker pull llama-ai/llama

Agora execute o container do Llama no Docker:

docker run -it --rm -p 8080:8080 llama-ai/llama

Usando o Llama

Após a instalação, você pode interagir com o Llama através de uma interface web ou linha de comando.

Com o Llama rodando, acesse o endereço localhost:8080 no seu navegador para abrir a interface web. Digite seu prompt e pressione Enter para obter a resposta do Llama.

Caso queira rodar o Llama no terminal, basta usado o comando llama seguido do prompt desejado.

llama O que é Inteligência Artificial?

Pronto! Agora você tem o Llama instalado em seu sistema Linux, pronto para explorar suas funcionalidades e criar aplicações inteligentes com base nesse poderoso modelo de IA.