Modelo no seu computador: memória, contexto e rede

Rodar um modelo, por dentro

O comando ollama run parece uma coisa só, mas são duas peças. O cliente é o que você digita. Ele conversa com um servidor que fica escutando no seu próprio computador, na porta 11434. O servidor coloca o que couber na placa de vídeo e o resto na memória comum.

O comando ollama ps mostra o que está carregado. Olhe a coluna PROCESSOR: 100% GPU quer dizer que o modelo inteiro está na placa. Qualquer mistura com CPU quer dizer que parte roda na memória comum, bem mais devagar.

Quantização: caber na memória

Um modelo guarda bilhões de números. Cada número ocupa espaço. A quantização guarda cada número com menos bits, como uma foto salva com menos cores: ainda dá para reconhecer, e o arquivo fica bem menor.

A versão que o Ollama baixa por padrão já vem comprimida. Menos bits significam arquivo menor e resposta mais rápida, com uma pequena perda de qualidade. Regra prática: o arquivo deve ocupar no máximo metade da memória que você tem para o modelo. Quando não cabe, o computador sofre.

A janela de contexto

O modelo não tem memória longa da conversa. Ele tem uma janela: um limite de pedaços de texto, chamados tokens, que consegue olhar de uma vez. Ela soma as instruções, o histórico e a resposta que está sendo escrita. O que não cabe cai fora, do começo para o fim. Por isso o modelo "esquece" o combinado.

Para aumentar a janela, dentro de uma conversa use o comando abaixo.

/set parameter num_ctx 16384

Janela maior gasta mais memória. Se o modelo estava 100% na placa e passou a aparecer misto, foi o contexto que empurrou parte dele para fora. Escolha um modelo menor, um contexto menor ou mais memória.

Modelfile: instruções num arquivo

O Modelfile guarda num arquivo de texto o papel do assistente e os parâmetros. Ele parte de um modelo existente e cria um novo, com nome seu, que qualquer pessoa da equipe roda com o mesmo comportamento.

FROM qwen3:4b
PARAMETER num_ctx 16384
PARAMETER temperature 0.3
SYSTEM """
Você é o assistente interno da equipe. Responde em português,
em até cinco linhas. Quando não souber, diz que não sabe.
"""

Crie o modelo com ollama create. Guarde o Modelfile no projeto: ele é o contrato, e quem mudar a instrução deixa rastro. Para testes repetíveis, use temperatura zero.

Rede: o que nunca deixar aberto

O ponto forte do modelo local é que os seus dados não saem da máquina. Isso vale enquanto o servidor escuta só o próprio computador, que é o padrão. Se alguém abre o serviço para todos "para o pessoal da rede usar" e o computador tem endereço público, qualquer pessoa pode usar o modelo. A API não pede senha.

Licença: aberto não é sem regras

"Aberto" fala do acesso aos arquivos, não da ausência de regras. O Qwen3 usa a licença Apache 2.0, a mais simples para empresas. O Llama 3.2 exige mostrar "Built with Llama". O Gemma exige repassar as restrições de uso a quem recebe o produto. Antes de colocar um modelo num produto, leia a licença.