Isaque Victor cursos gratuitosNesta aula
Ajustar é a última ferramenta.
Ajustar um modelo, o fine-tuning, é treinar um modelo pronto com os seus exemplos. É poderoso, mas caro e fácil de fazer errado. Antes de treinar, vale testar caminhos mais baratos.
- Decidir entre prompt, busca em documentos e ajuste
- Entender o que é LoRA, sem fórmulas
- Medir o resultado sem se enganar
Três degraus, do mais barato ao mais caro
Todo "o modelo não faz o que eu quero" tem três soluções, em ordem de custo.
| Degrau | Serve para | Exemplo |
|---|---|---|
| 1. Prompt | Tom e formato | "Responda em 3 linhas, com o prazo no fim" |
| 2. Busca em documentos | Fatos da empresa que mudam | Tabela de preços do mês |
| 3. Ajuste | Estilo ou tarefa estável | Classificar e-mails em seis áreas |
Um teste rápido: escreva vinte exemplos de pergunta e resposta ideal numa planilha. Se você consegue, tem dados de treino. Se não consegue, o ajuste não vai ajudar.
A conta de memória
Treinar não é só usar o modelo. Durante o treino, o computador guarda várias cópias de cada número: os pesos, os gradientes (que dizem para onde cada número deve andar) e o estado do otimizador (que guia cada passo). Segundo a documentação do Transformers, somando tudo são cerca de 18 bytes por parâmetro, antes de contar as ativações.
Um modelo de 7 bilhões ocupa uns 14 GB só para usar. Para treinar por inteiro, a conta passa de 100 GB. Não cabe em uma placa comum.
Coisa de profissional
Quem já viu um treino estourar a memória sabe: a conta de usar o modelo não é a conta de treinar. A documentação do Transformers lista o que o treino em precisão mista guarda por parâmetro: 6 bytes para os pesos, 8 para o otimizador Adam e 4 para os gradientes. Somando, são 18 bytes, e ainda faltam as ativações, que variam com o lote. Multiplicando por 7 bilhões, a conta passa de 120 GB. Por isso os profissionais fazem essa multiplicação antes de alugar ou comprar placa, e recorrem a adaptadores como o LoRA.
LoRA e QLoRA: treinar uma parte pequena
No LoRA, o modelo inteiro fica congelado e você acrescenta pares de matrizes pequenas em algumas camadas. Só essas matrizes são treinadas. A memória cai muito, e o resultado é um arquivo de poucos megabytes, que se encaixa sobre o modelo base. Dá para ter dez adaptadores para dez assuntos, todos sobre o mesmo modelo.
O QLoRA vai além: carrega o modelo base comprimido, em 4 bits, e treina só os adaptadores. Assim, um modelo de 7 a 8 bilhões cabe numa placa de 16 a 24 GB. A troca é um pouco de qualidade e de velocidade.
Divida os dados antes de tudo
Separe os dados em três partes. O treino ajusta o modelo. A validação decide quando parar. O teste é lido uma única vez, no fim, e é o número que você reporta. Se validação e teste forem o mesmo conjunto, o resultado sai inflado.
Cuidado
O modelo memoriza o que vê. Nome, CPF e telefone de clientes no treino podem reaparecer nas respostas, e isso é um incidente de dados pessoais. Troque os identificadores por marcadores genéricos antes de treinar.
Medir sem se enganar
Em classificação, a acurácia engana quando uma classe é rara. Use o F1 de cada classe. Para geração de texto, nenhuma métrica automática substitui a leitura. Escreva trinta perguntas de teste antes do treino, avalie cada resposta com critérios de sim ou não, como "seguiu o formato?", e compare o modelo base com o ajustado sem saber qual é qual.
Exemplo: um escritório de contabilidade quer encaminhar e-mails a seis áreas. Se o modelo ajustado não superar um simples conjunto de regras no teste, o ajuste não se paga.
Prática · 5 min
- Faça a conta de memória de um modelo que você quer usar: parâmetros vezes 18 bytes. Cabe na sua placa?
- Escreva vinte pares de pergunta e resposta ideal para uma tarefa sua e separe cinco para teste.
- Escreva três critérios de sim ou não para avaliar as respostas.
Resumo
- Tente primeiro o prompt, depois a busca, e só então o ajuste.
- Treinar custa cerca de 18 bytes por parâmetro. Adaptadores reduzem a conta.
- Divida treino, validação e teste. O teste é lido uma vez.
- Tire os dados pessoais antes de treinar.
Fontes
Lidas em 30 de outubro de 2026.
- Hugging Face. GPU memory usage: memória do treino por parâmetro.
- Hugging Face. Guia conceitual do LoRA.
- Dettmers, T. et al. QLoRA (2023).
Quiz da aula
Três situações para aplicar o que viu.