Assistente de documentos: busca antes da resposta

O que é RAG

RAG quer dizer geração aumentada por recuperação. Pense numa prova com consulta: o aluno não decora o livro, ele procura a página certa, lê e responde. O sistema faz o mesmo. A cada pergunta, procura os poucos trechos que importam e os coloca na mensagem do modelo.

Isso mantém o conhecimento atualizado, porque basta trocar o documento, e permite citar a página de onde a resposta saiu. O limite é claro: se o trecho certo não aparece na busca, a resposta erra, por melhor que seja o modelo.

As etapas

1. Extrair: ler o PDF, página por página.
2. Picar: dividir em trechos de 600 a 1.000 caracteres.
3. Embutir: transformar cada trecho numa lista de números, o vetor.
4. Indexar: guardar vetores, textos e fonte num banco, como o Chroma.
5. Buscar: achar os trechos mais perto da pergunta.
6. Responder: o modelo escreve, citando os trechos.

Um modelo de embedding transforma texto em números, de modo que textos com sentido parecido fiquem com números parecidos. A regra mais importante: o modelo que transforma os documentos precisa ser o mesmo que transforma as perguntas. Se trocar o modelo, crie uma coleção nova e reindexe tudo.

O Chroma, sem você escolher nada, usa um modelo que a própria ficha declara só para inglês. Para português, escolha um modelo multilíngue.

Quando a busca por significado falha

Se a pergunta contém um código, como "Qual o preço do XK-2040?", a busca por significado sozinha falha, porque um código não tem significado. Combine a busca com um filtro de texto exato.

r = colecao.query(
    query_texts=["Qual o preço do XK-2040?"],
    n_results=5,
    where_document={"$contains": "XK-2040"},
)

Avaliar em dois estágios

O assistente tem duas partes que falham de jeitos diferentes, então meça cada uma. Primeiro, a busca: a página esperada aparece entre os cinco primeiros trechos? Só depois que a busca acerta bem faz sentido avaliar a resposta. Se a busca acerta pouco, mexer no prompt é perda de tempo.

Meça também a recusa: quando a resposta não está nos documentos, o assistente diz que não encontrou? Um sistema que inventa é pior do que um que admite não saber.

Exemplo: uma distribuidora de materiais elétricos montou o assistente com doze PDFs, escreveu vinte perguntas e descobriu que a busca acertava só 60 por cento. O defeito era o modelo de embedding, não o modelo de chat.