Escolhendo o modelo pela tarefa: bateria de testes

Os casos de teste

Pegue as tarefas da aula 1. Para cada uma, escreva um caso com dado inventado, parecido com o real, em português e com o vocabulário da sua área. Escreva também a resposta certa, o gabarito. Cinco casos já bastam.

A nota

Nota sem critério vira "achei legal". Use uma linha por caso e some um ponto por critério:

Se o modelo inventou um valor, uma cláusula ou um remédio, o caso vale zero. Bonito e errado é pior que feio e certo.

Nota, tempo e invenções

No fim, cada modelo tem três números: nota média, tempo médio e quantas invenções. Uma escola de idiomas comparou dois modelos para corrigir redações. O maior tirou nota mais alta, mas demorava tanto que o professor desistia de esperar. O menor errava um pouco mais, mas respondia na hora. Ficaram com o menor e acrescentaram uma instrução: "liste só os cinco erros mais importantes". A nota subiu e o tempo continuou bom.

Guarde a decisão

Escreva um parágrafo: qual modelo, para qual tarefa, com qual nota, contra quem, em que data. Quando sair um modelo novo, e sai um por mês, você roda a mesma bateria e compara com esse registro.

Os dados do teste

Use dado inventado, nunca real. O teste vira planilha, print e conversa de grupo, e dado de cliente não deve estar em nenhum desses lugares. Troque nomes, documentos e telefones por dados de mentira, mas mantenha o jeito de escrever do seu cliente, com abreviações e erros de digitação. Esse é o texto que o modelo vai enfrentar de verdade.

Um caso de teste, passo a passo

Tarefa: classificar mensagens de clientes de uma loja de material de construção. Caso: "Oi, comprei 20 sacos de cimento na terça e até agora não chegou." Gabarito: dúvida de entrega. O pedido ao modelo é: "Classifique em orçamento, reclamação, dúvida de entrega ou outro. Responda só com a categoria."

Rode nos dois modelos. O primeiro respondeu "dúvida de entrega". O segundo escreveu um parágrafo inteiro. Os dois acertaram a ideia, mas o segundo errou o formato. Nota do primeiro: 4. Do segundo: 3. É assim, caso a caso.

Cuidado com o ganhador de uma rodada

Um caso só não prova nada. Por isso a bateria tem cinco, e por isso vale repetir os casos mais importantes. Se um modelo ganha em quatro de cinco, a decisão é fácil. Se empata, escolha o mais rápido ou o que cabe melhor na máquina.

Quanto tempo gastar

Uma tarde. Dez minutos para escrever os casos, vinte para rodar cada modelo e dez para somar as notas. Não precisa de ferramenta especial: uma planilha com uma linha por caso e uma coluna por critério resolve. O mais importante é a disciplina de anotar, porque daqui a três meses você não vai lembrar qual modelo foi melhor nem por quê.