Como avaliar modelos de IA para além do ranking
Compreenda o que mede um benchmark e crie casos do seu produto. Compare resultados, falhas, custos e esforço de revisão.
Dois modelos estão próximos num ranking. Um pode servir melhor o projeto por respeitar o formato de saída; outro, por investigar um erro difícil. A posição geral não identifica a capacidade que falta no trabalho.
Um benchmark ajuda a formular uma hipótese. Para se tornar uma decisão de produto, essa hipótese precisa de tarefas, ferramentas e critérios representativos da operação.
Leia primeiro a unidade medida
O SWE-bench apresenta variantes e resultados por tarefas resolvidas. Uma pontuação só faz sentido com o conjunto e o ambiente usados.
Verifique se o sistema recebeu apenas um enunciado ou acesso a ficheiros, terminal e navegador. Confira tempo, tentativas, versão e regras para escolher a resposta. Várias tentativas não devem ser comparadas silenciosamente com uma única resposta.
Distinga avaliação do modelo e do agente completo. O mesmo modelo pode comportar-se de outra forma com instruções, recuperação de contexto e ferramentas diferentes. Se tudo muda em conjunto, o resultado descreve o sistema.
Prepare casos que representem decisões
Para um assistente de código, reúna correções, pequenas extensões, leitura de código e tarefas que devam parar por falta de contexto ou permissão. Inclua erros discretos, como consultar a conta errada.
Escreva o resultado esperado antes de executar. Numa exportação, verifique filtros, ordenação, colunas, dados vazios e autorização. “O ficheiro foi gerado” não chega se contém informação de outro cliente.
Separe os tipos de falha
| Critério | Verificação |
|---|---|
| Correção | Resolve o caso e as variações relevantes? |
| Restrições | Respeita acesso, âmbito e dados permitidos? |
| Utilização | A entrega pode ser utilizada sem a refazer? |
| Esforço | Quanto custam tentativas, espera e revisão? |
Defina falhas que impeçam a adoção mesmo com boa média. Acertar quase todas as classificações e revelar dados indevidos exige um tratamento diferente de sugerir um rótulo incorreto que será revisto.
Guarde o resultado, não só a explicação
A referência da Anthropic sobre avaliações distingue o registo da execução do estado final. Afirmar que algo foi atualizado não demonstra que mudou o registo correto.
Repita casos para observar variação e guarde todas as tentativas previstas. Não esconda uma execução falhada porque a seguinte funcionou. Se outro modelo classificar respostas, calibre os critérios com revisão humana e erros conhecidos.
Transforme a avaliação em rotina
Reserve casos que não servirão para ajustar instruções. Execute-os novamente quando mudar modelo, configuração ou ferramentas. Um resultado antigo deixa de descrever exatamente o sistema depois dessas alterações.
Veja a escolha de modelos para SaaS para uma decisão concreta. O ciclo de desenvolvimento com IA ajuda a integrar a avaliação na entrega. O ranking seleciona candidatos; o comportamento observado determina a aprovação.
Sobre o autor
Tiago F SantiagoComentários
Ainda sem comentários
Partilhe uma dúvida ou experiência relacionada com o artigo.
Artigos relacionados
