A confirmação precisa vir da operação
Um agente pode apresentar uma resposta convincente e ainda deixar a tarefa incompleta. Para quem depende do trabalho, importa o que mudou no sistema: uma solicitação foi registrada, um documento ficou disponível ou uma atualização chegou ao destino esperado.
Em sua publicação sobre avaliação de agentes, de janeiro de 2026, a Anthropic distingue o histórico da execução do estado final produzido no ambiente. Essa diferença ajuda a definir o que deve ser testado: a qualidade da resposta e a conclusão da tarefa precisam ter critérios próprios. A fonte descreve práticas de um fornecedor, sem estabelecer um padrão universal de qualidade. Leia a publicação da Anthropic sobre avaliação de agentes.
Para a Antídra, a proposta é começar pelo acordo de operação. Ele torna explícito o resultado esperado, quem pode autorizá-lo e quem acompanha as exceções.
Descreva o resultado antes de escolher a autonomia
Considere um exemplo hipotético: um assistente recebe pedidos de atualização cadastral e prepara uma solicitação para o time responsável. Há uma diferença importante entre interpretar a mensagem, preparar os dados e alterar o cadastro.
Nesse cenário, a primeira versão poderia limitar-se a organizar o pedido para revisão. A decisão de permitir uma alteração direta dependeria de informação suficiente, permissão e critérios de confirmação. A complexidade precisa responder à tarefa que se quer resolver.
A orientação da Anthropic em “Building effective agents” também considera soluções simples e fluxos predefinidos antes de ampliar a autonomia. Usamos aqui o princípio arquitetural; a própria publicação alerta que parte do cenário de ferramentas mudou desde sua versão original. Consulte Building effective agents.
Combine o que conta como concluído
Um acordo inicial para o exemplo poderia organizar estas situações:
- Pedido completo, sem autorização para alterar
- Solicitação preparada e encaminhada para revisão, com contexto preservado
- Pedido sem identificação suficiente
- Informação faltante explicitada; nenhuma alteração aplicada
- Atualização autorizada e aceita no destino
- Registro de confirmação associado ao pedido correto
- Sistema de destino indisponível
- Pendência visível, com responsável e forma de retomar
- Mesma mensagem recebida novamente
- Repetição reconhecida e tratada conforme a regra acordada
Esse quadro é uma proposta para discussão, não uma validação executada. Cada operação precisa definir seus próprios limites. Em particular, uma tarefa pode estar corretamente encaminhada e continuar pendente de uma decisão humana.
Avalie o caminho inteiro
O teste deve acompanhar entradas, decisões, ações e resultado confirmado. Quando houver variação entre tentativas, repetir os cenários ajuda a perceber comportamentos que uma demonstração única não mostra.
Também é necessário observar o trabalho de conferência e recuperação. Uma operação que parece rápida pode exigir que alguém reconstrua o contexto quando falha. Registrar onde essa intervenção acontece permite decidir se o fluxo precisa de melhor informação, interface mais clara ou menor autonomia.
A síntese do DORA 2025 trata a IA como um fator que amplia condições já existentes nas organizações. Essa leitura reforça a atenção à forma como o trabalho é organizado. Ela não permite presumir um ganho de produtividade ou retorno financeiro para uma implementação específica. Leia a síntese do DORA 2025.
Libere um recorte que possa ser acompanhado
Antes de ampliar o uso, escolha uma tarefa delimitada, um responsável pelas exceções e um critério de revisão da decisão. Comece em ambiente de teste com dados apropriados. Depois, uma eventual liberação deve respeitar as permissões e condições reais da operação.
Se o sistema não consegue distinguir uma conclusão de uma pendência, essa lacuna precisa aparecer no plano. O avanço pode estar em melhorar o contrato entre os sistemas antes de acrescentar mais capacidade ao agente.
Referências consultadas
- Demystifying evals for AI agents
Anthropic Engineering, 09/01/2026. Práticas de avaliação descritas pelo fornecedor.
- Building effective agents
Anthropic Engineering, publicação original de 19/12/2024. Referência ao princípio de simplicidade, sem prescrever as ferramentas daquela versão.
- State of AI-assisted Software Development 2025
DORA. Referência à síntese pública do relatório.
O exemplo e os critérios são hipotéticos. Nenhum agente foi implementado ou testado para produzir este artigo.
