Controle humano em agentes de IA exige autonomia proporcional ao impacto, à confiança e à reversibilidade. Antes de agir, o sistema deve tornar visíveis objetivo, plano, dados, ferramentas, destino e riscos. Durante a execução, precisa permitir pausa e redirecionamento. Depois, deve oferecer logs, recuperação e um responsável humano identificável.
Um chatbot redige uma mensagem. Um agente pode abrir o sistema, selecionar destinatários e enviá-la. A diferença parece pequena na interface, mas muda a natureza do risco. A saída deixou de ser apenas informação. Virou ação no mundo.
O mesmo acontece quando um agente agenda uma reunião, altera um cadastro, publica conteúdo, executa código ou movimenta um processo financeiro. Se o sistema interpreta mal a intenção, mais fluidez não corrige a consequência. O desenho precisa equilibrar utilidade e autoridade.
A tese é que autonomia deve crescer de forma proporcional à observabilidade, reversibilidade e confiança. Não basta manter “uma pessoa no processo”. Essa pessoa precisa compreender o que está acontecendo, ter tempo, informação e autoridade para intervir.
Chatbot, assistente e agente não são sinônimos
Um chatbot responde dentro de uma conversa. Um assistente prepara partes do trabalho, mas devolve o resultado para uma pessoa executar. Um agente recebe um objetivo, planeja etapas, escolhe ferramentas, observa resultados e continua até concluir ou pedir ajuda.
A Anthropic descreve agentes como sistemas em ciclo de planejar, agir, observar e ajustar. Também separa quatro camadas: modelo, estrutura de instruções e controles, ferramentas e ambiente. Essa distinção é útil porque um modelo competente ainda pode causar problema quando recebe permissões excessivas ou opera em ambiente exposto.
Para produto, a categoria importa menos do que a autoridade concreta. Liste o que o sistema pode ler, criar, alterar, enviar, comprar, excluir ou aprovar. Depois registre quem é afetado, como a ação pode ser revertida e qual evidência permite confiar.
Risco combina impacto, confiança e reversibilidade
Impacto é a consequência possível sobre pessoas, dinheiro, acesso, reputação, segurança ou obrigação. Confiança é a força da evidência de que o sistema executará bem aquela tarefa naquele contexto. Reversibilidade é a capacidade de retornar ao estado anterior com custo e tempo aceitáveis.
Uma ação de baixo impacto e fácil recuperação pode operar com supervisão leve. Uma ação que altera direito, transfere valor ou comunica externamente precisa de barreiras maiores, mesmo quando o modelo apresenta bom desempenho.
| Impacto | Confiança | Reversibilidade | Autonomia recomendada |
|---|---|---|---|
| Baixo | Alta | Fácil | Agir e reportar com amostragem |
| Baixo | Baixa | Fácil | Preparar e pedir aprovação |
| Médio | Alta | Parcial | Mostrar plano e confirmar o lote |
| Alto | Qualquer | Difícil | Sugerir, com decisão humana nominal |
| Crítico | Qualquer | Irreversível | Não delegar a ação final |
A matriz impede dois atalhos: exigir clique a cada passo e chamar isso de segurança, ou liberar tudo porque a tarefa já funcionou algumas vezes.
Uma escada de autonomia
Autonomia pode avançar em quatro degraus. No primeiro, o agente sugere. No segundo, prepara uma ação completa para revisão. No terceiro, age depois de aprovação explícita. No quarto, age dentro de políticas conhecidas e reporta.
A passagem de degrau exige evidência. O time precisa observar taxa e gravidade de erro, comportamento diante de ambiguidade, capacidade de escalada, qualidade dos logs e eficácia da recuperação. Um processo de avaliação da qualidade da feature de IA transforma esses sinais em casos, critérios e limites repetíveis. A decisão também precisa ter dono e prazo de revisão.
O AI Risk Management Framework do NIST propõe governar, mapear, medir e gerenciar riscos. Aplicado a agentes, isso significa definir responsabilidade antes da execução, entender o contexto, testar comportamento e agir sobre incidentes. Autonomia não é uma configuração permanente.
Antes da ação, mostre o que importa
Uma boa confirmação não pergunta apenas “tem certeza?”. Ela oferece informação suficiente para uma decisão. O preview precisa mostrar objetivo interpretado, etapas relevantes, dados e ferramentas envolvidos, destino, mudanças previstas, custo quando aplicável e pontos sem volta.
Objetivo: o agente entendeu o resultado correto?
Escopo: quais itens, contas, pessoas e datas serão afetados?
Dados: que fontes serão lidas e o que será registrado?
Ferramentas: quais sistemas receberão comandos?
Risco: o que pode falhar e qual seria a consequência?
Reversão: como voltar ao estado anterior?
Escalada: qual dúvida interrompe a execução?
Responsável: quem autoriza e responde?
O Google PAIR recomenda explicar os aspectos que influenciam confiança e decisão, não simular uma transparência total impossível. Para um agente, uma explicação útil é operacional: o que fará, com qual informação e que controle a pessoa ainda possui.
Permissão precisa ser específica e temporária
Acesso amplo é conveniente para construir uma demonstração. Em produção, ele amplia o dano possível. Conceda o menor privilégio necessário, limitado por ação, ferramenta, conjunto de dados, duração e ambiente.
Ler calendário não implica enviar convites. Consultar um cadastro não implica alterá-lo. Preparar uma transferência não implica confirmá-la. Separe capacidades para que o sistema não atravesse silenciosamente uma fronteira de autoridade.
Entradas externas também podem carregar instruções maliciosas. A análise sobre agentes confiáveis destaca que ataques de injeção de prompt exigem defesa em várias camadas. Nenhuma regra textual isolada garante proteção. Reduzir ferramentas, dados e ambientes disponíveis limita a superfície e a consequência.
Durante a execução, controle é poder interromper
Quando uma tarefa tem dezenas de passos, confirmar tudo produz fadiga. A pessoa passa a clicar sem ler. Uma alternativa é revisar o plano, aprovar um escopo e acompanhar marcos, preservando a possibilidade de pausar, redirecionar ou cancelar.
Mostre estado atual, ação concluída, próxima ação e alterações acumuladas. Distinga “pausar” de “cancelar”. Informe o que já aconteceu e o que ainda pode ser desfeito.
Pesquisa publicada pela Anthropic em 2026, baseada em interações com seus próprios produtos, sugere que usuários experientes aprovam automaticamente com mais frequência e também interrompem mais. Por ser evidência de fornecedor e de contextos específicos, não define um padrão universal. Reforça que supervisão precisa incluir monitoramento e intervenção, não apenas aprovações repetitivas.
Depois da ação, logs precisam explicar a consequência
Um log útil não é um fluxo opaco de raciocínio. É um registro factual: objetivo recebido, versão do sistema, permissões, dados consultados, ferramentas acionadas, mudanças realizadas, aprovações, falhas e resultado.
Esse registro sustenta investigação, contestação e melhoria. Precisa respeitar minimização de dados e prazo de retenção. Registrar tudo indiscriminadamente pode criar um novo risco de privacidade.
“Vou atualizar 18 registros na base X, usando o arquivo Y. Três itens têm conflito e ficarão pendentes. A alteração poderá ser desfeita por 24 horas. Nenhuma mensagem será enviada. Autorizar esta execução?” A confirmação nomeia escopo, exceção, reversão e limite.
Recuperação deve ser desenhada antes do incidente
Rollback é o retorno ao estado anterior. Nem toda ação permite isso. Para as demais, crie compensação: cancelar, corrigir, notificar a pessoa afetada e registrar a decisão. Defina também um modo manual seguro.
1. Interromper novas ações e preservar o estado.
2. Classificar alcance, consequência e pessoas afetadas.
3. Reverter ou compensar com aprovação adequada.
4. Comunicar de forma clara, sem esconder a falha.
5. Registrar causa, detecção e resposta.
6. Adicionar o caso à avaliação.
7. Ajustar permissão, instrução, interface ou nível de autonomia.
O capítulo de falhas do Google PAIR recomenda oferecer um caminho adiante proporcional à gravidade e criar meios de evitar repetição. Recuperação faz parte da experiência, não é somente uma tarefa de infraestrutura.
Dois exemplos, duas decisões
Considere primeiro um agente que organiza arquivos internos em uma pasta temporária. A ação é reversível, o impacto é baixo e o resultado pode ser amostrado. Após testes, ele pode agir e reportar, desde que não exclua originais.
Agora considere um agente que prepara a concessão de crédito. Ele pode reunir documentos, conferir campos e sinalizar inconsistências. A decisão afeta dinheiro e acesso, pode carregar obrigação regulatória e é difícil de reparar. O agente deve apoiar, não assumir silenciosamente a decisão final. Critérios, aprovação e contestação precisam permanecer explícitos.
O contraste mostra por que “human in the loop” é insuficiente. O que importa é qual pessoa, em que momento, com qual informação e autoridade.
Transforme o controle em uma operação diária
Governança falha quando existe apenas na aprovação inicial. Crie um painel que mostre volume de ações, intervenções, falhas, reversões e acessos utilizados. Separe erro do modelo, instrução ambígua, permissão inadequada, ferramenta indisponível e decisão humana incorreta. Cada causa pede uma resposta diferente.
Realize revisões curtas com quem opera o fluxo. Escolha incidentes e quase incidentes, situações em que o controle evitou uma consequência. Pergunte o que tornou a intervenção possível e o que quase passou despercebido. Atualize casos de teste, limites e treinamento.
Defina também um interruptor operacional. A equipe precisa saber quem pode suspender uma ferramenta, um tipo de ação ou todo o agente, sem aguardar uma crise de governança. A suspensão deve preservar evidências, impedir novas mudanças e oferecer um fluxo manual temporário.
Indicadores úteis incluem taxa de conclusão, escalada adequada, interrupção, reversão, tempo até detectar falha e alcance do incidente. Não premie autonomia pelo número de ações sem aprovação. Esse indicador pode crescer exatamente quando supervisão e confiança diminuem.
Por fim, revise permissões quando pessoas, ferramentas ou objetivos mudarem. Uma autorização coerente para um projeto não deve permanecer aberta indefinidamente. O controle mais forte combina limite técnico, experiência clara e autoridade organizacional. Para levar esse desenho à rotina, o playbook de liderança de times com IA organiza papéis, revisão, aprendizado e responsabilidade.
Perguntas frequentes
Qual é a diferença entre chatbot, assistente e agente?
Um chatbot conversa, um assistente prepara trabalho e um agente pode planejar e usar ferramentas para executar ações. O limite real depende das permissões e do ambiente.
Toda ação de um agente precisa de aprovação?
Não. A supervisão deve acompanhar impacto, confiança e reversibilidade. Ações rotineiras e recuperáveis podem seguir políticas, enquanto alto impacto exige aprovação explícita.
O que torna o controle humano significativo?
A pessoa precisa compreender a ação, ter tempo e autoridade para intervir e contar com informação suficiente. Um botão sem contexto não oferece controle real.
Como evitar fadiga de confirmação?
Agrupe ações previsíveis em um plano revisável, use permissões por categoria e reserve confirmações fortes para mudanças de impacto, destino, escopo ou irreversibilidade.
Quem responde por uma ação do agente?
A organização e os responsáveis pelo fluxo continuam responsáveis. Papéis, autoridade, logs e escalada precisam estar definidos antes da autonomia.
Autonomia é uma decisão de design e governança
O melhor agente não é o que age sem perguntar. É o que sabe quando avançar, quando tornar o plano visível e quando devolver a decisão. Essa competência nasce do sistema completo, não apenas do modelo.
Produto define o valor e o escopo. UX torna intenção, permissão e consequência compreensíveis. Tecnologia constrói isolamento, logs e recuperação. Segurança testa entradas e ferramentas. Liderança estabelece autoridade e responde pelas escolhas.
A AIUX Brasil ajuda organizações a mapear tarefas agentivas, classificar impacto e desenhar experiências de controle, avaliação e aprendizagem. Antes de aumentar a autonomia, escolha uma ação real e responda: quem será afetado, quem consegue interromper e como voltaremos se algo der errado?