Auditoria de modos de falha · 2026-08-11
Mineração completa do histórico de agentes deste Mac. Dez agentes leram cada correção do usuário, o contexto que a causou e classificaram a falha real. Três harnesses: Claude Code, Codex e Pi/OMP.
1 · Metodologia
As fatias não medem com a mesma régua. As fatias 1, 3 e 5 contam bruto: toda correção do usuário. As fatias 2, 4 e 6–9 filtram para falhas genuínas. A fatia 10 lê outra fonte: o history.jsonl com todos os prompts.
Não some as três colunas. Elas contam eventos diferentes com critérios diferentes. Cada painel abaixo tem escala própria. Compare formas e proporções, não totais.
2 · Falhas por categoria
Em cada painel, a barra laranja marca a maior categoria daquela fonte. Falso-pronto, travado-esperando e scope-creep ficam no topo em todas.
Fatias 1, 3, 5 — toda correção · escala própria
Fatias 2 (fortes), 4, 6–9 · escala própria
A fatia 2 ainda registrou 47 casos brutos de halt-imperativo (continuar após ordem de parada); nenhum passou no filtro "forte".
Fatia 10 — 669 correções em 2.635 msgs · escala própria
Dentro de "outra" (189):
Cada barra mostra a faixa mínimo–máximo entre as metodologias de sessão (bruto vs. filtrado). O history.jsonl fica de fora, porque é outra fonte. Escala única: 0 a 310 ocorrências.
3 · Modelos e harnesses
Viés de uso. O modelo mais usado acumula mais falhas absolutas. Estes números não normalizam por horas de uso nem por sessões. Não leia esta tabela como ranking de qualidade.
Leituras que sobrevivem ao viés: falso-pronto e travado-esperando aparecem em todos os modelos e harnesses. Scope-creep e erro-repetido pesam mais nos harnesses multiagente (Codex e Pi). Ignorou-MCP é quase exclusivo do Claude Code. Na fatia 4, as sessões opus-5 tiveram zero falhas genuínas e as fable-5 concentraram as 13 — mas 7 delas vêm de uma única sessão catastrófica.
4 · Top 5 modos de falha
Os exemplos abaixo são verbatim dos transcripts. Aspas laranjas são frases do próprio agente; aspas cinzas são correções do usuário.
O agente declara sucesso sem verificar. É o maior gap entre impacto e detectabilidade: o report parece certo até o usuário testar.
"Frota no ar" — nenhum processo rodando.
"Fase 1 VERDE" — sem acompanhar o deploy. "PASS" — com screenshot que não existe. Afirmou usar Opus 4.6 com Opus 5 aberto.
O agente espera um input que já chegou, ou repete um ciclo que não converge. Inclui o halt-imperativo: continuar após STOP/FREEZE.
1h14 em loop confundindo o Computer Use com o navegador pessoal; cada iteração do teste matava o áudio dos AirPods de novo.
Monitor de 60 s esperando, passivo, um clique de "trust" que o usuário já tinha dado. Subagentes órfãos nunca mortos. Commits WIP depois de um FREEZE.
O agente faz mais (ou outra coisa) do que o pedido. O AGENTS.md global é a regra mais ignorada — em especial paralelização e decomposição atômica.
Orquestrador esperou os 4 subagentes terminarem em vez de agir incremental. Refactors oportunistas fora do brief, exigindo ordens repetidas de disciplina.
Agente de limpeza mexeu em branches de outras sessões. Destruiu ambientes (purge + bootstrap) culpando um ESC que o usuário nunca apertou.
O agente usa o caminho manual quando existe ferramenta dedicada configurada. Um dos casos é limitação real de harness, não desobediência.
curl no grill-board com o MCP configurado (2 sessões). Chrome e Dia pessoais no lugar do Computer Use oficial, mesmo após correção explícita.
Burlou o hard hook de subagentes criando processos `pi -p` diretos.
O agente repete a mesma classe de erro na mesma sessão, ou contamina sessões futuras via skill e memória. Inclui a confusão de identidade de modelo.
Diagnóstico errado recorrente: "1Password travou" — não travou (opus e fable). Skill criada com `--json` num comando e não no outro, induzindo erro em sessões futuras.
Usuário: "pq vc ta usando 5.6 sol low??? estava HIGH" · "vc sabe que Sol é codex né?"
5 · Contramedidas aplicadas
Saída do grill aprendizados-do-video-do-theo-no-setup-do-mac (19/19 respondidas). Commits 3f84c70…dba9115 na branch feat/control-center-v1 de ~/agents-config.
| Contramedida | Onde vive | Modo de falha que ataca |
|---|---|---|
| "Done" só depois de conferir cada item do pedido original | AGENTS.md · Reporting done | falso-pronto |
| Perguntas são read-only; código só muda com pedido explícito | AGENTS.md · Reporting done | scope-creep |
| Correção do usuário vira restrição e vale até o fim da sessão | AGENTS.md · Reporting done | erro-repetido |
| Identidade de modelo/effort: ler do sistema, nunca chutar | AGENTS.md · Reporting done | falso-pronto |
| MCP-first; fallback só depois de declarar a limitação | AGENTS.md · Tooling | ignorou-MCP |
| Serviços rodando e sessões de usuário são produção | AGENTS.md · Tooling | quebrou-algo |
| Orquestração responsiva; mata órfãos e salva o output antes | AGENTS.md · Subagents | travado-esperando |
| STOP, FREEZE e HALT são imediatos: parar, salvar, confirmar | AGENTS.md · Subagents | halt-imperativo |
| emil-design-eng vira manual-only | skill | scope-creep |
| handoff passa a exigir verificação de estado antes de afirmar | skill | falso-pronto |
| managing-skills passa a exigir teste dos comandos documentados | skill | erro-repetido |
| Doc novo: known-harness-limitations.md (7 limitações + workarounds) | ~/agents-config/docs | limitações de harness |
6 · Fora do alcance de instruções
Nenhuma linha de AGENTS.md resolve estes casos. A numeração segue o doc known-harness-limitations.md.
L1
Prompts de permissão reaparecem para ações já aprovadas. Workaround: allowlist no settings.json; senão, expor o bloqueio na hora.
L2
O registry congela no início da sessão. Workaround: declarar a limitação, usar fallback documentado, reiniciar a sessão.
L3
Mensagens técnicas com palavrão recebem resposta de CVV/SAMU, em todos os providers. A camada de safety fica abaixo das instruções; a regra do AGENTS.md mitiga só em parte.
L4
O harness não mata subagente que silencia. Workaround: o orquestrador checa status entre respostas, mata e salva o output antes.
L5
Prioridades se confundem e instruções antigas somem. Workaround: tratar 200k como gatilho duro de compactação ou handoff.
L6
O harness (Codex) não publica o slug do modelo; o agente chuta e erra. Workaround: ler do sistema; se não houver, dizer "não exposto".
L7
A ordem de parada é só texto; sem hook, o modelo pode seguir trabalhando. Workaround: regra global de halt + kill pelo supervisor em frotas.