Resumo para quem tem 30 segundos
- A IA é excelente em cobertura, variação de payload e leitura de resposta, e fraca em objetivo de negócio.
- Sem sandbox e sem verificação determinística, o modelo relata sucesso onde não houve impacto.
- O ganho real veio de reduzir triagem humana, não de substituir o analista.
Rodamos 4.000 tentativas de exploração assistida por modelo de linguagem contra ambientes controlados, com aplicações reais e vulnerabilidades conhecidas e desconhecidas. O objetivo era separar promessa de resultado. O resumo: a IA muda a economia da triagem, não a natureza do trabalho ofensivo.
4.000
tentativas executadas em ambiente isolado
31%
confirmaram exploração com evidência reproduzível
12%
foram falso positivo declarado como sucesso pelo modelo
−68%
tempo de triagem por achado após verificação determinística
Onde o desempenho foi consistentemente bom
| Classe | Taxa de confirmação | Comentário |
|---|---|---|
| Injeção refletida e armazenada | Alta | Variação de payload e leitura de contexto são pontos fortes |
| Falhas de configuração | Alta | Comparação com baseline é tarefa determinística |
| Exposição de dados em resposta | Alta | Modelo é bom em reconhecer formato sensível |
| Controle de acesso horizontal | Média | Depende de ter dois contextos autenticados válidos |
| Lógica de negócio | Baixa | Falta objetivo econômico e modelo mental do produto |
| Cadeias multi-etapa longas | Baixa | Perde estado e repete caminhos já descartados |
Os três modos de erro que mais apareceram
- 1Alucinação de impacto: o modelo interpreta uma mensagem de erro detalhada como comprometimento.
- 2Confirmação circular: ele gera o payload, lê a própria saída e conclui sucesso sem oráculo externo.
- 3Deriva de escopo: sem limites rígidos, começa a testar ativos fora do perímetro autorizado.
Oráculo externo é obrigatório
Toda tentativa precisa de um verificador independente do modelo: callback fora de banda, diff de estado, ou consulta direta ao dado que deveria ter vazado. Sem isso, a taxa de falso positivo torna o sistema inutilizável.
Arquitetura que funcionou
- Execução sempre em sandbox com egress controlado e allowlist de alvos.
- Separação entre agente que propõe e componente determinístico que valida.
- Orçamento de tentativas por hipótese, com corte agressivo em caminhos sem progresso.
- Registro completo de requisição e resposta para reprodutibilidade humana.
- Reteste automático da mesma cadeia após correção declarada.
hipótese -> geração de payload -> execução em sandbox
-> verificação por oráculo externo
-> [confirmado] evidência + reteste agendado
-> [não confirmado] descarte e registro de tentativaO que ainda não delegamos
Decisão de escopo, exploração de regra de negócio, avaliação de impacto financeiro e qualquer ação com potencial de indisponibilidade permanecem sob controle humano explícito. Não por conservadorismo, mas porque nesses pontos o modelo não tem como saber o que importa para o cliente.
A IA não descobriu o que nós não descobriríamos. Ela nos deu tempo para olhar o que realmente exigia um humano.