Como vamos medir qual detector de IA acerta mais
O objetivo é publicar um comparativo reproduzível de detectores de imagens geradas por IA. Não vamos transformar três exemplos em “99% de precisão”: resultados só entram no ranking quando o conjunto de teste for grande, balanceado e aplicado da mesma forma a todas as ferramentas.
Estado atual: regressões conhecidas, não um ranking de concorrentes
O Isso é IA? já mantém casos de origem conhecida dentro da regressão automática do ensemble. Eles existem para impedir que uma correção de hoje faça o sistema repetir um erro já encontrado amanhã.
O número atual ainda é pequeno demais para calcular uma taxa de acerto que represente o mundo real. Por isso, estes casos são publicados como regressões conhecidas, e não como um benchmark estatístico completo.
| Caso | Origem conhecida | Critério | Comportamento atual |
|---|---|---|---|
| Imagem real com classificador de origem como outlier | REAL | Não condenar a foto por um único detector divergente | Provavelmente real |
| Imagem de IA conhecida com ponto cego no detector principal | IA | Outras famílias independentes devem conseguir recuperar o caso | Provavelmente IA |
| Captura de tela real com forte instabilidade após recompressão | REAL | Reduzir confiança e evitar falso positivo de IA | Tende a real, com divergência |
Benchmark comparativo planejado: 1.000 imagens
A primeira edição comparativa terá como alvo 1.000 imagens com origem conhecida, idealmente 500 reais e 500 geradas ou manipuladas por IA. O conjunto será dividido em categorias para que uma ferramenta não pareça excelente apenas porque recebeu o tipo de imagem em que é mais forte.
As categorias previstas incluem fotos originais de câmera, capturas de tela e frames de vídeo, imagens recomprimidas por mensageiros e redes sociais, edições comuns e imagens sintéticas produzidas por famílias diferentes de geradores.
As mesmas imagens para todos os detectores
Um comparativo só será publicado quando a mesma amostra puder ser submetida às ferramentas avaliadas em condições equivalentes. Não vamos escolher imagens diferentes para favorecer o Isso é IA? nem remover erros depois de ver o resultado.
Para cada ferramenta, pretendemos registrar o nome/versão disponível no dia do teste, resposta real/IA quando existir, score quando informado e tempo aproximado de análise. Se uma ferramenta não aceitar determinado arquivo, isso também será registrado.
Métricas que importam
Acurácia sozinha não basta. Um detector pode acertar bastante e ainda produzir falsos positivos perigosos em fotos reais. Por isso o relatório deve separar acurácia balanceada, falso positivo em imagens reais, falso negativo em imagens de IA, cobertura dos vereditos decisivos e calibração do percentual exibido.
Também vamos separar resultados por qualidade da fonte. Uma fotografia original com metadados preservados é um problema diferente de um print, frame de vídeo ou imagem que passou pelo WhatsApp.
Por que ainda não existe uma tabela dizendo “A ferramenta X ganhou”?
Porque ainda não rodamos um conjunto grande e idêntico em todas elas. Publicar uma classificação com poucas imagens seria marketing, não benchmark. Quando houver dados suficientes, esta mesma URL será atualizada com a tabela comparativa, data do teste e limitações.
Avaliações dos usuários ajudam, mas são uma base separada
Quando alguém usa o detector e declara conhecer com certeza a origem da imagem, essa avaliação pode ajudar a medir e calibrar o sistema. Porém, rótulos enviados por visitantes podem conter erro e não substituem um conjunto curado de benchmark.
Por isso, a base comunitária de avaliações e o benchmark comparativo de 1.000 imagens serão tratados como fontes diferentes de evidência.
Como citar este benchmark
Ao mencionar a metodologia ou futuros resultados, use a URL permanente issoeia.com.br/benchmark-detectores-ia. As atualizações serão feitas nesta página para que referências externas não quebrem quando o benchmark crescer.