[4]pp · Auditoria pública · Backtest

Validação pública: rodamos nosso modelo em 2022, contra a urna.

Todo modelo de correção merece uma pergunta: funciona fora da amostra? Em vez de responder com argumento, respondemos com dado. Aplicamos o pipeline atual — curva de viés de mercado por timing + resíduo medido de cada instituto — sobre as 18 pesquisas de 2º turno de 2022, nas datas originais, e comparamos com o resultado oficial do TSE (Lula 50,90 × Bolsonaro 49,10 = margem +1,8).

Método

Amostra: 18 ondas de 2º turno de 2022 (Ipec, Datafolha, Quaest, Ipespe, FSB, Ideia, Instituto Opinião, Brasmarket), fonte pollstergraph.com × urnas TSE.
Pipeline testado: camada 02 do modelo — correção = viés de mercado por timing (curva exponencial λ=1,79, teto 5,0 pp, ancorada no 2º turno de 2022 para este teste) + resíduo do instituto (house effect medido na véspera de 2022 menos o viés de mercado de 1,0 pp).
Métrica: erro de margem (Lula−Flávio) contra a urna, antes e depois da correção.
Transparência de diferença: em produção (2026) a curva é ancorada no 1º turno (o deadline reputacional em que os institutos corrigem a tempo); neste backtest ela é ancorada no 2º turno de 2022, que é a eleição sendo prevista. Divulgamos a diferença porque ela importa.

As 18 ondas, uma a uma

Data	Instituto	Margem bruta (L−F)	Margem corrigida	Erro bruto	Erro corrigido
16/ago	Ipec	+16,0	+6,3	+14,2	+4,5
19/ago	Datafolha	+17,0	+10,1	+15,2	+8,3
25/ago	Ideia	+9,0	+4,1	+7,2	+2,3
29/ago	Quaest	+14,0	+6,9	+12,2	+5,1
30/ago	Ipec	+13,0	+3,3	+11,2	+1,5
06/set	Ipec	+16,0	+6,4	+14,2	+4,6
12/set	FSB	+13,0	+8,2	+11,2	+6,4
13/set	Ipec	+17,0	+7,4	+15,2	+5,6
16/set	Datafolha	+16,0	+9,3	+14,2	+7,5
17/set	Ipespe	+15,0	+6,7	+13,2	+4,9
21/set	Inst. Opinião	+14,0	+9,4	+12,2	+7,6
22/set	Ipespe	+17,0	+8,8	+15,2	+7,0
23/set	Datafolha	+16,0	+9,4	+14,2	+7,6
24/set	Ipespe	+16,0	+7,8	+14,2	+6,0
28/set	Quaest	+14,0	+7,3	+12,2	+5,5
01/out	Ipespe	+17,0	+9,0	+15,2	+7,2
02/out	Ipec (véspera)	+15,0	+5,9	+13,2	+4,1
20/out	Brasmarket	−4,7	−7,5	−6,5	−9,3

Resultado

12,8

erro médio (MAE) das pesquisas brutas, em pp

5,8

erro médio (MAE) após a correção [4]pp, em pp (−55%)

+5,9

viés residual médio: ainda sub-corrigimos 2022

O que isso prova — e o que não prova

Prova: a correção reduz o erro pela metade e acerta a direção em 17 das 18 ondas. O mecanismo (viés de mercado por timing + resíduo medido) funciona fora da amostra.
Não prova: que a magnitude de 2022 se transfere para 2026. Em 2022 o viés bruto era extremo (+13 a +17); em 2026 o bruto vem em empate ou Flávio à frente (+1 a +2). Por isso a correção 2026 (+2,5 a +3,0 sobre o bruto) é conservadora por desenho: aplicar a magnitude de 2022 a 2026 seria sobre-corrigir.
Não testa: raking, fundamentais e deriva (camadas 03–05), que não têm equivalentes medíveis neste backtest. Elas permanecem justificadas por fonte primária, não por backtest — e está escrito assim de propósito.
Viés residual +5,9: em 2022 ficamos pró-Lula mesmo corrigindo. Divulgamos porque um backtest que esconde o próprio resíduo é propaganda, não validação.

Errata e compromisso de processo

09→10/set/2026: bug de sinal na camada de fundamentais (fórmula nova invertia a direção do ajuste, −0,4 pp pró-Lula). Corrigido em 10/set; projeção retornou de 53,4 para ~53,8. Registrado aqui no mesmo dia.
Até 4/out/2026: toda mudança de fórmula exige (a) previsão numérica explícita antes de subir, (b) backtest ou justificativa de fonte primária, e (c) conferência do card contra a previsão antes de fechar.
Reprodutibilidade: seed fixa (20261004), 50.000 simulações; constantes públicas nesta página e no JSON da API.

← Voltar ao nowcast · Auditoria · Ranking de institutos