Backtesting Avançado: CSCV, PBO e Deflated Sharpe
Como reduzir overfitting em estratégias quantitativas usando validação combinatória, probabilidade de overfitting e ajuste de Sharpe.
Por que backtest engana
Backtests tradicionais superestimam performance quando há muitas tentativas de modelo/parâmetro. Quanto maior a busca, maior a chance de encontrar um resultado bom por sorte.
Três ferramentas para reduzir autoengano
1) CSCV (Combinatorially Symmetric Cross-Validation)
Use múltiplas combinações simétricas de treino/teste em blocos temporais para medir estabilidade fora da amostra.
Uso prático:
- Divida a série em blocos temporais.
- Gere combinações treino/teste sem quebrar causalidade temporal.
- Meça dispersão de performance OOS.
2) PBO (Probability of Backtest Overfitting)
O PBO estima a probabilidade de seu processo de seleção estar escolhendo modelos superajustados.
Leitura prática:
- PBO baixo: menor risco de seleção espúria.
- PBO alto: provável overfitting; estratégia não deve ir para produção.
3) Deflated Sharpe Ratio (DSR)
O DSR ajusta o Sharpe observado levando em conta:
- número de tentativas,
- viés de seleção,
- assimetria e curtose dos retornos.
Isso evita tratar Sharpe inflado como descoberta real.
Fluxo recomendado de validação quant
- Defina universo, custos e métrica principal antes dos testes.
- Faça split temporal e walk-forward.
- Rode CSCV e estime PBO.
- Calcule DSR para o conjunto final.
- Execute stress: custos maiores, latência, gaps e regime extremo.
- Só então decida por paper-trading/produção.
Critérios mínimos de aprovação
- Estabilidade de performance em subperíodos.
- Queda aceitável de in-sample para out-of-sample.
- PBO em faixa controlada.
- DSR indicando performance não explicada por sorte.
- Sensibilidade moderada a custos e parâmetros.
Armadilhas comuns
- Selecionar modelo apenas por maior Sharpe bruto.
- Reotimizar após cada perda curta (overfitting contínuo).
- Ignorar dependência serial dos retornos.
- Validar com dados já "vistos" na pesquisa.
Referências acadêmicas
- Bailey, D. H.; Borwein, J.; López de Prado, M.; Zhu, Q. J. (2014). The Probability of Backtest Overfitting. Journal of Computational Finance. SSRN:
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2326253. - Bailey, D. H.; López de Prado, M. (2014). The Deflated Sharpe Ratio. SSRN:
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2460551. - White, H. (2000). A Reality Check for Data Snooping. Econometrica. DOI:
10.1111/1468-0262.00152.
Trader Quantitativo: Playbook Avançado
Framework completo para pesquisa, validação e operação de estratégias quantitativas com governança de risco.
Execução Quantitativa: Almgren-Chriss e Microestrutura
Guia prático de execução algorítmica para reduzir custo total: impacto de mercado, risco de execução e qualidade de fill.