Por que a maioria das estratégias de trading falha - sobreajuste e teste fora da amostra - básico de trading, capítulo 10

A crença padrão é que, se uma estratégia funcionou em dados históricos, ela vai funcionar daqui para frente - um ótimo backtest significa uma ótima estratégia. A história não está meio certa; está em sua maior parte errada, e é o equívoco mais caro do trading de varejo. Um backtest bonito é a coisa mais fácil de fabricar em finanças, e uma estratégia ajustada para parecer perfeita no passado muitas vezes não vale nada no futuro. A habilidade que separa os traders que mantêm seu dinheiro dos que não mantêm não é construir estratégias - é desconfiar delas corretamente.

Um enquadramento mais preciso: qualquer estratégia com algumas configurações ajustáveis pode ser ajustada ao ruído aleatório de uma janela histórica específica de forma tão apertada que mostra uma curva de capital impecável - e não aprende nada que generalize. Isso é sobreajuste (curve-fitting), e a defesa contra ele é o teste fora da amostra. Este capítulo explica a armadilha e a barra que a QA usa para superá-la, onde 46% das estratégias testadas falharam em silêncio.

O que é sobreajuste de fato

Dê a uma estratégia botões ajustáveis suficientes - limiar de entrada, distância do stop, comprimento de lookback, configurações de indicador - e você sempre vai conseguir encontrar a combinação exata que teria feito mais dinheiro ao longo dos últimos dois anos. O problema: essa combinação está ajustada à sequência específica e irrepetível de eventos daquela janela. A estratégia não descobriu uma verdade de mercado; ela memorizou o gabarito de uma prova específica.

A pista é a sensibilidade a parâmetros. Uma estratégia genuinamente robusta ganha dinheiro em uma faixa de configurações semelhantes - seu edge vem de estrutura de mercado real, então configurações próximas também funcionam. Uma estratégia sobreajustada mostra um pico agudo de lucro em uma configuração exata e desaba no momento em que você mexe em qualquer botão. O pico é a impressão digital de ajustar ruído, não sinal.

A razão pela qual isso engana todo mundo é que o backtest é real - aqueles lucros genuinamente teriam acontecido. Só que aconteceram porque a estratégia foi construída sabendo a resposta, que é precisamente a informação que você não terá amanhã.

Por que um ótimo backtest pode não valer nada

Um backtest rodado nos mesmos dados usados para ajustar a estratégia é corrigir a prova com o gabarito na mão. Claro que tira 100%. Não diz nada sobre como a estratégia se comporta em questões que não viu - que é a única coisa que importa, porque todo trade futuro é uma questão que ela não viu.

Duas armadilhas estruturais fazem os backtests mentirem:

• Dependência de regime. Uma estratégia que prospera em um mercado de alta volatilidade e em tendência pode ser destruída em um mercado quieto e lateral. Um backtest sobre um único regime esconde o colapso que vem quando o regime muda - e os regimes sempre mudam.
• Sobrevivência e seleção. Teste apenas em ações que já foram bem e seus resultados estarão inflados por razões que nada têm a ver com a estratégia. O universo foi viciado antes de a estratégia rodar.

É também por isso que o capítulo 8 alertou que uma boa rodada não prova nada. Variância e sobreajuste produzem, ambos, amostras pequenas lisonjeiras. Só o desempenho fora da amostra ao longo de múltiplas janelas tem peso.

A correção - teste fora da amostra e walk-forward

A defesa é conceitualmente simples: separe os dados que você usa para construir a estratégia dos dados que você usa para julgá-la.

1. Divida seu histórico em pedaços - digamos, duas janelas de um ano.
2. Ajuste apenas no primeiro pedaço. Encontre suas configurações ali e congele-as.
3. Teste no segundo pedaço - dados que o ajuste nunca tocou. Esse resultado é o honesto.
4. Repita ao longo de janelas. Role para frente: ajuste em dados anteriores, teste em posteriores, de novo e de novo.

Isso é validação walk-forward. Uma estratégia que continua lucrativa ao longo de múltiplas janelas fora da amostra demonstrou que seu edge estava presente em várias fatias independentes do passado - a evidência mais forte disponível (sem ser o trading ao vivo) de que é real e não um ajuste ao ruído.

Os limites honestos - mesmo a validação não é garantia

O walk-forward reduz drasticamente o risco de sobreajuste; não o elimina. Três modos de falha sobrevivem até a uma validação limpa:

• Regime além da janela de teste. Se ambas as suas janelas de teste caem dentro do mesmo regime amplo, um regime genuinamente novo ainda pode quebrar a estratégia de formas que os dados nunca mostraram.
• Inflação por testes múltiplos. Teste estratégias suficientes e algumas passam no walk-forward por puro acaso. A correção é um conjunto de estratégias pequeno e curado, com uma razão prévia para esperar que cada uma funcione - não uma pescaria de mil estratégias.
• O futuro não é o passado. Todo teste histórico assume que a estrutura de mercado subjacente persiste. Às vezes não persiste. A validação te compra melhores chances, nunca certeza.

O enquadramento maduro: o teste fora da amostra é o preço de entrada para levar qualquer estratégia a sério, não uma promessa de lucro. Ele te move de "isso pareceu bom nos dados em que ajustei" - que não vale nada - para "isso se sustentou em dados que nunca viu" - que é a melhor evidência disponível.

O que isso significa para um iniciante

Você pode ainda não estar programando backtests, mas a lição se aplica no momento em que você copia a estratégia de qualquer um:

• Desconfie de todo backtest impecável, especialmente nas redes sociais. Os impecáveis são os mais propensos a serem sobreajustados. Pergunte: foi testado fora da amostra, em vários regimes?
• Seja impiedoso com resultados de uma só janela. Uma estratégia cujo histórico repousa em um único ano ótimo (LUMPY, nos termos da QA) é cara ou coroa, não um edge.
• Prefira o simples ao otimizado. Menos botões significa menos espaço para sobreajustar. Uma regra simples que funciona em muitas configurações supera uma finamente ajustada que funciona em exatamente uma.
• Opere em conta-demo antes de arriscar capital. Rodar uma estratégia para frente em dados ao vivo aos quais você não pôde ajustá-la é o seu teste fora da amostra pessoal.

O que observar

• Se um edge alegado foi testado fora da amostra. Se uma estratégia só foi rodada nos dados a partir dos quais foi construída, seu histórico é decoração.
• Sensibilidade a parâmetros. Uma estratégia que só funciona em uma configuração exata é sobreajustada. Edges robustos sobrevivem a uma faixa de configurações próximas.
• Cobertura de regime. Foi testada em períodos calmos e voláteis, ou só em um? Um backtest de regime único esconde seu próprio modo de falha.
• Seu nível de ceticismo. O padrão correto diante de qualquer alegação de "esta estratégia rendeu 200%" é a dúvida, até que você veja evidência fora da amostra. Esse ceticismo é, em si, um edge.

A QA avalia toda estratégia de bot dessa forma antes que ela veja capital ao vivo - leia o método completo em O que é validação walk-forward? e o estudo de caso de reversão à média em O que é reversão à média?. O próximo capítulo transforma tudo isso em um processo repetível: o seu próprio plano de trades (playbook).

A seguir na série: Construindo um plano de trades (playbook) - transformando regras em um processo que você consegue de fato seguir sob pressão.

Aprofunde-se: O que é validação walk-forward? · O que é reversão à média?.

Veja ao vivo: O /playbook da QA para o framework de regras; a telemetria dos bots validada por walk-forward faz parte do /pro.

A QuantAbundance é pesquisa educativa. Nada aqui é recomendação de investimento. Veja /disclosures.