diary/20100501
データマイニング・バイアス
テクニカル分析の迷信では，バックテストとフォワードテストのパフォーマンスの差についても興味深い説明がなされている．
バックテストに比べてフォワードテストのパフォーマンスが落ちる理由は，これまで「過度のカーブフィッティングのため」とか「相場つきが変わるから」とか説明されていた．前者はその通りだが，後者は不自然ではないか．誰かがバックテストとフォワードテストの期間を「勝手に」決めてパフォーマンステストをする度に二つの期間で相場つきが変わってしまうのだろうか．それではテスターの数が増えれば増えるほど相場付きの異なる二期間がいくつも生じることになる．これはおかしい．しかも，相場付きが変わるのならフォワードテストのパフォーマンスが良い方に変わることがあっても良いはずなのに，そんなことは滅多に起きない．
本書によると，本当の理由は「データマイニング・バイアスのため」となる．私は以前から相場つきが変わるという理由には何かひっかかるものを感じていたのだが，本書のおかげでやっと胸のつかえがおりた．これでバックテストを猿のように繰り返して最良パフォーマンスのトレードルールを選び，それをフォワードテストして失望するという空しい作業を少しはましにすることができる．
データマイニング・バイアスの詳細は本ブログではとても書ききれないので，本書の6章を参照されたし．