トレード戦略を設計する際に、過去データで良い結果が出るだけでは十分ではありません。重要なのは、将来の不確実性に対して戦略がどれだけ耐えられるかという点です。堅牢性テストはそのための必須プロセスであり、戦略が「偶然の結果」ではなく「再現性のある優位性」に基づいているかを確認する役割を果たします。
その中でも「What if テスト」は、戦略に対して「もしこうだったら？」という仮定を加え、異なる条件下でのパフォーマンスを検証する方法です。例えば、特定の曜日を除外した場合や、取引回数を制限した場合、あるいは大きな利益をもたらした取引を取り除いた場合に、戦略がどのように変化するかを確認できます。
これにより、戦略が特定の条件に依存していないか、または一部の取引に過度に頼っていないかを把握することができます。
What if テスト（分析）とは？
What if テストは、戦略の安定性を確認するための「仮想シナリオ分析」です。世の中には様々なツールが私が利用しているStrategyquantxでは以下のような検証が可能です。
- 曜日の制御：もし月曜日と木曜日のトレードを排除したら、戦略はどうなるか？
- 大きな利益の依存度確認：上位5％の利益を出した取引を除外したらどうなるか？
- 取引回数の制限：1日の最大取引回数を2回までに制限したらどうなるか？
これらのテストを通じて、戦略が「特定の曜日や少数の取引に依存していないか」「取引頻度を制御しても安定した結果が得られるか」を確認できます。
シミュレーション設定とベース戦略のパフォーマンス
ここからは、実際の戦略に対してWhat if テストを行い、その結果を確認していきます。今回検証を実施するのは、過去の記事で作成した S&P500のRSI2戦略です。この戦略をベースに、What if テストを適用するとパフォーマンスにどのような変化が現れるのかを検証します。
今回の検証対象となるS&P500のRSI2戦略は、短期的な行き過ぎを狙う典型的なミーンリバージョン（平均回帰）戦略です。日足ベースでの検証では、安定した勝率と比較的滑らかな資産曲線を示しており、単体でも十分に通用する戦略といえます。
- 検証期間：2012年1月20日～2025年11月30日
- タイムフレーム：日足
- スプレッド：0
- 取引手数料：1取引あたり0.05％
- スリッページ：なし
- 初期資金：10,000ドル
- 取引サイズ：1（固定ロット）
このベース戦略のパフォーマンスを確認することで、What if テストによって「どの条件が戦略を強化し、どの条件が戦略を弱めるのか」を比較できるようになります。
What if テストの実施
ここからは、実際にいくつかのシナリオを設定し、戦略の堅牢性を確認していきます。What if テストは単に数値を変化させるだけではなく、戦略が特定の条件に依存していないかを見極めるための重要な検証です。曜日を制御した場合や、大きな利益をもたらした取引を削除した場合、あるいは取引回数を制限した場合など、さまざまな角度から戦略を揺さぶることで「本当に安定しているのか」を確認できます。
このセクションでは、代表的な3つのテストを取り上げ、ベース戦略のパフォーマンスがどのように変化するかを比較していきます。
曜日の制御
ベース戦略のパフォーマンスを詳しく確認すると、この戦略は水曜・木曜・金曜に利益を上げていることが分かります。
そこで、あくまでもテストとして水曜日と木曜日の取引を排除した場合の結果を確認しました。
すると、プロフィットファクターは1.65から1.36に低下、リターンドローダウンレシオも4.71から1.83へ大幅にダウンしました。利益を出している曜日を削除したため結果が悪化するのは当然ですが、注目すべきは勝率です。勝率は68.78％から65.69％へとわずかに低下しただけであり、戦略が「特定の曜日に依存していない」ことを示しています。
つまり、曜日を制御しても大きく崩れない点から、一定の堅牢性が確認できるのです。
利益の多い上位5％の取引を削除
次に、ベース戦略の取引総数237回のうち、利益の多い上位5％にあたる12取引を削除した場合の結果を確認しました。
結果は、プロフィットファクターが1.65から1.26に低下、リターンドローダウンレシオも4.71から1.92へダウンしました。利益の多い取引を取り除いたため成績が悪化するのは当然ですが、プロフィットファクターは1以上をキープしています。勝率は67.11％とベース戦略とほぼ変わらず、戦略が「少数の大きな利益に依存しすぎていない」ことが分かります。
これは、戦略が安定して収益を積み上げる力を持っている証拠であり、堅牢性の確認に有効なテストとなります。
実際に以下の取引が削除されています。
取引履歴を1つ飛ばす
最後の検証では、取引履歴を1つずつ飛ばした場合のパフォーマンスを確認しました。結果的に取引数は半分になります。このテストのポイントは、ベース戦略のパフォーマンスと主要指標が大きく変わらないかどうかです。
結果を見ると、プロフィットファクターは1.97に上昇、リターンドローダウンレシオは4.36、勝率は66.39％と、ベース戦略のパフォーマンスに近い数値を維持していることが確認できました。
これは、取引を間引いても戦略の特性が崩れず、むしろ安定性が際立つことを示しています。こうした結果は、戦略が「取引履歴の一部に依存していない」ことを裏付けるものであり、堅牢性の高さを示す良い傾向です。
このように、What if テストを通じて戦略のパフォーマンスを確認することで、戦略が特定の条件や一部の取引に過度に依存していないかを検証できます。私の場合は、利益の上位5％を削除してもプロフィットファクターが1以上あるかどうかを堅牢性テストの基準とし、さらに取引履歴を1つ飛ばした場合のパフォーマンスを目視で確認するようにしています。
これらのテストを組み合わせることで、戦略の安定性をより確信でき、実運用に向けた信頼性を高めることが可能になります。つまり、What if テストは単なる「条件変更の遊び」ではなく、戦略の本質的な強さを見極めるための重要なプロセスなのです。
What if テストの注意点
What if テストは戦略の堅牢性を確認するために非常に有効ですが、実施方法や結果の解釈を誤ると、かえって戦略の評価を歪めてしまう危険があります。
特に、戦略のタイプによってテストの厳しさが異なることや、テストを「バックテストの結果を良く見せるための手段」として使ってしまうことには注意が必要です。ここでは、代表的な2つの注意点を取り上げて解説します。
戦略タイプごとのテスト基準の違い
What if テストを行う際には、戦略のタイプによって評価基準を変える必要があります。ミーンリバージョン戦略は勝率が高いため、上位5％の利益を削除しても各評価項目に影響が出にくいです。
一方で、ブレイクアウト戦略は勝率が一般的に30～40％程度と低く、少数の大きな利益に依存する構造を持っています。そのため、上位5％の利益を削除するとパフォーマンスが大きく崩れ、別の記事で作成したNasdaqブレイクアウト戦略ではプロフィットファクターが0.76と大幅に悪化しました。
このように、戦略の特性に応じて「どのテストを重視するか」を柔軟に考えることが重要です。
バックテスト結果を良く見せるためだけのテストは危険
もう一つの注意点は、バックテストの結果を良く見せるためだけにテストを利用してしまうことです。例えばRSI2戦略では、月曜と火曜の成績が悪く、水曜から金曜に利益を出す傾向がありました。そこで月曜と火曜の取引を排除すると、バックテストのパフォーマンスは大幅に向上し、資産曲線は非常に綺麗になります。
しかしこれは単に「悪い部分を削除して結果を美化しただけ」であり、カーブフィッティングの典型的な原因です。こうした調整は戦略改善のアイディアとして参考にすることはできますが、実運用に直結させるべきではありません。
特に、世の中にはこのような方法で異常に良いバックテスト結果を作り出し、それを販売しているケースも存在します。悪い取引だけを排除するテストには意味がなく、むしろ将来の運用リスクを高めるため、十分に注意する必要があります。
まとめ
What if テストは、戦略が特定の条件や一部の取引に依存していないかを確認するための重要な堅牢性テストです。曜日の制御や利益上位の取引削除、取引履歴の間引きなどを通じて、戦略の安定性を見極めることができます。
大切なのは、テストを「結果を美化するため」に使うのではなく、戦略の本質的な強さを確認するために活用することです。今回のような検証は専用ツールだけでなく、取引履歴さえあればエクセルやスプレッドシートでも簡単に実施可能です。実際に運用を行う前に、ぜひ試してみてください。
次回は、堅牢性テストの一環として Other Currency テスト を解説します。異なる通貨ペアで戦略を検証することで、より広い視点から堅牢性を確認する方法を紹介しますので、ぜひ続けてご覧ください。
→ Other Currency テストとは
