システムトレードで最も恐ろしい失敗は、「バックテストでは完璧に見えたのに、実際に運用したら通用しなかった」というものです。その原因のほとんどは、戦略が過去のデータに過剰に適合してしまう「カーブフィッティング（過学習）」にあります。
この失敗を防ぐために不可欠なのが、堅牢性（ロバストネス）テストです。堅牢性とは、戦略が多少の条件変化や想定外の値動きに対しても、大きく崩れずに機能し続ける性質のこと。過去を完璧に再現できなくても、未来の市場で利益を残せる可能性が高い戦略、それが「堅牢な戦略」です。
このページは、当サイトが解説している堅牢性テストの「地図」です。それぞれのテストが何を確かめるものなのか、そしてどういう順番で使えばよいのかを整理し、各解説記事への入口をまとめています。どのテストから読めばよいか迷ったら、まずここを読んでください。
堅牢性テストは「2つの層」で考える
堅牢性テストにはたくさんの種類がありますが、当サイトでは大きく2つの層に分けて考えています。順番そのものは絶対ではありませんが、この2層構造を意識すると、効率よく戦略を選別できます。
第1層：基礎テスト（軽い・まず全候補にかける） 比較的短時間で実行でき、考え方も理解しやすいテストです。まずはこれらで、多くの戦略候補をふるいにかけます。
第2層：上級テスト（重い・最後に絞った候補だけにかける） 実行に時間がかかり、統計的な考え方もやや難しいテストです。第1層を通過した少数の有望な戦略にだけ、最後の関門として課します。
なぜこの順番なのか。理由は2つあります。第一に、上級テスト（モンテカルロ、SPP、ウォークフォワード）は、初めての方には理解が難しい。まず基礎テストで堅牢性の考え方に慣れるのが自然です。第二に、上級テストは実行に時間がかかります。全候補にいきなり重いテストをかけるのは非効率で、軽いテストで絞ってから重いテストにかけるのが現実的です。
全体の流れ（当サイトの検証フロー）
当サイトで戦略を検証し、運用に乗せるまでの流れを、図にするとこうなります。
重要なのは、最後の「総合的に目視で最終判断」の部分です。堅牢性テストは、どれか一つの結果だけで合否を機械的に決めるものではありません。複数のテストを通過した戦略が複数残ったとき、私はモンテカルロの資産曲線の広がり、SPPの分布、ウォークフォワードの結果などを見比べて、最終的にどれを運用するかを判断しています。そして、ポートフォリオを組むときは、戦略同士が低相関であることも選択の重要な要素になります。
第1層：基礎テスト
アウトオブサンプルテスト
過去データを「開発用（インサンプル）」と「検証用（アウトオブサンプル）」に分け、開発に使っていない未知の期間で戦略が通用するかを確かめる、最も基本的なテストです。堅牢性テストの出発点として、まずここから理解するのがおすすめです。
What if テスト
「もし特定の曜日を除いたら」「もし大きな利益の取引がなかったら」といった仮定を加え、戦略が特定の条件や少数の取引に依存していないかを確かめます。取引履歴さえあればエクセルでも実行でき、比較的とっつきやすいテストです。
マルチマーケット分析
ある銘柄で作った戦略を、関連する別の市場や別の時間足でも試すテストです。特定の価格系列だけに過剰適合していないかを確かめます。「S&P500で作った戦略が、日経やDAXでも通用するか」といった検証です。
第2層：上級テスト
モンテカルロテスト
取引の順序を入れ替えたり一部をスキップしたりして、戦略が「取引の巡り合わせ（運）」に対してどこまで耐えられるかを検証します。特に「最悪ケースでどこまで沈むか」を教えてくれる、当サイトが最重要視するテストです。
SPP（システムパラメータ・パーミュテーション）
パラメータの値を上下に揺さぶって全組み合わせをテストし、その「中央値」から戦略の本当の実力を見抜きます。「一番成績の良いパラメータ」を選ぶことに潜む、カーブフィッティングの罠を見抜くためのテストです。
ウォークフォワード最適化
最適化と検証を、期間をずらしながら何度も繰り返すテストです。アウトオブサンプルテストをより実運用に近い形に発展させたもので、上級テストの中でも特に実践的な手法です。
（※こちらの記事は現在準備中です。近日公開予定です。）
一つのテストで判断してはいけない
最後に、堅牢性テストで最も大切な考え方をお伝えします。それは、どれか一つのテスト結果だけで、戦略の良し悪しを判断してはいけないということです。
当サイトでは、Step.1〜6シリーズで構築したサンプル戦略（S&P500のRSI＋ADX戦略）を、実際に複数のテストにかけてみました。その結果、この戦略はモンテカルロテストでも、SPPでも、通過できませんでした。しかも2つのテストは、それぞれ「取引の巡り合わせに弱い」「パラメータを動かすと不安定」という、別々の弱点を指摘していたのです。
もし片方のテストしか実施していなければ、もう片方の弱点は見逃していたでしょう。複数の角度から光を当てて初めて、その戦略の本当の姿が見えてきます。見栄えの良いバックテストの数字に惚れ込むのではなく、あらゆる角度からストレスをかけ、それでも生き残る戦略だけを運用に乗せる。それが、市場で長く生き残るための道です。
各テストの詳しい解説は、上のリンクからご覧ください。まずは第1層の「アウトオブサンプルテスト」から読み進めるのがおすすめです。