競馬の予測勝率をどう確かめる？確率の校正とBrierスコアの計算

勝率20％が外れても、その一回で予測を否定しない

20％という数字は、同じ見積もりを付けた多数の対象のうち、概ね5回に1回の割合で事象が起きるという意味です。次の1回を必ず当てる約束でも、5回のうち必ず1回勝つという周期でもありません。

scikit-learnの公式説明でも、校正は予測確率と、同程度の予測を付けた群の実際の割合との対応として説明されています。競馬なら「予測勝率が近い馬を集めたとき、1着になった割合を確認する」と読み替えられます。

一方、順位を付けるための指数には、そのまま確率として解釈できないものがあります。数値が0〜100に収まることや、レース内1位であることだけでは、百分率にはなりません。提供元が勝率を公表しているのか、単に能力の相対値なのかを最初に確かめてください。

当サイトの原本にない勝率や変換式を作って、配信の精度として見せることもしません。以下はすべて計算手順のための架空教材であり、実在レース・実績・提供サービスの予測値ではありません。

予測確率の帯ごとに、件数と実測を並べる

表の横軸は帯の中心ではなく平均予測

発走前に保存した各予測を、あらかじめ決めた確率帯へ分けます。次は、別々のレースから1頭ずつ選んだ80件という架空例です。境界をまたいだ二重集計を防ぐため、上端を含まない帯で区切っています。

中央の群は、平均では20％と予測した一方、実際は2÷20＝10％でした。この資料では過大に見積もった方向です。右端の群は9÷20＝45％で、過小に見積もった方向です。ただし20件なら勝数が1増えるだけで5ポイント変わります。

この表だけで次回の20％を10％へ置き換えるとは決めません。

帯の中心をそのまま平均予測にしてはいけません。たとえば15〜25％帯の大半が16％付近なら、その群の平均も16％付近です。件数、平均予測、実測を一組で残し、帯だけがきれいな図を作らないようにします。

選んだ馬と全出走馬では、評価対象が違う

1レース1頭を選んだ記録は、その選択条件についての評価です。全出走馬を集めた検証と混ぜると、低確率の馬の比率などが変わります。同じレース内の馬の勝敗は、互いに無関係な試行でもありません。誤差の幅を計算するときも、レース単位のまとまりを考慮する必要があります。

母数の小ささをどう読むかは、競馬の的中率とサンプル数を参照してください。帯の幅を結果に合わせて何度も変えると、都合のよい一致を作りやすくなります。変更した版と理由も残します。

二値Brierスコアを4件の例で計算する

ここでは「対象馬が1着になる」を1、ならないを0とする二値の定義を使います。予測確率をp、結果をyとし、各件の(p−y)²を合計して件数で割るのが二値Brierスコアです。0に近いほど、この定義での誤差が小さくなります。

scikit-learn公式の定義と尺度も確認できます。

合計は0.46、4で割ると0.115です。同じ4件へ一律25％と予測した比較案は、(0.75²＋0.25²＋0.25²＋0.25²)÷4＝0.1875になります。これは計算教材の比較であり、4件で予測法の優劣を証明したものではありません。

この指標では、強く言い切って外す影響も見えます。同じ結果へ0.90、0.80、0.20、0.10と予測した別案なら、(0.01＋0.64＋0.04＋0.01)÷4＝0.175です。的中したAの誤差は減りますが、外れたBの誤差が大きくなっています。

同着など、通常の「勝者が1頭」という定義に当てはまらないレースの扱いは事前に決めます。除外するなら、件数と除外条件を記録し、外れた予測だけを後から除くことはしません。

レース内の合計100％と、事後の校正を区別する

合計を合わせるだけでは正しさは分からない

勝者が必ず1頭の3頭立てを考えます。勝率50％、40％、30％では合計120％となり、同じ勝者を表す予測として整合していません。全体を1.2で割れば約41.67％、33.33％、25％になり、合計は100％になります。

ただし、これで実際の勝ち方と対応するかは別問題です。どんな偏った数値でも、割り算によって合計だけは合わせられます。元の指数を正規化しただけの値を、検証済みの勝率として扱わないでください。校正した後に合計調整を加えた場合も、最後に利用者へ出す値を保存して、その値で評価します。

一頭平均と、レース単位の多クラス指標は違う

架空の勝率50％、30％、20％で1頭目が勝ったなら、3頭の二乗誤差の合計は0.25＋0.09＋0.04＝0.38です。このレースを「どの馬が勝つか」という多クラス問題としてクラス方向に合計する尺度と、さらに3頭で割る一頭平均0.1267は同じものではありません。

公式実装でも、二値と多クラスで標準の尺度が異なる場合があります。本稿の4件で求めた0.115と、ここでの0.38を直接並べて優劣を判定しません。使った式、平均する単位、頭数、ソフトの設定を記録してください。

全頭を一括で一頭平均すると、多頭数のレースが集計へ強く効く点にも注意します。

作成・校正・評価を時系列で分けて保存する

モデルを作る期間、確率の補正を決める期間、最後に成績を調べる未使用期間を分けます。補正とは、元の予測と実測のずれを使って対応を調整することです。評価期間の結果で補正を作り、同じ期間でよくなったと報告しても、将来への確認にはなりません。

順序は「過去で作る→その後の資料で補正を決める→さらに後で固定した出力を評価する」です。時系列分割の公式説明が扱うように、未来の資料で学習して過去を評価する逆転を避けます。同じレースの行はまとめ、発走後に確定する情報を事前入力へ紛れ込ませません。

保存する最小項目は、レース識別情報、馬番、予測保存日時、モデル・補正版、最終確率、結果、対象に含めた理由です。取消や欠測の扱い、比較基準も残します。外れた予測や見送りを削らず、採用した一部だけの検証ならその範囲を明記します。

全体の分割手順は競馬指数の検証方法へつながります。

校正器の作り直しや帯の変更を繰り返すと、評価期間そのものが調整用に変わります。そこで見つけた改善案は次の版とし、次の未使用期間で確認します。古い版と新しい版を混ぜた成績を、一つの精度として示さないことが大切です。

よくある質問と、次回へ持ち越す判断

次回の予測では、当落を見てから説明を直す前に、事前に何％と保存したかを確かめます。校正を調べるための記録と、買い目の採用判断を分けると、修正すべき箇所が見えやすくなります。専門解説の記事一覧では、指数の比較や資金の記録も確認できます。