持ち時間による勝率の変動

ソフトのレーティング計測でお世話になったtoshiさん（@snooze1mitsuya ‏）が持ち時間によって勝率がどのように変動するのか実験されました。他の方がやられたデータでブログを書くのも何なのですが、大変興味深いデータだと思いますので紹介させていただきます。

用いられたソフトはYaneuraou+野生の読み太v1.1 vs Yaneuraou+elmo-WCSC27で持ち時間はそれぞれ一手0.1秒、3秒、12秒になっています。toshiさんが使用されているPCのCPUはryzen 1700 (8スレッド)で一手３秒が私の環境での一手５秒に相当しています。

0.1秒

野生の読み太 234-2-173 elmo (R差52)

3秒

野生の読み太 222-13-174 elmo (R差41)

12秒

野生の読み太 212-6-191 elmo (R差17)

それぞれ約400局ですので統計誤差は１σが約17、0.1秒と3秒の差はほぼ統計誤差の範囲内、12秒は2σ程度のレート差があります。0.1秒と12秒の差が思いの外少ないのが印象的です。elmo絞りをすると長時間で強くなる傾向があるようなのですが、野生の読み太評価関数もelmo絞りなので、持ち時間による変動があまりないということなのかもしれません。一般に短時間と長時間でどのように勝率が変動するのかについては別に調べたほうが良いと思っています。

---

その後、他の組み合わせも測定されています。

yaselmo vs elmo

3秒

yaselmo 528 - 48 - 224 elmo (R差138)

1秒

yaselmo 513 - 37 - 250 elmo (R差118)

0.1秒 (uuun計測)

yaselmo 258 - 5 - 137 elmo (R差108)

---

８月５日

yaselmo vs 野生の読み太

3秒

yaselmo 494-49-277 (R差87)

上記の測定も入れると

野生読み太 <-- 41 --> elmo

yaselmo <-- 87 --> 野生読み太

yaselmo <-- 118 --> elmo

41+87=128なのでyaselmoとelmoの差は10。統計誤差の範囲で相性問題がない事がわかる。この持ち時間で相性問題の比較的統計制度の良い検証ができた例は初めて見ました。