将棋ソフトのレーティングと引分率

これまでレーティングの測定のため7000局くらいの対局を自分のパソコンでやらせてきたのですが、ある種の傾向を感じることがあります。その一つとしてレーティングが高いソフト同士の対局では引分が増えているのではないかということです。まず、私のサイトでは通常の千日手以外に時間の節約のため２５６手で引分にしていることにご留意ください。したがって引分と行ってもそのまま続けていけば詰みまで行ったり、入玉の末、点数計算で勝負が付く場合も含んでおります。一応エクセルでまとめるとこんな感じになります。

この表ではソフト名に略号を使っているのでもっと詳しいソフト名が知りたい方はこのサイトのトップページを御覧ください。この表をグラフにすると以下のようになります。

強くなればなるほど引分が増えるという傾向がある程度見えていると思いうのですがいかがでしょうか。調べているソフト達がレーティングにして上下で800くらいの差が出てきたため、このような傾向が定量的に見えてきたのかなと思います。

次に、考察ですが私は将棋もコンピュータも素人なのでそれほどあてにはなりませんが、ご参考までに述べさせていただきます。勘違いなどしているようでしたらご指摘願えると幸いです。

１．レーティングが３０００以下のソフトではほとんど引分が起こっていないのは、これらのソフトは比較的古い（２０１１～１２年くらい）時期に開発されたソフトで、その頃のソフトは入玉が苦手であったと理解しています。手数が伸びる大きな要因は入玉なのでこれらのソフトでは引分は千日手以外には殆ど起こらないように見えます。レーティングが3000超あるGPSfish_minimalが引分率が低いのは、GPSfishが古い設計を引き継いでいることが原因だと私は推察しています。逆にこのレンジにいるソフトのなかではオカラ饅頭が唯一今年になって公表されたものです。このソフトは1.3%と他のソフトよりやや高い引分率で、入玉がうまくなっているのではないかと思います。

２．下の４ソフトを除くとある程度の確率で引分が発生しているのが見えます。棋力が上昇すると互いに入玉が上手になり、引分率が高まっていると考えたくなります。

３．引分率は同一ソフト同士の対局で高まっているように見えます。例えば強豪ソフトの一つであるApery_WCSC26の8スレッドと4スレッドの対局では引分率は１２％です。また、YaneuraOuの同様な対局でも引き分け率は１３％です。同一ソフトの対局は単位時間あたりに読むスピードが違うだけで他は同じ条件です。対局を時々見ていたのですが、１２０手くらいまでずっと互角に進む場合が多く、勝敗は終局間際の読みの深さで決まっているように見えました。強豪ソフトの場合はたとえ１手５秒であっても１５手くらいは読みを入れているので同じ評価関数、探索手法を用いる限り、序盤中盤で大きな失敗はせず、詰みが見えてきたあたりで始めて差が現れているようにみえます。

４．実際には強豪同士の対局では概ね同じような傾向が見られて、終盤近くまで互角に進行する場合が有意に多いように見えます。これはレーティング上位のソフトが多くの場合共通のベース（Stockfishの探索、Aperyの評価関数など）に基いていて、実装の差による効率の違いがあったとしても、実は兄弟のようなもので基本的な性質にはほとんど違いがないのではないか、と疑いたくなります。

５．この文章を書いているときに千田先生のツィートを見かけたのですが、一つの示唆として今の強豪ソフトの対局では２５６手引分ルールは短すぎるのではないかと書かれています。たしかにいくつかの対局ではあと３０～４０手もあれば決着がつきそうなものも多かったので、おっしゃる通りかもしれないと思います。例えば５００手位にのばすと上の表はどう変わるのだろうかというのは面白そうな問題だと思います。（時間がかかりそうですが）

昔からある形而上的な問題として将棋は先手（後手）必勝か、千日手・持将棋になるのかというものがあります。私がここで観察した結果はこの問題に対して示唆を与えるものではなく、今のところ「似通った設計に基づくソフトの間ではレートが高くなればなるほど持将棋に持ち込まれる可能性が大きくなっているように見える」という程度だと思います。近い将来、上で見てきた強豪ソフトとは少し違う設計をされている技巧が公表されるそうですので、引き分け率との関係をもう少し詳しく見てみたいと思います。あと、これらのソフトよりずっとレートが高いPonanzaの自己対戦では引分け率がどうなっているのか知りたいなと考えています。

追記(2016.06.08)：技巧が発表されたのでデータを取ってみたところ

自己対戦における引分け率は定跡onで持将棋11, 千日手8,

定跡offでは持将棋6, 千日手9ということで20%近くなることが確認できました。

少なくとも自己対戦においてはレーティングが高くなればなるほど引分け率が高まる、という私の主張については、確認できたと思います。一方Silent Majorityなどのたソフトとの対局では引分け率は5%以下であり、非常に低くなりました。私の論理を用いるとこれは技巧とAperyファミリーのソフトでは違いが大きいため引分け率が下がるという解釈になるのかなと考えています。