将棋フリーソフト レーティング

Bonanzaの公開から始まり、GPSshogi, Apery, YaneuraOu, Usapyon2, Silent Majority, 技巧といった強豪ソフトの相次ぐ公開により、将棋フリーソフトの世界は劇的に変化しました。各ソフトの実力はfloodgateで垣間見ることができますが、（１）各ソフトがどのようなハードで動いているのかよくわからない、（２）参入しているPCはハイエンドのものが多く、身の回りのPCとはスペックが違いすぎる、（３）対局数も十分でなく統計誤差が大きい、などの理由で、普通のPCで動かしたときのソフトの強さの定量的評価が分からないのが不満でした。チェスの世界ではCCRLで、フリー・有料ソフトの統計的な解析がなされているので、将棋でも対応するサイトを専門家が作られることを期待していました。しかし、待っておりましても結局どなたもおつくりになりません。しびれを切らせた結果、素人の私が僭越ながら思い切って挑戦してみることにしました。不十分な点が多分にあることは重々承知ですが、将来の本格的なレーティングサイトに向けての踏み台になればよいと思っています。

レーティングとは、社会における人間の評価と似ていて、住んでいる社会、今の場合は対局相手の選択に依存する相対的なものだと認識しています。今のところ、上位はやねうら王と各開発者が発表している評価関数の組み合わせになっていますが、Gikou2, nozomi, なのは、うさぴょん２など異なる系列のものも混ざっており、その中での評価することになります。対局相手の選び方は考えているソフトに近いレートを持つものから最低５個（５００局）程度選び、異なる系列のソフトが有れば多少離れていてもそちらを優先する、という方針です。このサイトでは統計誤差を表示していますが、それより対局相手の選択による変動のほうが大きいと思います。その意味では私的なレーティングであり絶対的な意味があるわけではないことをご理解ください。

レーティング表に入れるソフトの選択基準はいまのところ (1) 公開されている (2) ある程度の独自性がありそう、ということにしています。リストに漏れている有力ソフトがあるようでしたらお知らせください。

各ソフトのレーティングの算出と統計誤差評価は専門家と相談してBradley-Terry modelを用いた推定法で行っています。コンピュータ将棋の解析についてはこちらもよく参考にさせていただいています。

基準となるソフト（今はApery_twig）のレーティングは手で与える必要があります。その値は任意なので、ここではキリの良い数字3250を与え、全体のレーティングをfloodgateで見るような値に調整しています。テスト機における各ソフトのレートがここにあげている数字になっているわけではありません。