野良評価関数のレーティング
野生の評価関数についてレート表に載せるべきかどうか、アンケートを実施したところレートを出したほうが良いというご意見が半数近くになりました。その一方で定跡を用いて育成した定跡について定跡をonにすべきかどうかなど、微妙な問題点が色々あるので慎重であるべきだ、というご意見もありました。
まずは、よせられた意見に一番簡単に対応する方法としてユーザーにより作られた評価関数に対して別表をここに作りそのうち全体の表にのせた方が良いと私が判断したものを全体の表に移動することに致します。レーティング計算の基準としてはelmo-wcsc27をR3960に設定してあります。
ユーザーによる評価関数は作成が簡単だということも手伝って多数出現しています。一つの評価関数のレートをある程度の精度で出そうとすると少なくとも数日は必要であり、私のところで全体を網羅することは不可能です。したがって、ネットなどでとくに評判になり自分のパソコンと電気代を使って調べたほうが良いかなと判断するものついては私が調べますが、それ以外の評価関数でぜひこの表に載せるべきだと思われるものがありましたら、下記の寄稿規定に従ってこのサイトのContactページから対局結果をお送りいただければ、統計処理などはこちらで行ってレートをこちらに載せることに致します。(対局結果、統計処理のスクリプトはこちらを参照してください。)
今のところ、私のところで測定されたWCSC27以降の代表的な評価関数, elmo, elmo-qhapaq, rezero8,これに今まで測定した野良評価関数(一般ユーザーが作った評価関数)野生の読み太1.1, relmo (elmoとrezero8の50:50ブレンド), yasema10 (野生の読み太1.1とmafu10の50:50ブレンド)についてこれまで行った対局から得られたレーティングを表示します。
7/23 mafuta2のデータを追加(既に配布中止)
7/26 yaselmo (野生の読み太1.1とelmoの50:50配合した評価関数) のデータ追加。elmoに相性良く、elmoQhapaqに悪い。
7/26 一応の目安としてPonanza wcsc27のデータ(山本氏が公表したelmoとの対局結果に基づく)を追加。私が測ったものでもないのであくまでも参考記録。
7/30 ramu追加。elmoQhapaqに相性良く、elmoに悪い。yaselmoの対極。
8/1 yaselmo-ramu (yaselmoとramuを50:50配合したもの)を追加。yaselmoとramuの相性が反対だったので試験的に測定してみた。
8/4 以上簡単な調査だったけど、とりあえず野生評価関数の中ではyaselmo, ramu, relmoを代表に取り上げてレート表に入れればよいのではないかと考えた。野生の読み太系=yaselmo, まふ系=ramu, リゼロ系=relmo。この中ではとりあえずはyaselmoが一番強そうであるが、yaselmo&ramu評価関数、以前まふさんが配られていたyasemaru, mafuta2などはほぼ同じくらいの強さだった。これらをレート表に入れないのはブレンドが複雑すぎていくらでも同じようなものは作れてしまうので、強さを調べきれないと判断したからです。何れにせよ、野生評価関数がelmoを上回ってきたのは驚くべき現象で、これから将棋電王トーナメントに向けて競争が激しくなりそうです。
新しい評価関数の対局表(他のものは上記のリンクにデータがあります)eq=elmoQhapaq
yasema10:yasema10 149.5-84.5 elmo, yasema10 127.5-72.5 eq
mafuta2:mafuta2 134-64 elmo, mafuta2 138.5-61.5 eq
yaselmo:yaselmo 206-14-80 elmo, yaselmo 125-9-68 eq
ramu: ramu 113-10-77 elmo, ramu 132-4-64 eq
yaselmo-ramu (yr): yr 135-8-57 elmo, yr 145-13-74 eq, yr 152-22-144 yaselmo
データ寄稿規則(2017年7月17日)
評価関数についてはレシピがわかっているものに限定します(育成ブログなど)
レーティングを計算するため上の表に載っているどれかのソフトとの対局棋譜を400局以上取ってください。やねうら王のバージョンもできるだけ合わせてください。また対局のうち200局以上はレートの基準にしているelmoまたはelmoQhapaqとの対局にしてください。
対局条件は私のところのデータの基準である(1)一手あたりのノード数の目安として1500万~2000万ノード(i7-6700 で4スレッド一手五秒)(2)定跡=off 。ShogiGUIでの設定はこちらのelmoのものでお願いします。
これらが確認できる棋譜も必ず取ってください。(ShogiGUIのkif形式が望ましい)
データが準備できたらContact欄より勝敗をご連絡ください。棋譜の送付先はその際お知らせいたします。
寄稿は評価関数作成者あるいは第三者でも形式が整っていれば受けつけます。