1: 海江田三郎 ★ 投稿日:2016/04/02(土) 09:37:37.89 ID:CAP
http://wired.jp/2016/04/02/poker-playing-artificial-intelligence/
囲碁の勝負では人工知能(AI)が勝ったが、ポーカー用のAI開発には、囲碁にはないさまざまな課題が存在する。人間の動きが予測不可能だという点がそのひとつだ。
しかし、ポーカーを巧みにプレイできるAIの研究は各地で行われている。そしてこのほど、プロの人間のパフォーマンスにかなり「近づいた」というシステムに関する研究論文が発表された。
囲碁で世界チャンピオンに勝利したDeepMind(ディープマインド)の開発にも参加しているデイヴィッド・シルヴァーを含む、ユニヴァーシティ・カレッジ・ロンドンの研究チームは 、「不完全情報ゲームにおけるセルフプレイからの深層強化学習(Deep Reinforcement Learning from Self-Play in Imperfect-Information Games)」という論文(PDF)を公開した。
この研究では、「テキサス・ホールデム」(ポーカーの一種で、米国のカジノでは一般的)と、 単純化したポーカー「ルダック(Leduc)」をプレイできる一連の強化アルゴリズムが作成された。 研究チームによると、このAIは戦略に関する事前知識がなくてもゲームを学習することができ、ひとりで架空の試合を行うことで独学していくという。 論文によると、作成された「ニューラル・フィクティシャス・セルフプレイ(Neural Fictitious Self-Play)」法は、深層強化学習を使用して、「ゲームでの対戦経験から直接学ぶ」と説明している。ニューラルネットワークを活用しつつ、間違いから学習してゲームに勝つ方法を編み出すのだ。
研究者たちによると、作成したモデルは、ルダックではナッシュ均衡(ほかのプレイヤーの戦略を所与とした場合、どのプレイヤーも自分の戦略を変更することによってより高い利得を得ることができない戦略)をシミュレートできた。テキサス・ホールデムでも、それに近い状態を実現できたという。論文筆者である研究生のハインリッヒ氏は『ガーディアン』紙の記事で、「この手法は、戦略が求められる実世界の問題にも適用できると考えています」と語っている。 なお、2015年4月には、カーネギーメロン大学が開発したAIが、初めてテキサス・ホールデムの試合で人間と対戦している(日本語版記事)。
14日間をかけて行われたこの試合では、人間が73万2,713ドル勝って終わった 。ちなみに人間側とAI側が掛けた金額は合計で理論上1億7,000万ドルに上っている。AIが苦戦したのは、掛け金を上げていく人間への対応方法だった。人間による賭けを予測できないということは、AIがゲームを把握できていないということと同じだからだ。またAIが、手のなかにあるカードがなぜゲームに影響を与えるかを理解できないという点も、人間にとってのアドヴァンテージとなった。つまり人間にとって、コンピュータープログラムが弱い手で
ブラフをかけているかどうかを見分けるのは簡単だったのだ。