マルチエージェント強化学習

機械学習および データマイニング
問題 分類 クラスタリング 回帰 異常検知 相関ルール（英語版） 強化学習 構造化予測（英語版） 特徴量設計（英語版） 表現学習（英語版） オンライン学習 半教師あり学習 教師なし学習 ランキング学習（英語版） 文法獲得（英語版）
教師あり学習（分類 • 回帰） 決定木（英語版） アンサンブル （バギング、ブースティング、 ランダムフォレスト） k-NN 線形回帰 単純ベイズ ニューラルネットワーク ロジスティック回帰 パーセプトロン 関連ベクトルマシン (RVM)（英語版） サポートベクトルマシン (SVM)
クラスタリング BIRCH（英語版） 階層的（英語版） k平均法 期待値最大化法 (EM) DBSCAN OPTICS（英語版） 平均値シフト（英語版）
次元削減 因子分析 CCA ICA LDA（英語版） NMF PCA t-SNE
構造化予測（英語版） グラフィカルモデル ベイジアンネットワーク CRF HMM
異常検知 k-NN 局所外れ値因子法
ニューラルネットワーク オートエンコーダ ディープラーニング DeepDream 多層パーセプトロン RNN LSTM GRU 制約ボルツマンマシン（英語版） SOM CNN
強化学習 TD学習 Q学習 SARSA MARL
理論 偏りと分散のトレードオフ 計算論的学習理論（英語版） 経験損失最小化（英語版） オッカム学習（英語版） PAC学習 統計的学習（英語版） VC理論（英語版）
学会・論文誌等 NIPS（英語版） ICML（英語版） ML（英語版） JMLR（英語版） ArXiv:cs.LG
応用 学習物理学
全般 統計学および機械学習の評価指標
Category:機械学習 Category:データマイニング
表 話 編 歴

マルチエージェント強化学習 (MARL) とは、単一の共有環境下にいる、複数の学習エージェントの挙動を研究する強化学習の一分野である。それぞれのエージェントは、自身の報酬に動機付けられており、自己利益を増大するために行動する。この利益が他のエージェントと相反する環境も存在し、複雑なグループダイナミクスを引き起こす。

マルチエージェント強化学習は、マルチエージェントシステムやゲーム理論と密接に関係しており、特に繰り返しゲームと関係が深い。MARLの研究においては、報酬最大化の理想的アルゴリズムの探求と、より社会学的な概念群を結びつける。単一エージェントの強化学習の研究は一体のエージェントの報酬最大化アルゴリズムに関心を向けるが、MARLでは協調、互恵性、平等性、社会的影響、言語、統計的差別、といった社会学的指標を定量化し、評価する。

定義

単一エージェントの強化学習と同じように、MARLでは、マルコフ決定過程（MDP）の一種としてモデル化することが多い。

• エージェントの集合: ${\displaystyle I=\{1,...,N\}}$
• 環境の状態空間: ${\displaystyle S}$
• 各エージェントの行動空間: ${\displaystyle {\mathcal {A}}_{i}}$, ${\displaystyle i\in I=\{1,\dots ,N\}}$,${\displaystyle {\mathcal {A}}={\mathcal {A}}_{1}\times \cdots \times {\mathcal {A}}_{N}}$
• 状態遷移確率: ${\displaystyle P(s'|s,\mathbf {a} )=\Pr(s_{t+1}=s'\mid s_{t}=s,\mathbf {a} _{t}=\mathbf {a} ):{\mathcal {S}}\times {\mathcal {S}}\times {\mathcal {A}}\to [0,1]}$
• 即時結合報酬: ${\displaystyle \mathbf {R} (s,\mathbf {a} ,s'):{\mathcal {S}}\times {\mathcal {A}}\times {\mathcal {S}}\to \mathbb {R} ^{N}}$

チェスや囲碁といった、完全情報の設定下では、MDPも完全観測である。一方、実世界での応用である自動運転など、不完全情報の設定下では、それぞれのエージェントがアクセスできる観測は現在の環境の状態に対して限られたものとなる。部分観測の設定では、一般のケースでは、部分観測確率ゲームがモデルとして利用される。また、協調型のケースでは、分散型部分観測マルコフ決定過程（Dec-POMDP）がモデルとして利用される。

協調と競争

複数エージェントが単一の共有環境で行動する際、エージェント同士の利益は一致する場合も、一致しない場合もある。MARLでは全てのパターンに対して取り扱うことができ、それらがエージェントの振る舞いにどのような影響を与えるか調査できる。

• 純粋競争型では、エージェントの報酬は完全に相反し、お互いに対立したプレイとなる。
• 純粋協力型では、すべてのエージェントは完全に同じ報酬を受け取るため、お互いに協力するプレイととなる。
• 混合和型は、競争と協力の両者の要素を組み合わせたすべてのゲームをカバーする。

混合和型

複数エージェントが関与する多くの実世界シナリオは協調と競争の両要素を持つ。例えば、複数の自動運転車がそれぞれの経路を計画しているとき、それぞれはバラバラで背反でない利益を持っている。それぞれの車は目的地にたどり着く時間を最小化しようとしているが、全ての車が交通事故を回避したいという共通利害を持っている。

3人以上のゼロサム設定では、しばしば混合和設定と似たような特性を呈する。それぞれのエージェントのペアは非ゼロの効用和を持つためである。

混合和設定は囚人のジレンマといった古典的な戦略型ゲーム（行列ゲーム）や、より複雑な逐次社会的ジレンマ（SSDs）、Among Us、Diplomacy、StarCraft IIといった娯楽用ゲームでも研究できる。

混合和設定はコミュニケーションと社会的ジレンマを引き起こしうる。

社会的ジレンマ

ゲーム理論では、MARLの多くの研究は、例えば囚人のジレンマや、チキンゲームや鹿狩りゲームのような、社会的ジレンマを中心に展開している。

ゲーム理論の研究はナッシュ均衡や、単一エージェントがとるべき理想的方策は何かということに関心を向けるが、MARLの研究は、複数エージェントが試行錯誤過程の中でどのように理想的方策を獲得するかということに目を向ける。エージェントを訓練するために使われる強化学習アルゴリズムは自身の報酬の最大化を行うが、エージェントの利益と集団の利益の衝突が活発な研究の主題となっている。

環境のルールを修正する、内発的報酬を追加するなど、協調を促す様々なテクニックが研究されてきた。

自動カリキュラム

自動カリキュラムとは、特にマルチエージェントの実験において顕著に生じる強化学習の概念である。エージェントが性能を向上させるに従って、エージェントが環境を変化させ、この環境の変化が自身や、他のエージェントに影響を与える。このフィードバックループは、様々な区別される学習の段階を引き起こす。このそれぞれは前の段階に依存している。この学習の積み重なる階層を自動カリキュラムと呼ぶ。自動カリキュラムは特に各エージェントのグループが対立するグループの現在の戦略に対抗しようと競い合う敵対的設定で顕著である,。

かくれんぼゲームは、敵対的設定において自動カリキュラムが生じる分かりやすい例である。この実験では、seekerのチームとhiderのチームが対戦する。一方のチームが新しい戦略を習得するたびに、相手チームはそれに対して最も効果的な対抗策をとるよう自らの戦略を適応させる。hiderが箱を使ってシェルターを作ることを学習すると、seekerはスロープを使ってそのシェルターに侵入することを学習して応答する。それに対し、hiderはスロープをロックすることでseekerに使わせないようにする。するとseekerは、ゲームのグリッチを悪用してシェルター内に侵入する「ボックスサーフィン」によってこれに応答する。学習の各「レベル」は、直前のレベルを前提として現れる創発現象である。これにより、直前の行動に依存した一連の行動の積み重ねが生じる。

強化学習実験における自動カリキュラムは、生命の進化の段階や、人類の文化の発達に喩えられる。進化における主要な段階の一つは20億〜30億年前に起こり、光合成を行う生命体が大量の酸素を生成し始め、大気成分の割合を変化させた。進化の次の段階では、酸素呼吸を行う生命体が進化し、最終的に陸上の哺乳類や人類へとつながった。これらの後半の段階は、光合成の段階によって酸素が広く利用可能になった後に初めて可能となったものである。同様に、人類の文化も、紀元前10000年頃の農業革命によって得られた資源や知見なしには、18世紀の産業革命を迎えることはできなかったとされる。

アルゴリズム

一般に、マルチエージェント強化学習アルゴリズムは、PPOやDQN（深層Q学習）といった一般的な強化学習アルゴリズムを拡張したものである。協調的なシナリオにおいては、これらのアルゴリズムはエージェント間のコミュニケーションを特徴とする。しばしば、エージェントが協調して行動し累積報酬を最大化することを学習できるよう、集中学習・分散実行(Centralized Training, Decentralized Execution, CTDE)という手法が用いられる。

応用

マルチエージェント強化学習は、科学・産業分野における多様な用途に応用されている:

限界

マルチエージェント深層強化学習には、本質的にいくつかの困難が存在する 。環境がもはや定常的ではなくなるため、マルコフ性が破られる。すなわち、遷移や報酬は、あるエージェントの現在の状態のみに依存するわけではなくなる。

関連文献

Scholiaにはマルチエージェント強化学習に関するトピックプロフィールがあります。

• Stefano V. Albrecht, Filippos Christianos, Lukas Schäfer. Multi-Agent Reinforcement Learning: Foundations and Modern Approaches. MIT Press, 2024. https://www.marl-book.com
• Kaiqing Zhang, Zhuoran Yang, Tamer Basar. Multi-agent reinforcement learning: A selective overview of theories and algorithms. Studies in Systems, Decision and Control, Handbook on RL and Control, 2021.
• Yang, Yaodong; Wang, Jun (2020). “An Overview of Multi-Agent Reinforcement Learning from Game Theoretical Perspective”. arXiv:2011.00583 [cs.MA].

出典