学习团队竞争博弈中的全局纳什均衡：广义虚拟交叉博弈方法
摘要
自博弈(SP)是竞争性游戏中常用的多智能体强化学习框架。尽管在实证中取得成功，但SP的理论特性仅限于双玩家设置。针对合作智能体团队相互竞争的团队竞争游戏，本文展示了一个反例：SP无法以高概率收敛到全局纳什均衡(NE)。
策略空间响应预言机(PSRO)是另一种通过迭代学习对先前策略的最佳响应(BR)来寻找NE的框架。通过学习团队BR，PSRO可以直接扩展到团队竞争游戏且保持收敛特性不变，但其从头开始的重复训练使其难以扩展到复杂游戏。
本研究提出广义虚拟交叉博弈(GFXP)，这是一种继承了两个框架优势的新算法。GFXP同时训练基于SP的主策略和反制种群。主策略通过虚拟自博弈和与反制种群的交叉博弈进行训练，而反制策略则作为对主策略检查点的BR进行训练。
在矩阵游戏和网格世界领域评估GFXP，结果显示其实现了最低的可开发性。进一步在具有挑战性的足球游戏中进行实验，GFXP以超过94%的胜率击败了现有最佳模型。
技术内容
该研究涉及以下核心技术要素：
多智能体强化学习框架：针对团队竞争博弈设计的新型训练范式
收敛性分析：通过反例证明传统自博弈方法在团队竞争场景中的局限性
算法架构：
- 主策略训练：结合虚拟自博弈和交叉博弈
- 反制种群机制：针对主策略检查点训练最佳响应
- 并行训练框架：同时优化主策略和反制策略
评估指标：采用可开发性(exploitability)作为核心评估指标，衡量策略与纳什均衡的差距
实验验证：在矩阵游戏、网格世界和复杂足球游戏环境中进行系统验证
实现效果
该方法在复杂环境中展现出显著优势：
- 在理论环境中达到最低可开发性
- 在足球游戏中实现94%以上的胜率
- 有效解决了团队竞争博弈中的收敛问题
[abs][pdf][bib]
