创造出最强麻将 AI 的微软亚研院团队，竟然没有一个线 日，微软全球执行副总裁沈向洋在世界人工智能大会的主论坛上宣布，微软亚洲研究院（以下简称亚研院）创造出了世界上最强的麻将 AI，Suphx（超级凤凰）。
今年 6 月，Suphx 成为首个在国际知名的专业麻将平台「天凤」上荣升十段的 AI 系统。沈向洋表示，这是目前 AI 系统在麻将领域取得的最好成绩，其实力已经超过了该平台公开房间顶级人类选手的平均水平。
「天凤」是一家创办于 2006 年的在线麻将对战平台，规则完善，且有着专业的段位升级系统。目前平台上在全球范围内已有近 33 万名麻将玩家，其中有很多专业选手。「天凤」对战平台分为「特上房」和「凤凰房」两种竞技房间。前者对四段以上所有玩家免费开放，最高段位为十段，后者则仅对七段以上的人类付费玩家开放，最高段位为十一段「天凤位」，但该房间目前暂不允许 AI 参与。自 2006 年平台上线以来，达到十段的选手约有 180 位，现役仅有十几位。而在「凤凰房」，达到四人麻将「天凤位」的高手仅有 13 人。
自从 2016 年 AlphaGo 击败李世乭以来，人工智能在游戏领域的应用就一直饱受关注，且随着科技巨头们对人工智能的不断加码，越来越多的棋类游戏和电子竞技游戏成为了 AI 能力的试验田。
根据游戏信息暴露的程度，AI 研究者大多把游戏分为两大类，一是完美信息游戏（Perfect-Information Games），即所有游戏参与者都能随时访问所有关于游戏（以及对手）的状态和可能延续的信息；二是不完美信息游戏（Imperfect-Information Games），即游戏参与者不能掌握所有信息，且各个对局者所掌握的信息不对称。
扑克、麻将、桥牌，还有包括星际争霸 2 和 Dota2 等地图不完全公开的电子游戏，都属于不完美信息游戏。2017 年到 2019 年，卡内基梅隆大学（CMU）发布的 Libratus 和与 Facebook AI 合作发布的 Pluribus 分别击败了两人无限注德州扑克和六人不限注扑克的人类顶级玩家，由此正式开启了 AI 学界对不完美信息游戏的征程。
微软本身是一家全球顶级的游戏公司，旗下也有着《帝国时代》等经典即时战略类游戏，但这次亚研院却选择了更为传统的全民类棋牌游戏麻将。对于这次亚研院对游戏的选择，刘铁岩对极客公园表示，亚研院对其他电子游戏也有关注，但在内部，他们玩笑称「即时战略类游戏更『游戏』，而棋牌类游戏更『AI』」，意思是即时战略类电子游戏对选手有着控制键鼠等设备的「游戏感」要求，受到手速、反应速度等方面的影响，「当我们把一些不必要的人和机器的差别抹掉，体现出的更多是智慧、智能的作用」。因此亚研院选择在棋牌类游戏里寻求 AI 上的突破。
首先，麻将对战中存在着巨大的状态空间。136 张麻将牌的排列组合可能性远远高于 52 张的德州扑克，且在同一个玩家两次出牌之间，夹杂了其他 3 个玩家的出牌和自己摸的底牌，可能出现的不同局面数目非常巨大。更大的变数是，在麻将中，4 位玩家的出牌顺序是不固定的，任意一位玩家的「吃碰杠」都可能使出牌顺序突然改变，导致游戏树不规则且动态变化。这些特点使麻将很难直接利用 AlphaGo 等棋盘游戏 AI 常用的蒙特卡洛树搜索算法。
其次，在不完美信息的棋牌游戏中，麻将玩家只能看到手上 13 张手牌和之前已经打出来的牌，因此最多会有超过 120 张未知牌。一方面，由于随机性太大，玩家即便在出牌决策中能估测出对方玩家手牌、底牌等不可见的牌，也无法避免不确定性对于游戏走向的影响。这给 AI 模型的训练带来很大挑战：AI 模型很难发现已知牌面信息和最优打法之间的逻辑链路。另一方面，丰富的隐藏信息导致游戏树的宽度非常大，对树搜索算法的可行性提出了进一步的挑战。
最后，麻将有着复杂的奖励机制。日本麻将的规则是「无役不能和牌」，多样的特殊牌面构成了复杂的「役种」和番数计算规则。一轮游戏共包含 8 局，单局得分与役种和番数相关，最后根据 8 局的得分总和进行排名，来形成最终影响段位的点数奖惩。因此有时麻将高手会策略性输牌，例如，在第 8 轮时如果 A 玩家已经大比分领先第二名，雷火竞技他可能会故意放炮给排名第四的玩家，来防止总分被排名第二的玩家反超，保证自己在最终结算时获得最大的点数奖励。这为构建高超的麻将 AI 策略带来了额外的挑战，AI 需要审时度势，把握进攻与防守的时机。
首先，针对麻将巨大的状态空间，亚研院的研究团队在算法中引入了对探索过程多样性进行动态调控的机制，这使得 Suphx 能够比传统算法更充分地试探牌局状态的不同可能。另一方面，一旦某一轮的底牌给定，其状态子空间会大幅缩小；所以研究团队让 Suphx 在推理阶段根据本轮的牌局来动态调整策略，对缩小了的状态子空间进行更有针对性的探索，进而更好地根据本轮牌局的演进做出自适应决策。
另外，对于麻将复杂的牌面表达和计分机制，研究团队还利用全盘预测技术搭建起每轮比赛和 8 轮过后的终盘结果之间的桥梁。通过设计，这一预测器可以理解每轮比赛对终盘的不同贡献，从而将终盘的奖励信号分配回每一轮比赛之中，以便对自我对战的过程进行更加直接而有效的指导，并使得 Suphx 可以学会一些掌控全局的高级技巧。
可是如此投入精力做出的游戏 AI 究竟有什么用？麻将仅仅四人的对弈，牌数也是数量明确且有限的，在这样的环境里训练出的模型和系统，是否能在复杂度远远高于游戏的真实世界里应用？
面对这一问题，刘铁岩说道：「在做基础科学研究的时候，首先我们希望能在一个相对可控的环境里淬炼技术，当我们找到最好的技术后，去落地的时候，还有所谓的『最后一英里的创新』（last mile innovation）。」
目前，Suphx 相关研究带来的技术创新还没有全部应用到实际落地场景中，但已经有了部分应用。亚研院与华夏基金太平资产等金融机构一起做了一些「很大胆」的实盘投资实验，涉及资金上亿人民币，「取得了非常好的效果，在业界遥遥领先」，其中就使用了自适应决策的技术。刘铁岩解释说，通过历史的金融交易数据离线训练出的 AI 模型，在今天的市场上有很多变数，包括经济走势、 国家政策和世界范围内互动模式的差异等等，因此动态适应今天的场景就非常重要。「这与 Suphx 里的自适应决策是一脉相承的」。
在 Suphx 的开发和研究中，最有价值的部分就是以上介绍的，基于麻将特性，研究团队在深度强化学习基础上做出的改进（自适应决策、先知教练和全盘奖励的预测机制）。现阶段，深度强化学习是业界最为有效的一种机器学习方法，但它在具体解决一些复杂问题的时候还需要进一步改进，而 Suphx 就是这样一种探索。半年来，Suphx 在与人类选手的对战中不断改进，背后的数据对团队的算法研究有很大的帮助。刘铁岩表示，不久后，亚研院会以论文的方式分享相关的技术细节。