机器之心编辑部

AAAI2021最佳论文出炉北航成最大年夜赢家还有一批学术新星_论文_模子 科技快讯

第 35 届 AAAI 人工智能会议已于 2 月 2 日在线上召开。
在刚刚举行的开幕式上,组委会颁发了今年的最佳论文奖和提名奖,分别有三篇论文获奖。
个中来自北航的学者以一作身份分别得到了一篇最佳论文奖和一篇提名奖。
此外,会议还宣告了「学术新星奖」,共有多名华人得到奖项。

作为环球人工智能顶会之一,虽然受到疫情限定,但 AAAI 2021 的热度仍旧不减,本届 9034 篇提交论文的数量又创下了历史新高(去年为 8800 篇)。
个中,来自中国的 3319 篇论文数量险些是美国(1822 篇)的两倍。
在终极 7911 篇经由评审的论文中,共有 1692 篇被吸收。
今年的论文吸收率为 21%,略高于去年(20.6%)。

AAAI 2021 大会主席为微众银行首席人工智能官杨强教授,杨强教授是 AAAI 大会历史上第二位大会主席,也是担当此职位的首位华人。

最佳论文奖:两篇华人一作

本次会议共有三篇论文得到最佳论文奖项,个中两篇获奖论文的第一作者为华人学者,他们分别是来自北京航空航天算夜学的 Haoyi Zhou 和来自达特茅斯学院的 Ruibo Liu。

AAAI 2021程序委员会 Cochair Mausam公布论文奖项。

最佳论文 1:Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting论文链接:https://arxiv.org/pdf/2012.07436.pdf作者:Haoyi Zhou, Shanghang Zhang, Jieqi Peng, Shuai Zhang, Jianxin Li, Hui Xiong, Wancai Zhang机构:北京航空航天算夜学、加州大学伯克利分校、罗格斯大学、北京国网富达科技发展有限任务公司

论文择要:许多实际运用须要对长序列韶光序列进行预测,例如用电操持。
长序列韶光序列预测(LSTF)对模型的预测能力哀求很高,即能够高效捕获输出和输入之间精确的长程依赖。
近年来的研究表明,Transformer 具有提高预测能力的潜力。
然而,Transformer 存在几个严重的问题,因而无法直接应用于 LSTF,比如二次韶光繁芜度、高内存利用率以及编码器 - 解码器架构的固有局限。

为办理这些问题,该研究为 LSTF 设计了一个基于高效 transformer 的模型——Informer,该模型具备三个特色:

1)ProbSparse 自把稳力机制,其时间繁芜度和内存利用达到 O(L log L),在序列依赖对齐方面具有不错的性能;

2)自把稳力蒸馏通过将级联层输入减半来突出把稳力,并且能够高效地处理极长的输入序列;

3)只管天生风格解码器在观点上非常大略,但它会在一次前向操作中预测较长的时序序列,而不是逐步预测,这极大地提高了长序列预测的推断速率。

Informer 模型图示。

该研究在四个大规模数据集上进行了大量实验,结果表明 Informer 显著优于现有的方法,为 LSTF 问题供应了一种新的办理方案。

论文一作 Haoyi Zhou

这篇论文的作者全是华人,分别来自北京航空航天算夜学、加州大学伯克利分校、罗格斯大学等机构,个中一作 Haoyi Zhou 为北航博士。

最佳论文 2:Exploration-Exploitation in Multi-Agent Learning: Catastrophe Theory Meets Game Theory论文链接:https://arxiv.org/pdf/2012.03083.pdf作者:Stefanos Leonardos, Georgios Piliouras机构:新加坡科技设计大学

论文择要:探索 - 利用(exploration-exploitation)是多智能体学习(MAL)中强大而实用的工具,但厥后果远未得到理解。
为了探索这个目标,这篇论文研究了 Q 学习的平滑仿照。
首先,研究者认为其学习模型是学习「探索 - 利用」的最佳模型,并供应了强大的理论依据。
详细而言,该研究证明了平滑的 Q 学习在任意博弈中对付本钱模型有 bounded regret,该本钱模型能够明确捕获博弈和探索本钱之间的平衡,并且始终收敛至量化相应均衡(QRE)集,即有限理性下博弈的标准解观点,适用于具有异构学习智能体的加权潜在博弈。

该研究的紧张任务转向衡量「探索」对集体系统性能的影响。
研究者在低维 MAL 系统中表征 QRE 表面的几何形状,并将该研究的创造与突变(不合)理论联系起来。
详细而言,随着探索超参数随着韶光的蜕变,系统会经历相变。
在此过程中,给定探索参数的无穷小变革,均衡的数量和稳定性可能会发生剧烈变革。
在此根本上,该研究供应了一种形式理论处理方法,即如何调度探索参数能够可验证地产生均衡选择,同时对系统性能带来积极和悲观(以及可能无限)的影响。

论文一作 Stefanos Leonardos

最佳论文 3(最佳 AISI 论文):Mitigating Political Bias in Language Models Through Reinforced Calibration论文链接:https://www.cs.dartmouth.edu/~rbliu/aaai_copy.pdf作者:Ruibo Liu, Chenyan Jia, Jason Wei, Guangxuan Xu, Lili Wang, and Soroush Vosoughi机构:达特茅斯学院、德克萨斯大学奥斯汀分校、谷歌 AI

论文择要:由于演习数据的问题,目前的大规模措辞模型存在政治偏见,因此在真实场景中运用时可能导致严重的问题。
这篇论文先容了度量 GPT-2 天生中政治偏见的指标,并提出一种缓解天生文本中政治偏见的强化学习(RL)框架。
该 RL 框架利用来自词嵌入或分类器的褒奖,勾引无偏见的文本天生,且无需访问演习数据、模型也不须要重新演习。

实验表明,对付政治偏见敏感的三种属性(性别、地域和话题),该方法都降落了偏见,同时坚持文本的可读性和语义连贯性。

论文一作 Ruibo Liu。

这篇论文的作者列表中包括多位华人,个中一作 Ruibo Liu 在达特茅斯学院攻读打算机科学博士学位,对 NLP 与社交打算的交叉领域感兴趣。
多篇论文揭橥在 AAAI、EMNLP、CSCW、ICWSM 会议上。

最佳论文提名

除了最佳论文奖以外,本次大会还公布了最佳论文提名(Runners Up),共有三篇论文得到此奖项。

论文 1:Learning From Extreme Bandit Feedback论文链接:https://arxiv.org/pdf/2009.12947.pdf作者:Romain Lopez, Inderjit Dhillon, Michael I. Jordan机构:加州大学伯克利分校、德克萨斯大学奥斯汀分校

论文 2:Self-Attention Attribution: Interpreting Information Interactions Inside Transformer论文链接:https://arxiv.org/pdf/2004.11207.pdf作者:Yaru Hao, Li Dong, Furu Wei, Ke Xu机构:北京航空航天算夜学、微软研究院

论文 3:Dual-Mandate Patrols: Multi-Armed Bandits for Green Security论文链接:https://arxiv.org/pdf/2009.06560.pdf作者:Lily Xu, Elizabeth Bondi, Fei Fang, Andrew Perrault, Kai Wang, Milind Tambe机构:哈佛大学、卡内基梅隆大学

个中,论文《Self-Attention Attribution: Interpreting Information Interactions Inside Transformer》的作者均为华人,一作 Yaru Hao 来自北京航空航天算夜学;论文《Dual-Mandate Patrols: Multi-Armed Bandits for Green Security》的作者中也有多名华人,一作 Lily Xu 来自哈佛大学。

多位华人学者获评「学术新星」

在各个论文奖项之外,本次 AAAI 大会还颁发了「学术新星(New Faculty Highlight)」名誉,上榜者包括杨笛一(Diyi Yang)、马航(Hang Ma)、杜少雷(Simon S. Du)、Noam Brown、孙举(Ju Sun)、李俊东(Jundong Li)、牟力立(Lili Mou)等。
个中,来自字节跳动 AI Lab 的许晶晶博士成为了中国研究机构中的唯一入选者。

学术新星是这一届 AAAI 大会新启动的项目,重点先容刚刚开始职业生涯的研究职员,申请条件包括:

1、在研究型大学担当教职,或在业界担当类似的职位(比如研究实验室职位、独立研究等);

2、在顶级会议 / 期刊上揭橥或吸收至少六篇论文,或引用量累积达到 500,以及在顶级会议中得到过最佳论文奖,或将研究成果转化为涉及 1000 人以上的支配系统。

本次上榜的华人学者部分先容如下:

杨笛一(Diyi Yang)

杨笛一(Diyi Yang)是佐治亚理工学院交互打算学院助理教授,该机构从属于机器学习中央。
她曾在卡耐基梅隆大学的措辞技能学院得到博士学位,研究方向面向打算社会科学和自然措辞处理。
她的研究曾被 EMNLP 2015、ICWSM 2019 和 ACM CHI 2019 等学术会议收录。

马航(Hang Ma)

马航本科就读于浙江大学,在麦吉尔大学和南加州大学分别得到硕士和博士学位。
目前是加拿大西蒙弗雷泽大学的打算机科学助理教授,也是自主智能和机器人实验室的卖力人,研究兴趣包括智能方案、多智能体 / 机器人系统、时空约束推理,概率方法运用以及与图、组合优化和算法有关的其他主题。

杜少雷(Simon S. Du)

杜少雷目前是华盛顿大学打算机科学与工程系 Paul G. Allen School 的助理教授,他在 UC 伯克利得到硕士学位,在卡耐基梅隆大学机器学习专业得到博士学位,研究兴趣包括深度学习、表征学习和强化学习等领域。

孙举(Ju Sun)

孙举 2008 年于新加坡国立大学得到学士学位,2016 年在斯坦福大学获博士学位,现为明尼苏达大学双城分校助理教授。

李俊东(Jundong Li)

李俊东现任弗吉尼亚大学电气与打算机工程系助理教授,2019 年获亚利桑那州立大学打算机科学博士学位。
研究兴趣包括数据挖掘、机器学习和社交打算。
他曾多次在 AAAI、KDD 等顶会上揭橥学术论文,论文引用次数超过 1000。
李俊东还领导开拓开源特色选择库(scikit-feature),多次在国际学术会议的程序委员会中任职。

牟力立(Lili Mou)

牟力立,现为加拿大阿尔伯塔大学打算机科学系助理教授、阿尔伯塔机器智能研究所成员(Amii Fellow),CIFAR 人工智能主席项目成员(CIFAR AI Chair)。
他分别于 2012 年和 2017 年在北京大学打算机系取得学士、博士学位,后曾在滑铁卢大学担当博士后研究事情。
研究兴趣包括基于机器学习的自然措辞处理和程序措辞处理。

许晶晶(Jingjing Xu)

许晶晶现为字节跳动人工智能实验室研究员。
2020 年从北京大学毕业加入字节跳动。
过去五年已经揭橥了超过 10 篇顶级会议论文,包括 NeurIPS、ACL、EMNLP,研究兴趣为 green learning 和知识重用。

此外,CMU 大神 Noam Brown 也位列个中。
Noam Brown 是游戏 AI 系统冷扑大师(Libratus)和 Pluribus 的开拓团队成员,不完美信息博弈是他的研究重点之一。

2017 年,Noam Brown 与其导师 Tuomas Sandholm 开拓的 AI 系统 Libratus 在宾夕法尼亚州匹兹堡 Rivers 赌场持续 20 天 1 对 1 无限制德扑比赛中成功降服了 4 名环球顶级职业玩家。
该研究登上了《科学》杂志,与研究干系的另一篇论文《Safe and Nested Subgame Solving for Imperfect-Information Games》还得到了 NIPS 2017 最佳论文奖。

去年 9 月,Noam Brown 公开博士论文《大型对抗性不完美信息博弈的均衡创造》,现在他是 Facebook 人工智能实验室的研究科学家。