Facebook AI与纽约大学(纽约大学)，谷歌的DeepMind和华盛顿大学(UW)合作，推出了一个衡量人工智能的自然语言处理(NLP)功能的基准平台 - 人工智能能够理解和解释语言。

Facebook AI表示，这个名为SuperGLUE的基准测试平台建立在一个名为GLUE的旧平台之上，通过制定“更全面的人类基线的基准”。

SuperGlue是在对话AI系统在各种基准测试中“达到上限”而创建的，并且需要更大的挑战来提高他们的NLP能力。

“在发布后的一年内，几个NLP模型已经超过了GLUE基准测试中的人类基线性能。目前的模型已经推出了一个令人惊讶的有效配方，它将大型文本数据集上的语言模型预训练与简单的多任务和转移学习技术相结合，”Facebook表示。

根据Facebook AI，SuperGLUE的基准测试包括测试一系列困难的NLP任务的新方法，这些任务侧重于机器学习的许多核心领域的创新，包括样本高效，传输，多任务和自我监督学习。

使用Google的BERT作为模型性能基准，基准测试本身包含八个任务，包括选择合理的替代方案(COPA)测试，一个因果推理任务 - 系统被赋予前提句子并且必须确定原因或两种可能选择的前提的效果 - 以及文本识别蕴涵任务，其中AI需要从另一文本中推断出一个文本的含义。

在执行其基准测试后，SuperGLUE提供了一个单数量度量标准，总结了AI在完成基准测试后处理各种NLP任务的能力。

根据Facebook AI，人类可以在COPA上获得100%的准确率，而谷歌的BERT仅达到74%，这意味着NLP有很大的改进空间。

该研究联盟还开发了一个排行榜和PyTorch 工具包，用于与SuperGLUE一起进行自举研究。

Facebook AI还在 7月份推出了一个单独的 长篇问题回答数据集和基准测试，这需要机器提供长而复杂的答案 - 这是现有算法之前没有遇到的挑战。这种长期形式的问题回答挑战需要机器详细阐述开放式问题的深入解答，例如“水母如何在没有大脑的情况下运作?”

与此同时，Google 在6月推出了一款名为XLNet的神经网络，该搜索巨头表示，在实际训练计算机实际上如何在真实世界文档中显示语言方面，它比BERT更好。

相关覆盖范围

NVIDIA的AI进步：自然语言处理一直在变得越来越快

昨天，NVIDIA宣布在自然语言处理的机器学习方面取得了令人瞩目的发展。它是如何以及为什么这样做的，它对整个世界意味着什么?

Moveworks赌注IT重载是一种自然的语言处理问题

帮助台门票经常搁浅72小时，而管理员试图找出人们实际要求的内容。Startup Moveworks正在调整自然语言理解，以破译和自动化这些神秘的请求。

人工智能在2019年的状态：机器学习，自然语言处理，游戏和知识图的突破

一些世界领先的专家和风险资本家在人工智能方面取得进展。

谷歌最新的语言机器强调语言

Carnegie Mellon和谷歌的Brain服装试图取消谷歌用于自然语言处理的BERT机器学习模型的一些技术。他们提出了一种名为“XLNet”的新方法。建立在流行的“Transformer”AI语言之上，它可能是一种更直接的方式来检查语言的工作方式。