微软使谷歌的BERT NLP模式变得更好
微软人工智能研究人员今天表示他们已经创建了一个多任务深度神经网络(MT-DNN)，它结合了谷歌的BERT AI来实现最先进的结果。MT-DNN能够通过一般语言理解评估(GLUE)基准，在9个NLP任务中的7个中设置新的高性能标准。
同样使用BERT的MT-DNN模型于1月份由微软AI研究人员首次推出，并在若干自然语言任务中实现了最先进的性能，并设定了新的GLUE基准。
实现最先进结果的方法使用多任务学习和知识蒸馏方法，该方法于2015年由谷歌的杰弗里·辛顿和人工智能主管杰夫·迪恩首次引入。根据今天发布的博客文章，微软计划在6月份开放源代码，以便在GitHub上学习文本表示的MT-DNN模型。
与BERT和MT-DNN相比，新的蒸馏MT-DNN模型在GLUE测试中表现更好。
“对于每项任务，我们训练一组不同的MT-DNN(教师)，其表现优于任何单一模型，然后通过多任务学习训练单个MT-DNN(学生)，以提取这些合奏教师的知识，” “通过自然语言理解的知识蒸馏改进多任务深度神经网络”一文的摘要。
转换器的双向编码器表示(BERT)是谷歌去年秋天开源的。Google声称可以在30分钟内使用BERT和单个云TPU制作最先进的语言模型。
这一消息的前一天，微软开源的背后其Bing搜索引擎的算法和谷歌推出Translatotron，最终到终端的翻译工具，可以采用原来的说话者的语音的音调。
本月早些时候，微软年度Build开发者大会和Google的I / O开发者大会分享了一系列关于未来计划的新功能和提示。
在Build，微软展示了企业如何使用语义机技术为员工创建AI助手，Bot Framework获得了更多多转对话的升级，Azure认知服务和Azure机器学习服务得到了升级。新的人工智能和机器人技术平台也有限预览推出，以及对可互操作的AI ONNX合作推出Nvidia和英特尔硬件优化更快的推论。
在I / O，Google展示了使用其在设备上运行机器学习的Google智能助理的功能，并为Android应用开发者推出了与Google智能助理连接的工具。还公布了ML Kit及其云TPU服务的升级。