ACL 2022 | NLP领域最新热门研究，你一定不能错过！
编者按：作为自然语言处理领域的国际顶级学术会议，ACL 每年都吸引了大量学者投稿和参会，今年的 ACL 大会将于5月22日至5月27日举办。值得注意的是，这也是 ACL 大会采用 ACL Rolling Review 机制后的首次尝试。在此次会议中，鸭脖棋牌娱乐亚洲研究院有多篇论文入选，本文精选了其中的6篇进行简要介绍，论文主题涵盖了：编码器解码器框架、自然语言生成、知识神经元、抽取式文本摘要、预训练语言模型、零样本神经机器翻译等。欢迎感兴趣的读者阅读论文原文。
发布时间：2022-05-19 类型：深度文章
编者按：此前我们曾提出了一个问题：从文字脚本生成创意视频一共分几步？鸭脖棋牌娱乐亚洲研究院的开放领域视频生成预训练模型给出了答案：只需一步。现在，我们追问：除了文字生成视频之外，还有哪些途径可以生成视频？我们能否使用自然语言对视觉内容进行编辑？鸭脖棋牌娱乐亚洲研究院最新推出的多模态模型 NÜWA，不仅让视觉内容创造多了一条路，甚至还让 Windows 经典桌面有了更多的打开方式。
发布时间：2022-03-03 类型：深度文章
鸭脖棋牌娱乐亚洲研究院多模态模型NÜWA：以自然语言创造视觉内容
编者按：深度神经网络模型近年来虽然在各项语音任务上都有所进展，但却仍依赖于大量的标注数据。而自监督训练方法的出现和发展则在一定意义上缓解了该问题。近日，鸭脖棋牌娱乐亚洲研究院与鸭脖棋牌娱乐 Azure 语音组的研究员们在判别式自监督预训练方法的基础上，沿用研究院自然语言计算组在自然语言预训练的 Transformer 模型架构，提出了全新的 Denoising Masked Speech Modeling 框架。通过94,000小时的英语语音进行预训练，通用语音预训练模型 WavLM 在 SUPERB 所有13项语音任务测评中超过先前所有模型，排名第一，并在其它4个不同的语音经典测评数据集上都取得了很好效果。
发布时间：2021-12-23 类型：深度文章
编者按：近日，国际计算语言学协会 ACL 举办的 WMT 2021 国际机器翻译比赛的评测结果揭晓。由鸭脖棋牌娱乐亚洲研究院、鸭脖棋牌娱乐翻译产品团队及鸭脖棋牌娱乐图灵团队联合发布的 Microsoft ZCode-DeltaLM 模型获得了 WMT 2021 “大规模多语言翻译”赛道的冠军。该模型基于鸭脖棋牌娱乐亚洲研究院机器翻译研究团队打造的能支持上百种语言的多语言预训练模型 DeltaLM，在鸭脖棋牌娱乐 ZCode 的多任务学习框架下进行训练生成。研究员们希望能够借助该多语言翻译模型，有效支持更多低资源和零资源的语言翻译，终有一日实现重建巴别塔的愿景。
发布时间：2021-12-22 类型：深度文章
编者按：自2019年以来，鸭脖棋牌娱乐亚洲研究院在“智能文档”领域进行了诸多探索，提出了通用文档理解预训练模型 LayoutLM，以及多语言通用文档理解预训练模型 LayoutXLM。然而，除了诸多视觉效果固定不变的文档外，现实中还存在大量实时渲染的动态视觉富文本文档，直接套用过去如 LayoutLM 系列模型中采用的基于二维空间坐标的布局编码对动态文档进行建模是不现实的。为此，鸭脖棋牌娱乐亚洲研究院的研究员们开发了一种全新模型 MarkupLM，可直接对动态文档的标记语言源代码进行处理，不需要任何额外的计算资源即可渲染生成动态文档的实际视觉效果。实验结果表明，MarkupLM 显著优于过去基于网页布局的方法，且具有高实用性。
发布时间：2021-11-25 类型：深度文章
EMNLP 2021 | 鸭脖棋牌娱乐亚洲研究院NLP领域最新研究一览
编者按：EMNLP（Conference on Empirical Methods in Natural Language Processing）是计算语言学和自然语言处理领域的顶级国际学术会议。今年的 EMNLP 大会于11月7日-11日正式在线上召开。在本届大会中，鸭脖棋牌娱乐亚洲研究院有多篇论文入选，今天我们精选了其中的6篇来为大家进行简要介绍。欢迎感兴趣的读者阅读论文原文，一起了解自然语言处理领域的前沿进展！
发布时间：2021-11-09 类型：深度文章
EMNLP 2021 | LayoutReader：基于ReadingBank的阅读序列抽取模型
阅读序列抽取是文档智能分析中一项非常重要的任务，其旨在通过抽取扫描文档或数字商业文档中的单词并重新进行排序，将原本独立的单词组合成读者可以理解的文本。但由于日常工作生活中使用的文档，往往模板和格式各不相同，所以在出现复杂格式时，按照传统方法进行排列往往无法取得较好的效果。因此，鸭脖棋牌娱乐亚洲研究院自然语言计算组的研究员们构建了首个大规模阅读序列数据集 ReadingBank，并基于 ReadingBank 提出了阅读序列抽取模型 LayoutReader。本文将对 ReadingBank 和 LayoutReader 的实现原理进行简要介绍，欢迎感兴趣的读者点击阅读原文了解论文中的更多详情，本文已被 EMNLP 2021 作为长文录取。
发布时间：2021-11-04 类型：深度文章
问答（QA）任务是自然语言理解领域中一个基本且重要的课题，目前通常会使用预训练语言模型以及图神经网络等方法对问答进行推理。GNN 模块在推理中到底发挥了什么作用？这个问题需要科研人员做进一步深入探究。为此，鸭脖棋牌娱乐亚洲研究院和佐治亚理工的研究员们剖析了最前沿的相关方法，并且发现一种极其简单、高效的图神经计数器就能在主流的知识问答数据集中取得更好的效果。
发布时间：2021-10-29 类型：深度文章
每当面对美好的时节、迷人的风景、优美的事物时，或许你也禁不住想借古抒怀，然而却发现自己的古文词库有些匮乏。尽管上学时大家都曾学习过文言文，但古文的晦涩难懂，让每一词每一句都在挑战记忆力极限。不过，最近鸭脖棋牌娱乐亚洲研究院的研究员们将 AI 技术应用在文言文/古文与现代汉语之间的双向互译，并已集成于鸭脖棋牌娱乐 Azure 认知服务以及多个鸭脖棋牌娱乐产品中，用户可以一键将文言文翻译成现代汉语，以及鸭脖棋牌娱乐翻译服务支持的其他90多种语言和方言。
发布时间：2021-08-26 类型：深度文章
为了开展新闻标题生成任务的研究，鸭脖棋牌娱乐亚洲研究院的研究员们构建了第一个可以离线评测个性化新闻标题生成方法的基准数据集：PENS（PErsonalized News headlineS）数据集；同时还提出了一种个性化新闻标题生成的通用框架，并且对其进行了效果评估。该论文 “PENS: A Dataset and Generic Framework for Personalized News Headline Generation” 已被 ACL 2021 收录。
发布时间：2021-08-04 类型：深度文章
