典型文献
面向问题生成的预训练模型适应性优化方法研究
文献摘要：
问题生成的核心任务是"在给定上下文语境的前提下,对目标答案自动生成相应的疑问句".问题生成是自然语言处理领域中富有挑战性的任务之一,其对可靠的语义编码和解码技术有着极高的要求.目前,预训练语言模型已在不同自然语言处理任务中得到广泛应用,并取得了较好的应用效果.该文继承这一趋势,尝试将预训练语言模型UNILM应用于现有"基于编码和解码架构"的问题生成系统中,并集中在其适应性问题上开展研究.该文针对预训练模型在解码阶段频繁出现的"暴露偏差"和"掩码异构"问题,分别研究了基于随机抗噪和迁移学习的训练方法,借以提升UNILM在问题生成过程中的适应能力.同时,该文在SQuAD数据集上开展问题生成实验,实验结果证明,随机抗噪和迁移学习都能优化UNILM的解码性能,使之在答案可知场景的数据划分split1和split2上,分别将BLEU4指标提升到20.31％和21.95％;并在答案不可知场景的split1数据集上将BLEU4指标提升到17.90％.
文献关键词：
问题生成;暴露偏差;问答数据集;迁移学习
中图分类号：
作者姓名：
苏玉兰;洪宇;朱鸿雨;武恺莉;张民
作者机构：
苏州大学 计算机科学与技术学院,江苏 苏州 215006
文献出处：
引用格式：
[1]苏玉兰;洪宇;朱鸿雨;武恺莉;张民-.面向问题生成的预训练模型适应性优化方法研究)[J].中文信息学报,2022(03):91-100
A类：
UNILM,split1,split2
B类：
问题生成,预训练模型,适应性优化,核心任务,上下文语境,自动生成,疑问句,自然语言处理,中富,语义编码,解码,预训练语言模型,适应性问题,暴露偏差,掩码,迁移学习,训练方法,借以,生成过程,SQuAD,数据划分,BLEU4,指标提升,上将,问答数据集
AB值：
0.297261
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
