典型文献
融合ERNIE与改进Transformer的中文NER模型
文献摘要：
命名实体识别是信息抽取和关系提取基础的关键任务.针对中文命名实体识别问题,提出了一种融合ERNIE和改进Transformer的中文命名实体识别深度学习模型——ERIT(combining ERNIE with Improved Transformer).ERIT使用ERNIE训练词向量作为嵌入层,摆脱了模型对于分词预处理过程的依赖,避免出现因分词错误以及信息缺失引起错误传播而导致准确率降低的情况,在兼顾输入文本识别精度的同时进一步优化输入语句的词向量,利用Transformer获取输入序列的上下文信息并进行特征提取,结合自注意力层对权重参数进行更新,并在此基础上,通过在自注意力层上增加约束正则项提高对参数约束性以提高每个生成标签的准确性,并加入计划采样机制以解决模型训练与测试过程中存在的不匹配问题.实验证明,ERNIE作为嵌入层有效优化了词向量并提高了识别精度,且模型相较于其他实体识别模型取得了较好的效果.
文献关键词：
自然语言处理;命名实体识别;深度学习;ERNIE;注意力机制
中图分类号：
作者姓名：
罗峦;夏骄雄
作者机构：
上海理工大学 光电信息与计算机工程学院,上海 200093
文献出处：
引用格式：
[1]罗峦;夏骄雄-.融合ERNIE与改进Transformer的中文NER模型)[J].计算机技术与发展,2022(10):120-125
A类：
ERIT
B类：
ERNIE,Transformer,NER,信息抽取,关系提取,关键任务,中文命名实体识别,深度学习模型,combining,Improved,词向量,嵌入层,分词,避免出现,现因,信息缺失,误传,文本识别,识别精度,语句,上下文信息,自注意力,注意力层,正则项,约束性,采样机制,模型训练,试过,匹配问题,有效优化,识别模型,自然语言处理,注意力机制
AB值：
0.304356
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
