典型文献
MWEC:一种基于多语义词向量的中文新词发现方法
文献摘要:
[目的]提出一种基于多语义词向量的中文新词发现方法(MWEC),解决多领域社交媒体文本的分词不准确问题.[方法]利用社交媒体文本,结合中文知网和汉字笔画数据库训练多语义词向量,以解决语义混淆问题.使用N-gram频繁字符串挖掘方法识别相关度高的子词集合,以此获取新词候选集.利用多语义词向量的语义相似度评估候选词进而获得新词.[结果]在金融、体育、旅游和音乐4个领域数据集上进行实验,结果表明本文方法的F1指标较对比方法分别提升了2.0(金融)、3.0(体育)、2.6(旅游)、11.3(音乐)个百分点.[局限]候选词生成策略着重关注子词的热度,低频词很难被识别出来.[结论]通过增强词向量的语义理解能力,利用多语义词向量对新词候选词进行剪枝,能有效提升针对中文社交媒体文本的新词发现能力.
文献关键词:
向量;新词;分词;N-gram;多语义词向量;语义相似度
中图分类号:
作者姓名:
张乐;冷基栋;吕学强;袁梦龙;游新冬
作者机构:
北京信息科技大学网络文化与数字传播北京市重点实验室 北京 100101
文献出处:
引用格式:
[1]张乐;冷基栋;吕学强;袁梦龙;游新冬-.MWEC:一种基于多语义词向量的中文新词发现方法)[J].数据分析与知识发现,2022(01):113-121
A类:
MWEC,多语义词向量
B类:
新词发现,分词,汉字,笔画数,gram,字符串,挖掘方法,方法识别,相关度,子词,词集,选集,语义相似度,相似度评估,和音,比方,百分点,候选词生成,生成策略,注子,热度,低频词,语义理解,理解能力,剪枝,中文社交媒体
AB值:
0.244109
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。