典型文献
基于知识迁移和蒸馏的轻量级领域信息表示模型研究
文献摘要：
数据精细化处理是电网企业在进行数字化转型过程中的重大难题.由于电网企业的封闭性特点,数据精细化处理过程中专业语言与知识难以与外界通用的知识进行融会贯通.为解决上述问题,本文在teacher-student框架基础上结合fine-tuning技术设计了一种有效的信息表示模型——基于知识迁移与蒸馏的轻量级领域信息表示模型.该模型将通用知识框架作为基座,将专业知识与通用知识提炼成一个统一的向量空间.本文设计的模型比通用大模型更快、更轻量、更有效,仅需对百级别的专业小样本进行增量学习,便可将通用知识与专业知识进行了高效地融合.为了验证该模型的有效性,我们在文本相似度计算任务上进行了实验,实验结果表明技术指标NDCG@5提升5.76％.此外,该模型有效地降低了资源消耗,提升了搜索效率.
文献关键词：
知识迁移;模型蒸馏;领域信息检索模型;数字化转型
中图分类号：
作者姓名：
徐欢;王尧;萧展辉;沈宇红
作者机构：
南方电网有限责任公司,广东广州510000;南方电网数字电网研究院有限责任公司,广东广州510000
文献出处：
引用格式：
[1]徐欢;王尧;萧展辉;沈宇红-.基于知识迁移和蒸馏的轻量级领域信息表示模型研究)[J].电力大数据,2022(09):37-44
A类：
领域信息检索模型
B类：
基于知识,知识迁移,轻量级,表示模型,细化处理,电网企业,转型过程,封闭性,中专,融会贯通,teacher,student,框架基础,fine,tuning,技术设计,知识框架,基座,炼成,向量空间,大模型,更轻,百级,小样本,增量学习,文本相似度计算,技术指标,NDCG,资源消耗,搜索效率,模型蒸馏
AB值：
0.417916
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
