节点文献

基于信息增强BERT的关系分类

Relation Classification Based on Information Enhanced BERT

  • 推荐 CAJ下载
  • PDF下载
  • 不支持迅雷等下载工具,请取消加速工具后下载。

【作者】 万莹孙连英赵平王金锋涂帅

【Author】 WAN Ying;SUN Lianying;ZHAO Ping;WANG Jinfeng;TU Shuai;Smart City College, Beijing Union University;College of Urban Rail Transit and Logistics, Beijing Union University;

【通讯作者】 孙连英;

【机构】 北京联合大学智慧城市学院北京联合大学城市轨道交通与物流学院

【摘要】 关系分类是自然语言处理领域中重要的语义处理任务,随着机器学习技术的发展,预训练模型BERT在多项自然语言处理任务中取得了大量研究成果,但在关系分类领域尚有待探索。该文针对关系分类的问题特点,提出一种基于实体与实体上下文信息增强BERT的关系分类方法(ECBERT),该方法利用BERT获取句子特征表示向量,并结合两个目标实体以及实体上下文语句信息,送入简单神经网络进行关系分类。此外,该文还对BERT的改进模型RoBERTa、DistilBERT进行了实验,发现BERT对于关系分类能力更为突出。实验结果显示,该方法在SemEval-2010任务8数据集和KBP-37数据集上Macro-F1值最高取得了89.69%和65.92%的结果,与以往方法相比,其在关系分类任务上表现出较好的性能。

【Abstract】 Relation classification is an important semantic processing task in the field of natural language processing. With the development of machine learning technology, the pre-trained model BERT has achieved excellent results in many natural language processing tasks. This paper proposes a relation classification method(EC_BERT) based on entity and entity context information enhanced BERT. This method uses BERT to obtain the sentence feature representation vector, and then combines two target entities and entity context statement information. In addition, the article also carried out experiments on RoBERTa model and DistiBERT model which are the improved model of BERT. The results on the SemEval-2010 task 8 dataset and the KBP-37 dataset show that the Bert based method performs best, achieving 89.69% and 65.92% of the Macro-F1, respectively.

【基金】 国家重点研发计划(2018YFC0807806);天诚汇智基金(2018A01003);北京联合大学研究生资助项目
  • 【文献出处】 中文信息学报 ,Journal of Chinese Information Processing , 编辑部邮箱 ,2021年03期
  • 【分类号】TP391.1
  • 【被引频次】6
  • 【下载频次】309
节点文献中: 

本文链接的文献网络图示:

本文的引文网络