李子茂,张玥,尹帆,郑禄,白鑫.基于自注意力与分段卷积神经网络的实体关系抽取[J].中南民族大学学报自然科学版,2022,41(3):326-332
基于自注意力与分段卷积神经网络的实体关系抽取
Entity relation extraction based on self-attention and piecewise convolutional neural network
  
DOI:10.12130/znmdzk.20220311
中文关键词: 实体关系抽取  远程监督  自注意力机制  分段卷积神经网络  包内注意力机制
英文关键词: entity relation extraction  distant supervision  self-attention mechanism  piecewise convolutional neural network  intra-bag attention mechanism
基金项目:湖北省技术创新重大专项资助项目(2019ABA101);湖北省科技重大专项资助项目(2020AEA011);武汉市科技计划应用基础前沿资助项目(2020020601012267)
作者单位
李子茂 中南民族大学 计算机科学学院 & 湖北省制造企业智能管理工程技术研究中心武汉 430074 
张玥 中南民族大学 计算机科学学院 & 湖北省制造企业智能管理工程技术研究中心武汉 430074 
尹帆 中南民族大学 计算机科学学院 & 湖北省制造企业智能管理工程技术研究中心武汉 430074 
郑禄 中南民族大学 计算机科学学院 & 湖北省制造企业智能管理工程技术研究中心武汉 430074 
白鑫 中南民族大学 计算机科学学院 & 湖北省制造企业智能管理工程技术研究中心武汉 430074 
摘要点击次数: 16
全文下载次数: 16
中文摘要:
      远程监督通过已有知识库的关系三元组和自然语言文本语料库进行启发式匹配,获得数据来完成关系抽取任务,解决有监督学习方法完全依赖人工标注数据的问题,但远程监督数据中会存在大量噪声关系标签.针对以上问题,提出了一种结合自注意力机制和分段卷积神经网络的实体关系抽取模型SAPCNN,首先通过自注意力机制捕获词与词之间的全局相关性,解决在对语料句子进行卷积操作时仅关注当前窗口内容的问题;然后将包含相同实体对的语句划分为一个包,利用多实例学习和包内注意力机制计算包中每个句子的注意力权重,从而找到更能表达实体对之间语义关系的句子语料.实验结果显示:SAPCNN能提高实体关系抽取的精确率,结果优于主流算法.
英文摘要:
      Distant supervision uses heuristic matching between the relational triples of the existing knowledge base and the natural language text corpus to obtain data to complete the relation extraction task, which solves the problem that the supervised learning method completely depends on manual labeling data. However, there will be a large amount of noise relation labels. To solve the above problems, an entity relation extraction model combining self-attention mechanism and piecewise convolution neural network(SAPCNN) is proposed. Firstly, the global correlation between words is captured by using self-attention mechanism, which can solve the problem that CNN only focuses on the current window content. In addition, by using multi instance learning and intra-bag attention mechanism, the attention weight of each sentence is calculated and the sentences containing the same entity pair are divided into a bag, in which way can better express the semantic relation between entity pairs. Experimental results show that SAPCNN can improve the precision of entity relation extraction, and the results are better than the mainstream algorithms.
查看全文   查看/发表评论  下载PDF阅读器
关闭