节点文献

基于多头注意力和BiLSTM改进DAM模型的中文问答匹配方法

Improved DAM Model Based on Multi-head Attention and BiLSTM for Chinese Question Answering

  • 推荐 CAJ下载
  • PDF下载
  • 不支持迅雷等下载工具,请取消加速工具后下载。

【作者】 秦汉忠于重重姜伟杰赵霞

【Author】 QIN Hanzhong;YU Chongchong;JIANG Weijie;ZHAO Xia;School of Artificial Intelligence, Beijing Technology and Business University;

【通讯作者】 于重重;

【机构】 北京工商大学人工智能学院

【摘要】 针对目前检索式多轮对话深度注意力机制模型(Deep Attention Matching Network, DAM)候选回复细节不匹配和语义混淆的问题,该文提出基于多头注意力和双向长短时记忆网络(BiLSTM)改进DAM模型的中文问答匹配方法,采用多头注意力机制,使模型有能力建模较长的多轮对话,更好地处理目标回复与上下文的匹配关系。此外,该文在特征融合过程中采用BiLSTM模型,通过捕获多轮对话中的序列依赖关系,进一步提升选择目标候选回复的准确率。该文在豆瓣和电商两个开放数据集上进行实验,实验性能均优于DAM基线模型,R10@1指标在含有词向量增强的情况下提升了1.5%。

【Abstract】 To effectively match response details and avoid semantic confusion, this paper proposes to improve the Deep Attention Matching Network(DAM) via multi-head attention and Bi-directional Long Short-Term Memory(BiLSTM). This method can model longer multi-round of dialogue and handle the matching relationship between the response selection and the context. In addition, the BiLSTM Network applied in the feature fusion process can improve the accuracy of multi-turn response selection tasks by capturing the time-dependent relation. Tested on two public multi-turn response selection datasets, the Douban Conversion Corpus and the E-commerce Dialogue Corpus, our model is revealed to outperform the baseline model by 1.5% in R10@1 with the word vector enhancement.

【基金】 教育部人文社会科学研究规划基金(16YJAZH072);国家社会科学基金(14ZDB156)
  • 【文献出处】 中文信息学报 ,Journal of Chinese Information Processing , 编辑部邮箱 ,2021年11期
  • 【分类号】TP391.1;TP183
  • 【被引频次】4
  • 【下载频次】266
节点文献中: 

本文链接的文献网络图示:

本文的引文网络