节点文献

双语语料库段落重组对齐方法研究

Research of Paragraph Realignment of Bilingual Corpus

  • 推荐 CAJ下载
  • PDF下载
  • 不支持迅雷等下载工具,请取消加速工具后下载。

【作者】 李维刚刘挺王震李生

【Author】 Li Weigang Liu Ting Wang zhen Li ShengInformation Retrieval Laboratory Harbin Institute ofTechnoIogy, Harbin 150001

【机构】 哈尔滨工业大学计算机学院信息检索研究室

【摘要】 网络上存在的大量双语资源,给构建大规模双语语料库提供了可能。双语对齐作为语料库加工过程中的关键技术,已经引起研究者的高度重视。针对目前可收集到的双语资源大都没有做到段落对齐,本文结合基于句子长度和基于词典的两种经典对齐算法思想,充分利用双语文本中的句子在整个文本中的位置信息,在(1:1)型句珠里选取锚点,并根据双语文本特征引入一部双语词典进行校验,从而获得分段的锚点,实现通用的段落重组对齐。

【Abstract】 Large amount of bilingual resource on the internet bring the probability of building a targe scale of bilingual corpus. As the key technology during the course of building the corpus, bilingual alignment technology is growing high recognition. Facing the situation that most of bilingual resource attained on the internet is aligned in paragraph, paragraph realignment is necessary. Combining length-based method with lexicon-based method, making full use of the location information of each sentence in whole text, we choose the anchors among the 1-for-1 beads according the result of dictionary check and achieve the goal of general paragraph realignment.

【关键词】 双语语料库段落重组对齐锚点匹配
【Key words】 bilingual corpusparagraph realignmentanchormatch
  • 【会议录名称】 语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集
  • 【会议名称】全国第七届计算语言学联合学术会议
  • 【会议时间】2003-08
  • 【会议地点】中国哈尔滨
  • 【分类号】TP391.1
  • 【主办单位】哈尔滨工业大学计算机科学与技术学院、清华大学智能技术与系统国家重点实验室
节点文献中: