中国学术期刊网络出版总库
  关闭
一种实用的资源稀缺条件下的分词方法  
   推荐 CAJ下载 PDF下载
【英文篇名】 Practical approach of word segmentation in poor resource situation
【下载频次】 ★★★☆
【作者】 马宁; 李亚超; 何向真; 于洪志;
【英文作者】 Ma Ning; Li Yachao; He Xiangzhen; Yu Hongzhi; Gansu Province Key Laboratory of National Language Intelligent Processing; Northwest University for Nationalities;
【作者单位】 西北民族大学甘肃省民族语言智能处理重点实验室;
【文献出处】 计算机应用研究 , Application Research of Computers, 编辑部邮箱 2016年 01期  
期刊荣誉:中文核心期刊要目总览  ASPT来源刊  中国期刊方阵  CJFD收录刊
【中文关键词】 分词; 无监督分词; 最大匹配; VE算法; 间隔标注; 资源;
【英文关键词】 word segmentation; unsupervised word segmentation; maximum matching; voting experts algorithm; gap tagging; resource;
【摘要】 在一些使用人数较少的语言中,缺少人工标注语料,研究在资源稀缺条件下的分词方法成了亟待解决的问题。研究了无监督的VE算法,以及最大匹配间隔标注算法,在此基础上提出一种无监督分词方法与最大匹配方法相结合的分词方法,并在汉语语料上进行实验。该分词方法显著提高了最大匹配分词方法的分词效果,同时也优于当前最好的无监督分词结果。实验表明,该方法快速、有效,利用较小的资源获得了较好的分词效果。
【英文摘要】 There is lack of human-annotated corpus in some language,which isn't used by a lot of people,it is a burning question for word segmentation in the situation of poor resource. This paper studied the unsupervised VE algorithm,and maximum match gap tagging. It proposed a method which combined the unsupervised word segmentation method and the maximum matching method,and implemented in the Chinese datasets. The method significantly increased the performance of maximum matching word segmentation method,and gave a...
【基金】 西北民族大学中央高校基本科研业务费专项资金资助项目(zyp2015001,31920140064)
【更新日期】 2016-01-20
【分类号】 TP391.1
【正文快照】 0引言很多语言如汉语、日语等,在书写时词语之间没有分割标志,分词是这些语言智能信息处理的基础工作。到目前为止,汉语、日语分词方法大都是有监督方法,其分词效果优于无监督分词方法。有监督分词需要大量人工标注语料,而获取优质语料需要很高的成本。无监督分词可以方便地利?

xxx
【读者推荐文章】中国期刊全文数据库 中国博士学位论文全文数据库 中国优秀硕士学位论文全文数据库
【相似文献】
中国期刊全文数据库
中国优秀硕士学位论文全文数据库
中国博士学位论文全文数据库
中国重要会议论文全文数据库
中国重要报纸全文数据库
中国学术期刊网络出版总库
点击下列相关研究机构和相关文献作者,可以直接查到这些机构和作者被《中国知识资源总库》收录的其它文献,使您全面了解该机构和该作者的研究动态和历史。
【文献分类导航】从导航的最底层可以看到与本文研究领域相同的文献,从上层导航可以浏览更多相关领域的文献。

工业技术
  自动化技术、计算机技术
   计算技术、计算机技术
    计算机的应用
     信息处理(信息加工)
      文字信息处理
  
 
  CNKI系列数据库编辑出版及版权所有:中国学术期刊(光盘版)电子杂志社
中国知网技术服务及网站系统软件版权所有:清华同方知网(北京)技术有限公司
其它数据库版权所有:各数据库编辑出版单位(见各库版权信息)
京ICP证040431号    互联网出版许可证 新出网证(京)字008号