节点文献

基于分解与动态规划策略的汉语未登录词识别

Leveled Unknown Chinese Words Resolution by Dynamic Programming

  • 推荐 CAJ下载
  • PDF下载
  • 不支持迅雷等下载工具,请取消加速工具后下载。

【作者】 吕雅娟赵铁军杨沐昀于浩李生

【Author】 LV Ya jan ZHAO Tie jun YANG Mu yun YU Hao LI Sheng (School of Computer Science and Technology,Harbin Institute of TechnologyHarbin150001) E mail:{lyj,tjzhao,ymy,yu}@mtlab.hit.edu.cn

【机构】 哈尔滨工业大学计算机科学与技术学院!哈尔滨150001

【摘要】 :未登录词的识别是汉语自动分词中的主要问题。本文以对中国人名 ,中国地名和外国译名进行整体识别为目标 ,采用分解处理策略降低了整体处理难度 ,并使用动态规划方法实现了最佳路径的搜索 ,较好地解决了未登录词之间的冲突问题。通过对真实语料识别的测试 ,证明该方法可以全面提高未登录词识别的正确率和召回率

【Abstract】 Unknown word resolution is a dilemma for automatic Chinese segmentation.Aiming at solving Chinese human names,Chinese place names and translated names of other language,this paper puts forward a leveled unknown word resolution strategy with dynamic programming searching the best path.This method successfully solves the contradictions among these unknown words identification.Experiment on real corpus shows that the proposed method possesses a high performance.

【基金】 国家 8 63计划! ( 863 -30 6-ZT0 3 -0 6-3 / 863 -30 6-ZD13 -0 4 -4 ) ;国家自然科学基金! ( 697750 17)
  • 【文献出处】 中文信息学报 ,Journal of Chinese Information Processing , 编辑部邮箱 ,2001年01期
  • 【分类号】TP391.2
  • 【被引频次】160
  • 【下载频次】729
节点文献中: 

本文链接的文献网络图示:

本文的引文网络