节点文献
基于分解与动态规划策略的汉语未登录词识别
Leveled Unknown Chinese Words Resolution by Dynamic Programming
【摘要】 :未登录词的识别是汉语自动分词中的主要问题。本文以对中国人名 ,中国地名和外国译名进行整体识别为目标 ,采用分解处理策略降低了整体处理难度 ,并使用动态规划方法实现了最佳路径的搜索 ,较好地解决了未登录词之间的冲突问题。通过对真实语料识别的测试 ,证明该方法可以全面提高未登录词识别的正确率和召回率
【Abstract】 Unknown word resolution is a dilemma for automatic Chinese segmentation.Aiming at solving Chinese human names,Chinese place names and translated names of other language,this paper puts forward a leveled unknown word resolution strategy with dynamic programming searching the best path.This method successfully solves the contradictions among these unknown words identification.Experiment on real corpus shows that the proposed method possesses a high performance.
【关键词】 未登录词识别;
分解处理;
动态规划;
【Key words】 unknown word resolution; leveled strategy; dynamic programming;
【Key words】 unknown word resolution; leveled strategy; dynamic programming;
【基金】 国家 8 63计划! ( 863 -30 6-ZT0 3 -0 6-3 / 863 -30 6-ZD13 -0 4 -4 ) ;国家自然科学基金! ( 697750 17)
- 【文献出处】 中文信息学报 ,Journal of Chinese Information Processing , 编辑部邮箱 ,2001年01期
- 【分类号】TP391.2
- 【被引频次】160
- 【下载频次】729