【作者】 王坚；

【导师】 赵恒永；

【作者基本信息】 北京化工大学 ， 计算机应用技术， 2005， 硕士

【摘要】 中文分词技术属于自然语言处理技术范畴,它是中文信息处理中的一个主要组成部分,是中文语言理解、文献检索、机械翻译以及语言合成系统中最基本的一部分。对于中文搜索引擎,中文分词模块的不可或缺是其一个显著的特点。 对于专业化搜索引擎,针对该专业词汇分词的优化尤其重要。本研究室承担了作为面向化工专业信息查询搜索引擎的211工程项目。为实现网上化工类信息的快速准确获取,在对现有算法深入分析研究的基础上经过实验改进,找出一种新的可以对含有大量化工类专业词汇的中文文档进行有效分词的算法。并使用Java语言将其实现,实际应用于化工类专业搜索引擎的分词模块。 论文中提出了一种基于常规最短路径方法的分词算法:层进式最短路径分词方法。使用该算法可以消除大量歧义,取得较好的分词效果。文中还详细介绍了整个分词模块的设计结构。包括分词用词典的结构设计实现,词典中包含有大量化工类专业词汇,可以用于优化针对化工专业的分词并实现了高效的词典查询算法;为避免相似功能的重复开发,实现代码重用的对象复用架构和基于该架构的线程池实现方案;组成分词模块的层次结构,其中使用了相关技术以优化分词的效率;分词算法的具体实现。更多还原

【Abstract】 The Chinese words segmenting belong to the category of nature language processing. It is a major part of Chinese information processing, and is a basic part of Chinese language understanding, literature searches, machine interpret and language synthesize system. It is very important for Chinese search engine.Refer to professional search engine, it is important that optimization for specific field. Our laboratory is charged with the 211 project of search engine which is armed at the specialty of chemic. For quickly getting of chemical information in internet, we introduce a new way that can effective words-segment documents including a lot of chemical terms after analyze and investigate the existing arithmetic. Then we realize the arithmetic with Java language.This article introduce a way called layer shortest path way based on conventional shortest path way. It can avoid a great lot segmenting更多还原