【作者】 蒋宏飞； 曹海龙； 杨沐昀；

【Author】 hfjiang1 hlcao2 myyang3(Harbin Institute of Technology. Harbin 150001. China)

【机构】 哈尔滨工业大学计算机系；

【摘要】 词聚类算法对自然语言处理具有重要意义。Brown 1990年提出了一个经典的词聚类算法,但是由于算法本身的复杂度较高,故难于对大规模语科进行处理(Brown文中提到词数超过5000便是不可行的)。本研究中我们尝试着对上万词数的中文词语料进行了实现。并且,针对算法时间复杂度高,不能应用于更大规模语料库的问题,提出了一个加速改进思想。在近似的情况下,它可以降低原算法一阶复杂度。本实验所用的语料来自人民日报1998年1月份的部分内容。更多还原

【Abstract】 Word-cluster algorithm is a key technique in NIP and many other research fields. In 1990, Brown presented a classic word-cluster algorithm. Unfortunately, the complexity of the algorithm is so high and it is impracticable for large-scale corpus (Brown’s paper mentioned that the algorithm is impracticable if the number of words beyond 5000). In this research we attempt to apply the algorithm to ten thousands of Chinese words. Moreover, we bring forward an accelerated idea, which can reduce the complexity of this algorithm for one order. The corpus we used in this research is a part of the contents of the People’s Daily in 1998.1.更多还原