节点文献
基于最大熵模型的组块分析
Chunk Parsing with Maximum Entropy Principle
【摘要】 采用最大熵模型实现中文组块分析的任务 .首先明确了中文组块的定义 ,并且列出了模型中所有的组块类型和组块标注符号 .组块划分和识别的过程可以转化为对于每一个词语赋予一个组块标注符号的过程 ,我们可以把它作为一个分类问题根据最大熵模型来解决 .最大熵模型的关键是如何选取有效的特征 ,文中给出了相关的特征选择过程和算法 .最后给出了系统实现和实验结果 .
【Abstract】 This paper proposes to use Maximum Entropy (ME) model to conduct Chinese chunk parsing. First we define Chinese chunks and list all chunk categories and tags used in the model. Thus the process of chunking can be regarded as a classification problem which trains from the corpus with chunk tags and POS tags. The focus of ME model is how to select useful features. Then, the procedure and algorithms of feature selection is introduced. At last we test the model, and experimental results are given.
【关键词】 组块分析;
语法分析;
最大熵原理;
浅层分析;
【Key words】 chunk parsing; syntactic parsing; maximum entropy principle; partial parsing;
【Key words】 chunk parsing; syntactic parsing; maximum entropy principle; partial parsing;
【基金】 国家“九七三”重点基础研究发展规划项目 (G1 9980 30 50 4 0 1 ,G1 9980 30 50 7 4)资助
- 【文献出处】 计算机学报 ,Chinese Journal of Computers , 编辑部邮箱 ,2003年12期
- 【分类号】TP391.1
- 【被引频次】186
- 【下载频次】827