节点文献

文本特征加权方法TF·IDF的分析与改进

Analysis and improvement of feature weighting method TF·IDF in text categorization

  • 推荐 CAJ下载
  • PDF下载
  • 不支持迅雷等下载工具,请取消加速工具后下载。

【作者】 林永民吕震宇赵爽朱卫东

【Author】 LIN Yong-min1, LU Zheng-yu1, ZHAO Shuang1, ZHU Wei-dong2 (1. College of Economics and Management, Hebei Polytechnic University, Tangshan 063009, China; 2. School of Computer and Information Technology, Beijing Jiaotong University, Beijing 100044, China)

【机构】 河北理工大学经济管理学院北京交通大学计算机与信息技术学院 河北唐山063009河北唐山063009北京100044

【摘要】 TF·IDF作为一种简单、直观、处理速度快的文本特征加权方法,在文本分类中得到广泛应用。但是这种方法简单地认为文本频数少的单词就重要,文本频数多的单词就不重要,使它不可能很好的反映单词的有用程度,从而导致分类准确率下降。针对TF·IDF方法存在的问题,采用在特征发生的条件下类的后验概率分布来衡量特征对分类的有效性,提出了一种基于熵的特征加权方法TF·Ensu。实验结果表明,这种加权方法具有很好的分类性能。

【Abstract】 As a simple, direct-viewing, processing speed quick feature weighting method, TF · IDF method is widely used in document classification. But this method simply thought the words of low frequency are important, the words of high frequency are unimportant, which may decrease the precision of classification because of not reflecting the word useful degree. Entropy-based feature weighting method is presented, which solves the problems mentioned above. The method uses the category posterior probability-distribution to weigh feature to the classified validity. The experiments also show that it has good performance.

【基金】 国家自然科学基金项目(60673089)
  • 【文献出处】 计算机工程与设计 ,Computer Engineering and Design , 编辑部邮箱 ,2008年11期
  • 【分类号】TP391.1
  • 【被引频次】37
  • 【下载频次】684
节点文献中: 

本文链接的文献网络图示:

本文的引文网络