| 
  中国学术期刊网络出版总库
  关闭
基于字集特征向量的网页消重改进算法  
   推荐 CAJ下载 PDF下载
【英文篇名】 Improved eliminating duplicated web pages based on feature vector of character set
【下载频次】 ★☆
【作者】 李洪奇; 冯海波; 张伟; 杨中国; 宋伟城;
【英文作者】 LI Hongqi; FENG Haibo; ZHANG Wei; YANG Zhongguo; SONG Weicheng; College of Computer; China Petroleum University;
【作者单位】 中国石油大学(北京)计算机系;
【文献出处】 计算机工程与应用 , Computer Engineering and Applications, 编辑部邮箱 2017年 02期  
期刊荣誉：中文核心期刊要目总览  ASPT来源刊  中国期刊方阵  CJFD收录刊
【中文关键词】 字集向量; 机器码向量; 网页消重; 数字指纹; MD5;
【英文关键词】 alphabet vector; machine code vector; webpage duplicate removal; digital fingerprint; MD5;
【摘要】 基于MD5算法计算数字指纹的网页消重算法简单而高效,在网页消重领域应用比较广泛。但是由于MD5算法是一种严格的信息加密算法,在文章内容变动很少的情况下得出的指纹结果完全不同,导致基于这种算法的网页消重技术召回率不是很高。提出了两种基于字集特征向量的网页消重改进算法,把文章内容映射到字集空间中去,计算字集空间距离来判断文章是否相似。提出的算法具有良好的泛化能力,段落中存在的调整语序和增删改个别字不会影响到对相似段落的识别,大大提高了网页消重算法的召回率。实验结果表明,算法的时间复杂度为O(n),空间复杂度为O(1),适合应用于大规模网页消重。
【英文摘要】 The eliminating duplicated web pages based on MD5 have been applied in many fields because it is efficient and simple.But the MD5 is a strict algorithm,the result will be very different if input has a little difference.So,this method couldn' t have a higher recalled rate.This page presents two improved algorithms.The thought of algorithms puts web content into words space,and calculates the distance between two words spaces.Then,the similar rate between two sentences is determined by the distance of two spa...
【基金】 国家“十五”科技攻关项目(No.2001BA605A09)
【更新日期】 2017-02-28
【分类号】 TP393.092
【正文快照】 1 引言 互联网络发展到今天,已成为用户获取信息的重要手段和途径。用户已经习惯通过搜索引擎来提高在海量互联网信息中检索所需信息的效率。但是,搜索引擎在抓取大量网页的同时也搜集到很多重复的网页。据统计,互联网上近似镜像网页数占总网页数的比例高达22%,中国互联网的网

xxx
【读者推荐文章】中国期刊全文数据库
【相似文献】
中国期刊全文数据库
中国优秀硕士学位论文全文数据库
中国博士学位论文全文数据库
中国重要会议论文全文数据库
中国重要报纸全文数据库
中国学术期刊网络出版总库
点击下列相关研究机构和相关文献作者，可以直接查到这些机构和作者被《中国知识资源总库》收录的其它文献，使您全面了解该机构和该作者的研究动态和历史。
【文献分类导航】从导航的最底层可以看到与本文研究领域相同的文献，从上层导航可以浏览更多相关领域的文献。

工业技术
　 自动化技术、计算机技术
　　 计算技术、计算机技术
　　　 计算机的应用
　　　　 计算机网络
　　　　　 一般性问题
　　　　　　 计算机网络应用程序
　　　　　　　 网络浏览器
  
 
  CNKI系列数据库编辑出版及版权所有：中国学术期刊(光盘版)电子杂志社
中国知网技术服务及网站系统软件版权所有：清华同方知网(北京)技术有限公司
其它数据库版权所有：各数据库编辑出版单位（见各库版权信息）
京ICP证040431号    互联网出版许可证 新出网证（京）字008号