结合有监督广度优先搜索策略的通用垂直爬虫方法-中国学术期刊网络出版总库

中国学术期刊网络出版总库

结合有监督广度优先搜索策略的通用垂直爬虫方法

推荐 CAJ下载

【英文篇名】	General Vertical Crawler Method Combined with Supervised Breadth-first Search Strategy
【下载频次】	★★★★★
【作者】	高峰; 刘震; 高辉;
【英文作者】	GAO Feng; LIU Zhen; GAO Hui; School of Computer Science and Engineering; University of Electronic Science and Technology of China; Big Data Research Center;
【作者单位】	电子科技大学计算机科学与工程学院; 电子科技大学大数据研究中心;
【文献出处】	计算机工程 , Computer Engineering, 编辑部邮箱 2018年 11期期刊荣誉：中文核心期刊要目总览 ASPT来源刊 CJFD收录刊
【中文关键词】	垂直爬虫; URL聚类; 赋权网页; 路径模板解析; 有监督广度优先搜索策略;
【英文关键词】	vertical crawler; URL clustering; weighted Web page; parser of the path template; supervised breadthfirst search strategy;
【摘要】	垂直爬虫程序无法直接移植到其他网站并且程序设计需要大量人工干预。为此,提出一种高可移植性的通用型垂直爬虫设计方法。自动识别目标主题和目录页面URL,并利用URL聚类生成URL正则表达式过滤器,以解决垂直爬虫中需人工维护初始URL队列的问题。然后,利用正则表达式过滤器和解析路径模板以及有监督的广度优先与网页赋权搜索策略,实现相关页面的精确定位和数据的快速准确提取。实验结果表明,该方法能够对不同网站实现高效、快速、通用的数据爬取。
【英文摘要】	Aiming at the problem that the vertical crawler program can not be directly transplanted to other websites and the programming needs a lot of manual intervention,a highly portable and general vertical crawler design method is proposed. The target topic and directory page URL are automatically identified, and the URL regular expression filter is generated by URL clustering to solve the problem of manual maintenance of initial URL queue in vertical crawler. Using the regular expression filter,the parsing path...
【基金】	国家自然科学基金(61300018)
【更新日期】	2018-11-28
【分类号】	TP393.092;TP391.3
【正文快照】	中文引用格式:高峰,刘震,高辉.结合有监督广度优先搜索策略的通用垂直爬虫方法[J].计算机工程,2018,44(11):289-299.英文引用格式:GAO Feng,LIU Zhen,GAO Hui. General vertical crawler method combined with supervised breadth-firstsearch strategy[J]. Computer Engineeri

xxx

【相似文献】

中国期刊全文数据库

中国优秀硕士学位论文全文数据库

中国博士学位论文全文数据库

中国重要会议论文全文数据库

中国重要报纸全文数据库

中国学术期刊网络出版总库

点击下列相关研究机构和相关文献作者，可以直接查到这些机构和作者被《中国知识资源总库》收录的其它文献，使您全面了解该机构和该作者的研究动态和历史。

【文献分类导航】从导航的最底层可以看到与本文研究领域相同的文献，从上层导航可以浏览更多相关领域的文献。

工业技术
　

自动化技术、计算机技术
　　

计算技术、计算机技术
　　　

计算机的应用
　　　　

计算机网络
　　　　　

一般性问题
　　　　　　

计算机网络应用程序
　　　　　　　

网络浏览器

工业技术
　

自动化技术、计算机技术
　　

计算技术、计算机技术
　　　

计算机的应用
　　　　

信息处理(信息加工)
　　　　　


	CNKI系列数据库编辑出版及版权所有：中国学术期刊(光盘版)电子杂志社中国知网技术服务及网站系统软件版权所有：清华同方知网(北京)技术有限公司其它数据库版权所有：各数据库编辑出版单位（见各库版权信息）京ICP证040431号互联网出版许可证新出网证（京）字008号

文献分类导航