节点文献

基于分布式结构的Deep Web结构化数据抽取系统

  • 推荐 CAJ下载
  • PDF下载
  • 不支持迅雷等下载工具，请取消加速工具后下载。

【作者】 韩子扬； 李贵； 李征宇； 王凤英；

【机构】 沈阳建筑大学信息与控制工程学院计算机系；

【摘要】 Deep Web网站提供了大量的专业领域数据,单机系统抽取Deep Web数据效率低,抽取周期长,不能保证数据的时效性;本文提出了一种基于分布式结构的Deep Web结构化数据抽取系统,采用服务器/客户端架构搭建系统,设计作业调度算法,平衡客户端之间任务量,保证各个客户端之间的任务平衡;设定任务库及任务状态,通过任务状态实现对任务的进度监控;使用客户端分担服务器的分析工作,减轻服务器的计算压力;选用Java工具实现系统,完成系统设计。通过对单机和分布式抽取实验分析,分布式Deep Web数据抽取系统综合利用了多计算机并行处理能力和分散的网络资源,提高了Deep Web数据抽取效率,保证了数据抽取的时效性。

【关键词】 Deep Web； 分布式； 任务调度； 爬虫程序；
  • 【会议录名称】 第九届沈阳科学学术年会论文集（信息科学与工程技术分册）
  • 【会议名称】第九届沈阳科学学术年会
  • 【会议时间】2012-10
  • 【会议地点】中国辽宁沈阳
  • 【分类号】TP393.09
  • 【主办单位】中共沈阳市委、沈阳市人民政府
打印本页
节点文献中：