节点文献

异构调度环境下ETL工作流监控系统的设计与实现

Design and implementation of monitoring system for the ETL workflows in heterogeneous scheduling environment

  • 推荐 CAJ下载
  • PDF下载
  • 不支持迅雷等下载工具,请取消加速工具后下载。

【作者】 王洪彬王纯

【Author】 WANG Hong-bin;WANG Chun;State Key Lab of Networking and Switching Technology, Beijing University of Posts and Telecommunications;EBUPT Information Technology Co., Ltd.;

【机构】 北京邮电大学网络与交换技术国家重点实验室东信北邮信息技术有限公司

【摘要】 本文提出一种分布式ETL在异构调度环境下的工作流统一监控方法。通过对异构调度系统元数据的提取和抽象,采用增量抽取和跟踪监控对象的方式,通过网络消息传送将监控对象加载到监控数据中心并统一管理,实现了分布式ETL工作流在异构调度环境下的的全局监控,提高了数据恢复能力和仓库的数据质量。

【Abstract】 This paper provided a unified monitoring method of the distributed ETL workflows in heterogeneous environment. By extracting and abstracting the metadata of each workflow and tracing the monitored objects incrementally, all the ETL jobs could be monitored and managed by the monitor data center, meanwhile improving the quality of the data warehouse.

【关键词】 数据仓库分布式ETLOozie调度监控
【Key words】 data warehousedistributed ETLOoziescheduling monitor
【基金】 国家杰出青年科学基金(No.60525110);国家973计划项目(No.2007CB307100,2007CB307103);国家自然科学基金(No.61072057,60902051);中央高校基本科研业务费专项资金(BUPT2009RC0505);国家科技重大专项(No.2011ZX03002-001-01,2001ZX03002-002-01)
  • 【文献出处】 电信工程技术与标准化 ,Telecom Engineering Technics and Standardization , 编辑部邮箱 ,2016年12期
  • 【分类号】TP311.13;TP277
  • 【被引频次】3
  • 【下载频次】55
节点文献中: 

本文链接的文献网络图示:

本文的引文网络