节点文献
异构调度环境下ETL工作流监控系统的设计与实现
Design and implementation of monitoring system for the ETL workflows in heterogeneous scheduling environment
【摘要】 本文提出一种分布式ETL在异构调度环境下的工作流统一监控方法。通过对异构调度系统元数据的提取和抽象,采用增量抽取和跟踪监控对象的方式,通过网络消息传送将监控对象加载到监控数据中心并统一管理,实现了分布式ETL工作流在异构调度环境下的的全局监控,提高了数据恢复能力和仓库的数据质量。
【Abstract】 This paper provided a unified monitoring method of the distributed ETL workflows in heterogeneous environment. By extracting and abstracting the metadata of each workflow and tracing the monitored objects incrementally, all the ETL jobs could be monitored and managed by the monitor data center, meanwhile improving the quality of the data warehouse.
【关键词】 数据仓库;
分布式ETL;
Oozie;
调度监控;
【Key words】 data warehouse; distributed ETL; Oozie; scheduling monitor;
【Key words】 data warehouse; distributed ETL; Oozie; scheduling monitor;
【基金】 国家杰出青年科学基金(No.60525110);国家973计划项目(No.2007CB307100,2007CB307103);国家自然科学基金(No.61072057,60902051);中央高校基本科研业务费专项资金(BUPT2009RC0505);国家科技重大专项(No.2011ZX03002-001-01,2001ZX03002-002-01)
- 【文献出处】 电信工程技术与标准化 ,Telecom Engineering Technics and Standardization , 编辑部邮箱 ,2016年12期
- 【分类号】TP311.13;TP277
- 【被引频次】3
- 【下载频次】55