节点文献

基于Java多线程的数据质量核查

Data quality checking based on Java multi-thread

  • 推荐 CAJ下载
  • PDF下载
  • 不支持迅雷等下载工具,请取消加速工具后下载。

【作者】 张勇斌郑良斌刘华群

【Author】 ZHANG Yong Bin ZHENG Liang Bin LIU Hua Qun (Beijing Institute of Graphic Communication,Beijing 102600,China)

【机构】 北京印刷学院

【摘要】 结合数据仓库开发项目实例,介绍了如何采用 Java 多线程技术来解决这一问题。该方法主要思想是:(1)对要检查的数据建立质量检查规则。(2)对要装载到数据仓库的数据建立数据文件任务列表。(3)每个线程访问数据文件任务列表,如果列表中有数据需要检查,该线程从文件列表中取出文件名,根据数据质量检查规则对数据进行核查,将核查结果写入核查日志。如果文件列表中没有需要核查的数据,线程将放回到线程池。该方法在实际数据仓库建设中,将数据质量核查的时间缩短了近三分之一。

【Abstract】 Introducing a method with Java multi-thread technology to solve this problem.The main idea is to make rules for da- ta to be checked,to establish a task list,which is used to put data file name in,and to crate a thread pool,which contains Java thread.A thread will access the task list to find out if there are tasks need to be executed.If so,the thread wig check data quali- ty according to the rules established and log the checking result.Otherwise,the thread will be put hack to the thread pool.With this method,the time for data check will be reduced to two third.

【关键词】 数据仓库数据核查Java多线程
【Key words】 dataware housedata checkingJavamulti-thread
  • 【会议录名称】 促进企业信息化进程——第十届中国Java技术及应用大会文集
  • 【会议名称】第十届中国Java技术及应用大会
  • 【会议时间】2007-11
  • 【会议地点】中国北京
  • 【分类号】TP311.11
  • 【主办单位】中国计算机学会计算机应用专业委员会、中国自动化学会计算机应用委员会、中国电子学会计算机工程应用委员会、中国信息产业商会微型机与应用分会、中国软件行业协会Java分会
节点文献中: