【摘要】 以往的数据清洗研究存在以下缺陷:检测和修复动作要么使用灵活性差的硬编码,要么依靠灵活却低效的人工判断。该文提出了一个使用规则来描述清洗逻辑,使用规则引擎来执行清洗逻辑,从而能够处理各种数据质量问题的数据清洗架构REBDCA,解决了该问题。展示了REBDCA和一个ETL工具的集成,测试了REBDCA的性能,并和用硬编码完成相同逻辑的方案进行了性能对比。更多还原

【Abstract】 Previous researches on data cleansing use inflexible hardcode or inefficient manual work to detect and repair data quality problems.This paper presents a rules engine based data cleansing architecture(REBDCA) to solve this problem.REBDCA uses rules to describe data cleansing logic and then uses rules engine to excute it.An integration of REBDCA and ETL tool is presented as an example,and its performance is measured.更多还原