|
|
|
|
【英文篇名】 |
Violations Detection of Multiple Functional Dependencies in Distributed Big Data |
|
【下载频次】 |
★★★★★ |
|
【作者】 |
李卫榜;
李战怀;
姜涛; |
|
【英文作者】 |
LI Wei-Bang;
LI Zhan-Huai;
JIANG Tao;
College of Computer Science;
Northwestern Polytechnical University; |
|
【作者单位】 |
西北工业大学计算机学院; |
|
【文献出处】 |
计算机学报
, Chinese Journal of Computers, 编辑部邮箱
2017年 01期
期刊荣誉：中文核心期刊要目总览 ASPT来源刊 中国期刊方阵 CJFD收录刊 |
|
【中文关键词】 |
函数依赖;
冲突检测;
不一致性;
分布式数据;
大数据; |
|
【英文关键词】 |
functional dependency;
violations detection;
inconsistency;
distributed data;
big data; |
|
【摘要】 |
关系数据库数据质量的一个主要问题是存在数据不一致现象.为找出不一致数据,需要进行函数依赖冲突检测.集中式数据库中可以通过SQL技术检测不一致情况,而分布式环境下的函数依赖冲突检测更富有挑战性,特别是大数据背景下,这个问题尤为突出.分布式环境下的函数依赖冲突检测通常需要进行数据迁移,而且不同的数据迁移方法会对检测效率产生一定的影响.该文提出了一种基于等价类的分布式环境多个函数依赖冲突检测的方法,给出了冲突检测的响应时间代价模型.由于分布式环境函数依赖冲突检测问题的任务分配问题为NP-难问题,多项式时间内难以得到最优解,该文将不一致性检测响应时间最小化问题转化为整数规划问题,并给出了近似最优解.针对集群规模和函数依赖个数大小不同的情况,分别给出了不同的任务分配策略,并在检测过程中实现了动态负载均衡,有效提高了负载均衡度和检测效率.在真实和人工数据集上的实验表明,相对于集中式检测方法以及基于Hadoop的naive方法,该文提出的多函数依赖冲突检测方法检测效率有明显的提升,且在数据规模、节点个数和函数依赖个数等方面扩展性能良好. |
|
【英文摘要】 |
One major problem of data quality in relational database is data inconsistency.To find out the inconsistent data in the relational database,we need to detect the functional dependency violations.It is easy to detect dependency violations in centralized databases via SQL-based techniques.However,it is far more challenging to check dependency violations in distributed databases,especially with big data.It is usually necessary to ship data from one site to another when detecting functional dependency violation... |
|
【基金】 |
国家“九七三”重点基础研究发展规划项目基金(2012CB316203);
国家自然科学基金(61502390,61472321,61332006,61272121);
国家“八六三”高技术研究发展计划项目基金(2015AA015307)资助~~ |
|
【更新日期】 |
2017-02-13 |
|
【分类号】 |
TP311.13 |
|
【正文快照】 |
然科学基金(61502390,61472321,61332006,61272121)、国家“八六三”高技术研究发展计划项目基金(2015AA015307)资助.李卫榜,男,1979年生,博士研究生,主要研究方向为数据质量、大数据、海量数据计算.E-mail:wbli2003@163.com.李战怀,男,1961年生,博士,教授,中国计算机学会(CCF) |
|
| 【相似文献】 |
 |
中国期刊全文数据库 |
 |
|
|
中国优秀硕士学位论文全文数据库 |
|
|
|
中国博士学位论文全文数据库 |
|
|
|
中国重要会议论文全文数据库 |
|
|
|
中国重要报纸全文数据库 |
|
|
|
中国学术期刊网络出版总库 |
|
|
|
|
点击下列相关研究机构和相关文献作者，可以直接查到这些机构和作者被《中国知识资源总库》收录的其它文献，使您全面了解该机构和该作者的研究动态和历史。
|
|
【文献分类导航】从导航的最底层可以看到与本文研究领域相同的文献，从上层导航可以浏览更多相关领域的文献。
|
|
|
| 
推荐 
