|
MapReduce模型下增量重复数据检测方法
|
|
|
| 【文章作者】董富森;杨波;马坤;王文华; |
| 【文章摘要】 针对重复数据检测过程中增量数据重复值检测问题进行分析,在基本近邻排序算法基础上,提出增量近邻排序比较算法。该算法通过跳动窗口形式比较相邻数据,大大减少了数据比较次数;同时引入MapReduce模型对该算法加以改进以提高其海量数据处理的能力。实验表明,改进后的增量近邻排序比较算法在保证检则结果准确的前提下,能够有效提高增量数据重复检测的速度,并且算法具有较高的稳定性,更适应海量数据环境中重复数据检测任务。 |
| 【关 键 字】增量重复数据检测;;跳动窗口;;MapReduce模型 |
|
【期刊】济南大学学报(自然科学版)【卷】【ISSUE】【ISSUEID】
【文章期份】2015
【发布日期】2015/3/24 0:00:00
点击率：1
打印
关闭
|
|