首页 > 期刊 > 自然科学与工程技术 > 工程科技II > 综合科技B类综合 > 太原科技大学学报 > 基于MapReduce的并行加权k近邻与离群检测 【正文】

基于MapReduce的并行加权k近邻与离群检测

郭娟娟; 赵旭俊; 张继福 太原科技大学计算机科学与技术学院; 太原030024
  • 并行计算
  • 加权k近邻
  • 离群检测

摘要:利用MapReduce编程模型,提出一种并行的加权k近邻与离群检测方法WKNNOM-MR.该算法首先对输入数据随机均匀采样,在样本数据集中采用信息熵计算各个属性的权值;然后在集群中的数据节点上对输入数据进行加权,并将其映射到Z-order空间填充曲线,给出了一种基于Z-order的加权k近邻查询方法;根据每个对象与其加权k近邻之间的距离计算离群因子,在兼顾最小距离与平均距离的基础上,给出离群点检测算法;最后在具有5个节点的Hadoop集群上实现该算法,并采用人工合成数据集、UCI标准数据集进行实验,结果验证了该算法的有效性、可扩展性和可伸缩性。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

投稿咨询 免费咨询 杂志订阅

我们提供的服务

服务流程: 确定期刊 支付定金 完成服务 支付尾款 在线咨询