基于MapReduce的决策树算法并行化

陆秋;程小辉

【期刊名称】《计算机应用》 【年(卷),期】2012(32)9

【摘 要】In view of that the traditional decision tree algorithm that cannot solve the mass data mining and the multi-value bias problem of ID3 algorithm, the paper designed and realized a parallel decision tree classification algorithm based on the MapReduce framework. This algorithm adopted attribute similarity as the choice standard to avoid the multi-value bias problem of ID3 algorithm, and used the MapReduce model to solve the mass data mining problems. According to the experiments on the Hadoop cluster set up by ordinary PCs, the decision tree algorithm based on MapReduce can deal with massive data classification. What's more, the algorithm has good expansibility while ensuring the classification accuracy and can get close to linear speedup rate.%针对传统决策树算法不能解决海量数据挖掘以及ID3算法的多值偏向问题,设计和实现了一种基于MapReduce架构的并行决策树分类算法.该算法采用属性相似度作为测试属性的选择标准来避免ID3算法的多值偏向问题,采用

MapReduce模型来解决海量数据挖掘问题.在用普通PC搭建的Hadoop集群的实验结果表明:基于MapReduce的决策树算法可以处理大规模数据的分类问题,具有较好的可扩展性,在保证分类正确率的情况下能获得接近线性的加速比. 【总页数】4页(P2463-2465,2469)

【作 者】陆秋;程小辉

【作者单位】桂林理工大学信息科学与工程学院,广西桂林541004;桂林理工大学信息科学与工程学院,广西桂林541004 【正文语种】中 文 【中图分类】TP311.133.2 【相关文献】

1.基于MapReduce的电信客户流失决策树算法研究 [J], 刘静;李跃辉;杨苗苗;许静

2.基于MAPREDUCE并行化处理的用户地址数据规范化存储与管理系统设计 [J], 陈孝文;陈宁;李蕊;张应斌;董卫魏;许家伟;林树鸿

3.基于MapReduce的ID3决策树算法并行化 [J], 郑少微;孔华锋 4.基于MapReduce并行化计算的大数据聚类算法 [J], 张文杰; 蒋烈辉 5.基于MapReduce的模糊K-means算法并行化研究 [J], 杨延庆;袁华兵

因版权原因，仅展示原文概要，查看原文内容请购买