逻辑回归参数训练过程的MapReduce 并行化实现.pdf

广东技术师范学院学报（ 自然科学） 年第 期 ， 2015 5 Journal of Guangdong Polytechnic Normal University No．5 2015 逻辑回归参数训练过程的MapReduce 并行化实现 高 婕 （广东技术师范学院 计算机科学学院，广东 广州 510665 ） 摘 要 ： 在逻辑回归算法的实际工程应用中， 传统的单机参数训练方法在处理大规模的数据时效 率低下 采用并行计算框架实现对训练数据的并行处理， 能够有效解决这一问题 基于 分 . . MapReduce 布式并行计算框架，提出逻辑回归参数训练过程在 MapReduce 集群上的实现方法并用实验加以验证 . 关键词：逻辑回归；参数训练；MapReduce ；并行化 中图分类号：TP 39 文献标识码 ：B 文章编号 ：1672 - 402X （2015 ）05 - 0039 - 03 DOI:10.13408/ki.gjsxb.2015.05.011 于某个特定分类 的概率密度函数为 C : 0 引言 1 h θ （x ）= （ T ） （ 1 ） - θ x 近年来 ， 以逻辑回归、 神经网络、 支持向量 1+e 机为代表的监督式机器学习算法在模式识别领 其中 ，θ 为逻辑回归模型特征系数向量 ，x 域得到了广泛的应用 一般而言，这些机器学习 . 为该数据样本的特征值向量. 算法的训练数据规模越大， 其预测模型的精度 为 （ ） 设定一个阈值 ：当 （ ） 时逻 h x t h x ≥t θ θ 越高 比如使用逻辑回算法判断肿瘤是否为恶 . 辑回归算法则判定该样本属于某一特定分类 ， 性，为提高判断的准确性，工程人员可能需要训 反之亦然 在实际运用中，模型的特征系数向量 . 练 级别的数据来得到精准的预测模型 如使 PB . 往往是未知的 因此， 需要根据样本数据搜索 θ . 用单计算节点来训练模