系列文章目录机器学习神经网络——Adaboost分离器算法机器学习之SVM分类器介绍——核函数、SVM分类器的使用机器学习的一些常见算法介绍【线性回归，岭回归，套索回归，弹性网络】文章目录系列文章目录前言一、GBDT(GradientBoostingDecisionTree)梯度提升决策树简介1.1、集成学习1.2、Boosting1.3、AdaBoost1.4、GradientBoosting1.5、决策树与CART二、GBDT算法的案例解读2.1、使用梯度提升算法和决策树分类器对手写数字数据进行对比分析2.2、GBDT算法参数的介绍2.3、GBDT适用范围总结前言本文主要介绍GBDT算法，

9.2.1Boosting是什么Boosting是一类算法的统称，翻译成中文为“自适应”算法，它们的主要特点是使用一组弱分类器通过“迭代更新”的方式构造一个强分类器。在每轮迭代中会在训练集上产生一个新的弱分类器，然后使用该弱分类器对所有样本进行分类，从而评估每个样本的重要性。从中文名可以看出来，Boosting算法的每轮学习都会根据数据调整参数，不断提升模型的准确率。Boosting算法的工作机制如图9-3所示。它首先基于训练样本生成一个弱学习器，然后基于弱学习器的表现调整样本分布，即增加错误样本的权重，使其在后续受到更多关注。调整好权重的训练集后，继续生成?一个弱学习器，不断循环这个过程，直

前   言梯度提升机是一个强大的机器学习技术家族，在广泛的实际应用中显示了相当大的成功。它们可以根据应用程序的特定需求进行高度定制，就像学习不同的损失函数一样。这篇文章提供了一个教程，介绍梯度提升方法的方法论，重点关注建模的机器学习方面。理论信息是补充描述性的例子和插图，涵盖梯度推进模型设计的所有阶段。讨论了处理模型复杂性的注意事项。给出了三个梯度助推应用实例，并进行了综合分析。基本原理梯度提升法的主要思想是，先建立一个某种形式的初始模型(线性、样条、树或其他)，称为基学习器;然后检查残差，在残差的基础上围绕损失函数拟合模型。损失函数测量模型和现实之间的差别，例如，在回归问题中可以用误差的平方

前   言梯度提升机是一个强大的机器学习技术家族，在广泛的实际应用中显示了相当大的成功。它们可以根据应用程序的特定需求进行高度定制，就像学习不同的损失函数一样。这篇文章提供了一个教程，介绍梯度提升方法的方法论，重点关注建模的机器学习方面。理论信息是补充描述性的例子和插图，涵盖梯度推进模型设计的所有阶段。讨论了处理模型复杂性的注意事项。给出了三个梯度助推应用实例，并进行了综合分析。基本原理梯度提升法的主要思想是，先建立一个某种形式的初始模型(线性、样条、树或其他)，称为基学习器;然后检查残差，在残差的基础上围绕损失函数拟合模型。损失函数测量模型和现实之间的差别，例如，在回归问题中可以用误差的平方