python决策树之CART分类回归树详解

决策树之CART（分类回归树）详解，具体内容如下

1、CART分类回归树简介

  CART分类回归树是一种典型的二叉决策树，可以处理连续型变量和离散型变量。如果待预测分类是离散型数据，则CART生成分类决策树；如果待预测分类是连续型数据，则CART生成回归决策树。数据对象的条件属性为离散型或连续型，并不是区别分类树与回归树的标准，例如表1中，数据对象xi的属性A、B为离散型或连续型，并是不区别分类树与回归树的标准。

表1

2、CART分类回归树分裂属性的选择

  2.1 CART分类树——待预测分类为离散型数据

  选择具有最小Gain_GINI的属性及其属性值，作为最优分裂属性以及最优分裂属性值。Gain_GINI值越小，说明二分之后的子样本的“纯净度”越高，即说明选择该属性（值）作为分裂属性（值）的效果越好。
  对于样本集S，GINI计算如下：

其中，在样本集S中，Pk表示分类结果中第k个类别出现的频率。

  对于含有N个样本的样本集S，根据属性A的第i个属性值，将数据集S划分成两部分，则划分成两部分之后，Gain_GINI计算如下：

其中，n1、n2分别为样本子集S1、S2的样本个数。

  对于属性A，分别计算任意属性值将数据集划分成两部分之后的Gain_GINI，选取其中的最小值，作为属性A得到的最优二分方案：

对于样本集S，计算所有属性的最优二分方案，选取其中的最小值，作为样本集S的最优二分方案：

所得到的属性A及其第i属性值，即为样本集S的最优分裂属性以及最优分裂属性值。

  2.2 CART回归树——待预测分类为连续型数据

  区别于分类树，回归树的待预测分类为连续型数据。同时，区别于分类树选取