类似，Gain(income) = 0.029, Gain(student) = 0.151, Gain(credit_rating)=0.048

• 树以代表训练样本的单个结点开始（步骤1）。
• 如果样本都在同一个类，则该结点成为树叶，并用该类标号（步骤2 和3）。
• 否则，算法使用称为信息增益的基于熵的度量作为启发信息，选择能够最好地将样本分类的属性（步骤6）。该属性成为该结点的“测试”或“判定”属性（步骤7）。在算法的该版本中，
• 所有的属性都是分类的，即离散值。连续属性必须离散化。
• 对测试属性的每个已知的值，创建一个分枝，并据此划分样本（步骤8-10）。
• 算法使用同样的过程，递归地形成每个划分上的样本判定树。一旦一个属性出现在一个结点上，就不必该结点的任何后代上考虑它（步骤13）。
• 递归划分步骤仅当下列条件之一成立停止：
• (a) 给定结点的所有样本属于同一类（步骤2 和3）。
• (b) 没有剩余属性可以用来进一步划分样本（步骤4）。在此情况下，使用多数表决（步骤5）。
• 这涉及将给定的结点转换成树叶，并用样本中的多数所在的类标记它。替换地，可以存放结
• 点样本的类分布。
• (c) 分枝
• test_attribute = a i 没有样本（步骤11）。在这种情况下，以 samples 中的多数类
• 创建一个树叶（步骤12）

3 基于python代码的决策树算法实现：预测顾客购买商品的能力

3.1 机器学习的库：scikit-learnPython

scikit-learnPython，其特性简单高效的数据挖掘和机器学习分析，简单高效的数据挖掘和机器学习分析，对所有用户开放，根据不同需求高度可重用性，基于Numpy, SciPy和matplotlib，开源，商用级别：获得 BSD许可。scikit-learn覆盖分类（classification), 回归（regression), 聚类（clustering), 降维(dimensionality reduction)，模型选择(model selection), 预处理(preprocessing)等领域。

• 安装scikit-learn: pip, easy_install, windows installer，安装必要package：numpy， SciPy和matplotlib， 可使用Anaconda (包含numpy, scipy等科学计算常用package）
• 安装注意问题：Python解释器版本（2.7 or 3.4？）, 32-bit or 64-bit系统

3.3 运行效果如下：

其中，datafile存放模型训练数据集和测试数据集，TarFile是算法生成文本形式的dot文件和转化后的pdf图像文件，两个py文件，一个是训练算法一个是测试训练结果。右侧预测值【0 1 1】代表三条测试数据，其中后两条具备购买能力。具体算法和细节下节详解。

3.4 具体算法和细节

python中导入决策树相关包文件，然后通过对csv格式转化为sklearn工具包中可以识别的数据格式，再调用决策树算法，最后将模型训练的结果以图形形式展示。

from sklearn.feature_extraction import DictVectorizer
import csv
from sklearn import tree
from sklearn import preprocessing
from sklearn.externals.six import StringIO

读取csv文件，将其特征值存储在列表featureList中，将预测的目标值存储在labelList中

'''
Description:python调用机器学习库scikit-learn的决策树算法，实现商品购买力的预测，并转化为pdf图像显示
Author:Bai Ningchao
DateTime:2016年12月24日14:08:11
Blog URL:http://www.cnblogs.com/baiboy/
'''
def trainDicisionTree(csvfileurl):
    '读取csv文件，将其特征值存储在列表featureList中，将预测的目标值存储在labelList中'

    featureList = []
    labelList = []

    #读取商品信息
    allElectronicsData=open(csvfileurl)
    reader = csv.reader(allElectronicsData)                  #逐行读取信息
    headers=str(allElectronicsData.readline()).split(',')    #读取信息头文件
    print(headers)

　　运行结果：

存储特征数列和目标数列

    '存储特征数列和目标数列'
    for row in reader:
        labelList.append(row[len(row)-1])  #读取最后一列的目标数据
        rowDict = {}                       #存放特征值的字典
        for i in range(1, len(row)-1):
            rowDict[headers[i]] = row[i]
            # print("rowDict:",rowDict)
        featureList.append(rowDict)
    print(featureList)
    print(labelList)

　　运行结果：

将特征值数值化

'Vetorize features:将特征值数值化'
    vec = DictVectorizer()    #整形数字转化
    dummyX = vec.fit_transform(featureList) .toarray()   #特征值转化是整形数据

    print("dummyX: " + str(dummyX))
    print(vec.get_feature_names())

    print("labelList: " + str(labelList))

    # vectorize class labels
    lb = preprocessing.LabelBinarizer()
    dummyY = lb.fit_transform(labelList)
    print("dummyY: \n" + str(dummyY))

　　运行结果：

如上算法就是将商品信息转化为机器学习决策树库文件可以识别的形式，即如下形式：

使用决策树进行分类预测处理

    '使用决策树进行分类预测处理'
    # clf = tree.DecisionTreeClassifier()
    #自定义采用信息熵的方式确定根节点
    clf = tree.DecisionTreeClassifier(criterion='entropy')
    clf = clf.fit(dummyX, dummyY)
    print("clf: " + str(clf))

    # Visualize model
    with open("../Tarfile/allElectronicInformationGainOri.dot", 'w') as f:
        f = tree.export_graphviz(clf, feature_names=vec.get_feature_names(), out_file=f)

　　运行结果：

将其转化为图像形式展示，需要下载插件：安装 下载Graphviz：

一路安装下来，然后打开cmd进入dos环境下，并进入../Tarfile/Tname.dot路径下;#2 输入dot -Tname.dot -o name.pdf命令，将dos转化为pdf格式

打开文件可见：