实验报告4决策树.docxVIP

专业班级：2018164 学号：201816406 姓名：张锦渊 实验4:决策树 实验目的 了解决策树的构建过程和代码实现，应用决策树解决实际问题。 实验准备 安装python和pycharm，了解python基础编程和pycharm使用。 三、实验内容 基于iris数据集，补充完整下面决策树的相关程序，粘贴运行成功的结果截图，并给每行程序添加注释。 #导入数据和包 from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split import numpy as np import matplotlib.pyplot as plt from collections import Counter from math import log iris = load_iris() #加载iris数据集 x = iris.data #特征数据 y = iris.target #分类数据 x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, random_state=666666) #x_train, x_test, y_train, y_test 分别代表训练集特征、测试集特征、训练集目标值、验证集特征。 # test_size 参数代表划分到测试集数据占全部数据的百分比，最后的 random_state 参数表示乱序程度。 #树结构 class Node: def __init__(self,x_data, y_label, dimension, value): self.x_data = x_data #样本数据 self.y_label = y_label #标签 self.dimension = dimension#维度索引 self.value = value#划分特征的数值 self.left = None#左孩子 self.right = None#右孩子 #计算熵H=-p1log(p1)-p2log(p2)-p3log(p3)-……-pnlog(pn) def entropy(y_label): counter = Counter(y_label)#读取数据标签 ent = 0.0#熵值 for num in counter.values():#遍历标签 p = float(num)/len(y_label) #计算每个标签的概率 ent += -p*log(p) #计算熵 return ent#返回熵值 #划分数据集 def split(x_data, y_label, dimension, value): """ x_data:输入特征 y_label:输入标签类别 dimension:选取输入特征的维度索引 value：划分特征的数值 return 左子树特征，右子树特征，左子树标签，右子树标签 """ index_left = (x_data[:, dimension] <= value)#小于为左子树 index_right = (x_data[:, dimension] > value)#大于为右子树 return x_data[index_left], x_data[index_right], y_label[index_left], y_label[index_right]#返回树 #划分一次数据集 #遍历所有维度的特征，不断寻找一个合适的划分数值，找到能把熵降到最低的那个特征和数值 def one_split(x_data, y_label): best_entropy = float('inf') #正无穷 best_dimension = -1#初始化维度索引为-1 best_value = -1#初始化特征数值为-1 for d in range( x_data.shape[1] ): #循环特征 sorted_index = np.argsort(x_data[:, d])#按纬度对数据