1. 决策树算法简介

决策树是一种流行的监督学习算法，可用于分类和回归任务。它通过从数据特征中学习简单的决策规则来预测目标变量。

2. 关键概念解析

2.1 分割标准

2.2 决策树组成部分

3. Python实现步骤

Python代码示例：

# 导入必要的库
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
import pandas as pd

# 加载数据集
data = pd.read_csv('dataset.csv')

# 准备数据
X = data.drop('target', axis=1)
y = data['target']

# 拆分数据集
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

# 创建决策树分类器
clf = DecisionTreeClassifier(
    max_depth=4, 
    criterion='gini',
    random_state=42
)

# 训练模型
clf.fit(X_train, y_train)

# 进行预测
y_pred = clf.predict(X_test)

# 评估模型
accuracy = accuracy_score(y_test, y_pred)
print(f"模型准确率: {accuracy:.2f}")

4. 实战案例：鸢尾花分类

完整实现代码：

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier, plot_tree
import matplotlib.pyplot as plt

# 加载数据集
iris = load_iris()
X = iris.data
y = iris.target

# 创建决策树分类器
clf = DecisionTreeClassifier(max_depth=3, random_state=42)
clf.fit(X, y)

# 可视化决策树
plt.figure(figsize=(15,10))
plot_tree(clf, 
          feature_names=iris.feature_names, 
          class_names=iris.target_names,
          filled=True, 
          rounded=True)
plt.title("鸢尾花分类决策树")
plt.show()

5. 可视化决策树

6. 参数调优技巧

使用GridSearchCV进行参数调优：

from sklearn.model_selection import GridSearchCV

# 定义参数网格
param_grid = {
    'max_depth': [3, 5, 7, 10],
    'min_samples_split': [2, 5, 10],
    'min_samples_leaf': [1, 2, 4]
}

# 创建GridSearchCV对象
grid_search = GridSearchCV(
    estimator=DecisionTreeClassifier(random_state=42),
    param_grid=param_grid,
    cv=5,
    scoring='accuracy'
)

# 执行网格搜索
grid_search.fit(X_train, y_train)

# 输出最佳参数
print("最佳参数:", grid_search.best_params_)
print("最佳分数:", grid_search.best_score_)

7. 决策树优缺点