前言
第1章 绪论
导读
本章知识点
1.1 机器学习简述
1.2 机器学习发展历史
1.3 机器学习基本概念
1.3.1 机器学习术语
1.3.2 机器学习基本要素
1.3.3 过拟合与欠拟合
1.3.4 评估方法与性能度量
1.4 机器学习应用现状
思考题与习题
参考文献
第2章 机器学习的数学基础
导读
本章知识点
2.1 线性代数
2.1.1 线性空间
2.1.2 范数
2.1.3 矩阵
2.1.4 特征值与特征向量
2.1.5 奇异值分解
2.2 概率与信息论
2.2.1 随机变量与概率分布
2.2.2 期望、方差与协方差
2.2.3 常用概率分布
2.2.4 熵、互信息、KL散度
2.3 最优化理论
2.3.1 多元函数
2.3.2 梯度下降法
2.3.3 拉格朗日对偶性
思考题与习题
参考文献
第3章 回归模型
导读
本章知识点
3.1 引言
3.2 一元线性回归
3.3 多元线性回归
3.3.1 线性回归模型
3.3.2 最小二乘法
3.3.3 梯度下降算法
3.4 多项式回归
3.5 正则化方法
3.6 逻辑回归
3.6.1 逻辑回归模型
3.6.2 交叉熵损失
3.7 应用案例
3.7.1 简单的逻辑回归
3.7.2 多元线性回归
思考题与习题
参考文献
第4章 决策树
导读
本章知识点
4.1 引言
4.2 决策树学习算法的基本框架
4.2.1 终止条件
4.2.2 基本框架
4.3 属性选择
4.3.1 数据集的熵
4.3.2 信息增益
4.3.3 信息增益率
4.4 属性测试
4.5 剪枝处理
4.5.1 过拟合
4.5.2 预剪枝
4.6 应用案例
思考题与习题
参考文献
第5章 支持向量机
导读
本章知识点
5.1 引言
5.2 硬间隔线性支持向量机
5.2.1 基本问题
5.2.2 函数间隔与几何间隔
5.2.3 最大间隔分类器
5.2.4 求解支持向量机的原始问题
5.2.5 支持向量机的对偶问题
5.3 软间隔线性支持向量机
5.3.1 软间隔在实际问题中的优化
5.3.2 合页损失
5.4 核支持向量机
5.4.1 模型
5.4.2 常用的核函数
5.5 应用案例
思考题与习题
参考文献
第6章 贝叶斯分类器
导读
本章知识点
6.1 引言
6.2 贝叶斯决策论
6.3 极大似然估计
6.4 朴素贝叶斯分类器
6.5 应用案例
思考题与习题
参考文献
第7章 聚类
导读
本章知识点
7.1 引言
7.2 聚类基本原理
7.2.1 聚类任务描述
7.2.2 相似性度量
7.2.3 类间距离
7.3 聚类算法
7.3.1 Kmeans聚类算法
7.3.2 DBSCAN聚类算法
7.3.3 层次聚类算法
7.4 应用案例
思考题与习题
参考文献
第8章 集成学习
导读
本章知识点
8.1 引言
8.2 集成学习基本原理
8.2.1 集成学习的结构
8.2.2 集成学习理论分析
8.2.3 集成学习的类型
8.3 集成策略
8.3.1 平均法
8.3.2 投票法
8.3.3 学习法
8.4 集成学习主要算法
8.4.1 Bagging方法
8.4.2 Boosting方法
8.4.3 Stacking方法
8.5 应用案例
思考题与习题
参考文献
第9章 降维
导读
本章知识点
9.1 引言
9.2 线性降维方法
9.2.1 主成分分析法
9.2.2 线性判别分析
9.2.3 多维尺度变换
9.3 非线性降维方法
9.3.1 等度量映射
9.3.2 局部线性嵌入
9.4 应用案例
思考题与习题
参考文献
第10章 神经网络
导读
本章知识点
10.1 前馈神经网络
10.1.1 神经网络基本概念
10.1.2 感知机和前馈神经网络
10.1.3 神经网络训练
10.1.4 激活函数
10.2 卷积神经网络
10.2.1 卷积神经网络组成
10.2.2 卷积层
10.2.3 池化层
10.2.4 全连接层
10.2.5 应用案例
10.3 循环神经网络
10.3.1 循环神经网络
10.3.2 长短期记忆网络
10.3.3 门控循环单元网络
10.3.4 应用案例
10.4 Transformer
10.4.1 位置编码
10.4.2 自注意力机制
10.4.3 多头注意力机制
10.4.4 应用案例
思考题与习题
参考文献