Summary Introduction 第四章：K近邻算法 4-1 K近邻算法 4-2 scikit-learn中的机器学习算法的封装 4-3 训练数据集，测试数据集 4-4 分类准确度 4-5 超参数 4-6 网格搜索 4-7 数据归一化 Feature Scaling 4-8 scikit-learn中的Scaler 4-9 更多有关K近邻算法的思考 第五章：线性回归法 5-1 简单线性回归 5-2 最小二乘法 5-3 简单线性回归的实现 5-4 参数计算向量化 5-5 衡量线性回归算法的指标 5-6 最好的衡量线性回归法的指标 R Squared 5-7 简单线性回归和正规方程解 5-8 实现多元线性回归 5-9 scikit-learn中的回归算法 5-10 线性回归的可解释性和更多思考 第六章：梯度下降法 6-1 什么是梯度下降法 6-2 模拟实现梯度下降法 6-3 多元线性回归中的梯度下降法 6-4 在线性回归模型中使用梯度下降法 6-5 梯度下降的向量化 6-6 随机梯度下降 6-7 代码实现随机梯度下降 6-8 调试梯度下降法 6-9 有关梯度下降法的更多深入讨论 第七章：PCA与梯度上升法 7-1 什么是PCA 7-2 使用梯度上升法求解主成分分析问题 7-3 代码实现主成分分析问题 7-4 求数据的前N个主成分 7-5 高维数据向低维数据映射 7-6 scikit learn中的PCA 7-7 MNIST数据集 7-8 使用PCA降噪 7-9 人脸识别和特征脸(未完成) 第八章：多项式回归与模型泛化 8-1 什么是多项式回归 8-2 scikit-learn中的多项式回归和pipeline 8-3 过拟合和欠拟合 8-4 为什么要训练数据集和测试数据集 8-5 学习曲线 8-6 验证数据集与交叉验证 8-7 偏差方差权衡 Bias Variance Trade off 8-8 模型正则化 Regularization 8-9 LASSO Regularization 8-10 L1,L2和弹性网络 第九章：逻辑回归 9-1 逻辑回归 Logistic Regression 9-2 逻辑回归的损失函数 9-3 逻辑回归算法损失函数的梯度 9-4 实现逻辑回归算法 9-5 决策边界 9-6 在逻辑回归中使用多项式特征 9-7 scikit-learn中的逻辑回归 9-8 OvR与OvO 第十章：评价分类结果 10-1 准确度的陷阱和混淆矩阵 10-2 精确率和召回率 10-3 实现混淆矩阵、精准率、召回率 10-4 F1 score 10-5 Precision-Recall平衡 10-6 precision-recall曲线 10-7 ROC曲线 10-8 多分类问题中的混淆矩阵 第十一章：支撑向量机 SVM 11-1 什么是支撑向量机 11-2 支撑向量机的推导过程 11-3 Soft Margin和SVM的正则化 11-4 scikit-leran中的SVM 11-5 SVM中使用多项式特征 11-6 什么是核函数 11-7 高斯核函数 11-8 scikit-learn中的高斯核函数 11-9 SVM思想解决回归问题 第十二章：决策树 12-1 什么是决策树 12-2 信息熵 12-3 使用信息寻找最优划分 12-4 基尼系数 12-5 CART和决策树中的超参数 12-6 决策树解决回归问题 12-7 决策树的局限性 第十三章：集成学习和随机森林 13-1 什么是集成学习 13-2 soft voting 13-3 bagging和pasting 13-4 更多关于bagging的讨论 13-5 随机森林和extra-trees 13-6 ada boosting和gradiesnt boosting 13-7 Stacking