北航机器学习复习笔记.pdf

机器学习复习笔记 by 慕弋云子 目录 第一章 概述 1 1.什么是学习？ 1 2.什么是机器学习？ 1 3.与机器学习相关课程/领域？ 1 4.基本概念2 5.机器学习分类？2 6.NFL （没有免费的午餐）定理内容？2 7.机器学习的目标？2 第二章 线性回归2 1.曲线拟合时，避免过拟合的一些方法？2 2. 贝叶斯（Bayes ）公式及其含义？2 3.贝叶斯概率练习题2 4. 回归模型3 5. 回归的基本思想3 6. 回归模型有哪些优化方法？3 7.什么是标准方程/正规方程？4 8.看曲线拟合的两种角度4 9.非参数估计的思想4 第三章 混合模型和聚类5 1.什么是聚类，有什么应用？5 2.简述k-means 算法流程5 3.简述高斯混合模型（GMM ）5 4.GMM 的一些应用6 第四章 线性分类6 1.什么是先验（A Priori ）概率、后验（A Posteriori ）概率6 2. 贝叶斯决策规则主要有哪些？7 3.贝叶斯决策例题7 4.线性判别的思想7 5.Fisher 准则的思想8 6.感知机准则的思想8 7.感知机准则例题9 8.最小二乘准则思想9 第五章 支持向量机9 1.生成式（Generative ）模型与判别式（Discriminative ）模型9 2.什么是支持向量机（SVM），其特点是什么？ 10 3.软间隔支持向量机的思想 10 4.核技巧的思想是什么，有哪些常用的核函数？ 10 第六章 采样方法 11 1.蒙特卡洛方法的思想 11 2.基本采样法的思想及例题 11 3.接受-拒绝采样的思想及步骤 11 4.什么是马尔科夫链？ 12 5.马尔科夫链例题（阶级固化） 12 6.简述M-H 方法的思想 12 7.Gibbs 采样与M-H 方法的关系 13 第七章 概率图模型 13 1.什么是概率图模型（PGM ）？有哪些常见的概率图模型？ 13 2. 贝叶斯网络联合概率密度计算 13 3.判断条件独立性 13 4.什么是隐马尔可夫模型（HMM ） 14 5.HMM 的两个基本假设和三个基本问题及对应的算法 14 6.什么是条件随机场（CRF ） 14 第八+九章 神经网络 14 1.什么是人工神经元的M-P 模型？画出模型并写出表达式。 15 2.什么是感知机模型？相对M-P 模型有何区别？ 15 3.感知机模型有何局限性，如何解决？ 15 4.推导BP 反向传播算法的过程？ 15 5.人工神经网络的优化方法有哪些，各有什么优劣？ 16 6.什么是梯度消失问题？有哪些解决方法？ 16 第十章 决策树 17 1.什么是决策树？ 17 2.构建决策树的基本过程，有哪些决策树算法？ 17 3.什么是ID3 决策树？ 17 4.ID3 例题（见ppt ） 18 5.什么是C4.5 决策树，与ID3 的区别？ 18 6.什么