《机器学习》习题参考解答：.docVIP

《机器学习》习题参考解答： 注意：以下答案仅作参考，如发现有问题或者错误，请及时反馈。 第四章部分习题解答 4.1 解答： 因为o=sgn(w0+w1x1+w2x2)，且感知器的决策面的平面方程一定满足：w0+w1x1+w2x2 =0 ，且平面以上的为正，平面以下的为负。 又由题中的误差曲面与x1轴相交在x1 = -1，与x2轴相交在x2 = 2。所以有,x1,x2满足（-1，0），（0，2），于是有： 即， 解方程组得： 解得：w的通解为（-k，-k，0.5k），其中k为正实数。 注意：中文版对decision surface的翻译有错误，不应翻译为误差曲面，而应该翻译为决策（曲）面。 此习题的答案不唯一，因为w0可以取不同的值。 4.2 1）解答： 假设感知器的两输入为A，B, 设A, B 取值分别为1（对应TRUE）， -1(对应FALSE)。 则 f(A,B)= A∩﹁B =A AND NOT(B)=sgn(0.5A-0.5B-0.2) 设计出的感知器为： A∩﹁B =sgn(0.5A-0.5B-0.2) 2) 解答：A XOR B=(A∩﹁B)∪(﹁A∩B) =sgn(0.5A-0.5B-0.2) OR sgn(0.5B-0.5A-0.2) =sgn(0.5sgn(0.5A-0.5B-0.2)+0.5sgn(0.5B-0.5A-0.2)+0.1) 注意：答案并不唯一，其中的系数可在一定范围内调整。 4.5解： 设D为训练样例的集合，td为训练样例的d的目标输出，od为训练样例的输出。E对于w的梯度为： 而 由得: 因，即。 所以 4.9 解答： 如果采用在输出层使用sigmoid单元，那么只有一个隐层结点的神经网络不能正确学习这些训练样例。虽然这个单一的隐层结点能够区分8种不同输入状态（输入权值依次为0.1,0.2,……,0.8，偏移为0），但在输出层无法正确解码。这是因为对于任意一个输出结点而言，其加权和函数都是一元的，并且是单调的（形如w0+w*x），所以无法对x=0.1和x=0.3都输出一个较小值同时仅对x=0.2，输出一个较大值。因此具有这种结构的神经网络无法正确学习这些样例。 第六章部分习题解答 6.1 解答 由已知， P(cancer)=0.008, P(﹁cancer)=0.992 P(+|cancer)=0.98, P(-|cancer)=0.02 P(+|﹁cancer)=0.03, P(-|﹁cancer)=0.97 该病人连续两次化验结果均为+,根据极大后验假设计算公式，以及两次测试的独立性假定，得： P(+,+|cancer)P(cancer) =P(+|cancer)P(+|cancer)P(cancer)=0.98*0.98*0.008=0.0076832 P(+,+|﹁cancer)P(﹁cancer) =P(+|﹁cancer) P(+|﹁cancer)P(﹁cancer)=0.03*0.03*0.992=0.0008928 由以上数据可得：hMAP=cancer即应将该病人判定为患有该类型的癌症。 6.2证明 依据全概率公式，因为cancer与?cancer互斥，P(cancer)+P(?cancer)=1,所以 P(+) = P(+|cancer)P(cancer) + P(+|?cancer)P(?cancer)。 因此，根据贝叶斯公式，和全概率公式，有。 6.6解答： 由于朴素Bayes分类器要求各属性之间在给定分类结果的条件下条件独立，因此有： 与Wind结点关联的条件概率表： P(Wind=Weak | PlayTennis=Yes) = 6/9=0.667 P(Wind=Strong | PlayTennis=Yes) = 3/9=0.333 P(Wind=Weak | PlayTennis=No) = 2/5=0.4 P(Wind=Strong | PlayTennis=No) = 3/5=0.6 或者： 与结点Wind 关联的条件概率表（Conditional probability table）如下： PlayTennis=Yes PlayTennis=No Wind=Strong 0.333 0.60 Wind=Weak 0.667 0.40 第八章习题解答 8.1 解答： 因此， 8.2 解答 （D’ 用个点<x,f(x)> 的拷贝替代原来的一个点<x,f(x)>, 可假定为整数，否则可以考虑四舍五入） = 因此， 该法则与(8.6)的不同：该法则使靠近查询实例xq的训练样例对权值更新量的贡献较大。 该法则与(8.7)的不同：该法则使所有训练样例对权值的更新都有贡献，而不仅仅是