规则化与模型选择
这部分的内容主要是模型选择、特征选择以及使用参数的最大后验概率来规避最大似然估计可能出现的过拟合问题。
- 模型选择的主要方法有保留交叉验证、k重交叉验证、留1交叉验证。
- 特征选择的主要方法有封装特征选择（前向搜索与后向搜索的启发式算法）、过滤特征选择（计算特征与标签之间的互信息进行排名的启发式算法）
- 最大后验概率是最大似然估计与贝叶斯估计融合的产物，最大似然估计与贝叶斯估计分别是频率学派与贝叶斯学派的代表，目前内容所涉及到的区别主要是频率学派认为模型的参数是一个固定不变的未知值，而贝叶斯学派认为参数是一个具有先验分布的未知值，在知乎上看到一个回答很有趣，其大意为你打麻将的时候，根据麻将规则，某人P有一张牌A，如果他出了胜算更大，但是根据观察他没有出这张牌，如果你是是频率学派，那么你会单纯的根据你所已经观察到的牌去推断你摸到牌A的概率，即P是没有这张牌的，没有出现的牌一定还在剩余的牌里，如果你是贝叶斯学派，除了观察已经出现的牌，你还会根据别人所打出的牌（对方是否有什么套路，有牌但是还没打出），打牌人之间的关系(是否有喂牌情况，故意让别人所以不出)去得到摸出牌A的先验概率，不断修正你摸到牌A的概率。当然，这些估计方法与学派之间的区别不仅是这样，有必要专门学习一下。