最近写毕业设计，开始看周志华的西瓜书。写一写笔记把新名词记录下，方便日后复习。

第一章

预测的是离散值成为分类，预测的是连续值成为回归， 对只涉及两个类别的”二分 类” (binary cl sification) 任务，通常称其中一个类为 “正类” 。另一个类为”反类” (negative class); 涉及多个类别时，则称为”多分 类” (multi-class classification）叫任务 。

聚类：将训练集中的数据分成若干 组，每组称为 个”簇” (cluster); 根据训练数据是否有标记信息，分为监督学习和无监督学习，分类和回归是前者的代表，聚类是后者的代表。 泛化能力：学得的模型适用于新样本。

版本空间：与训练值一致的假设集合。

偏好/归纳偏好： 算法在学习过程中对某种类型假设的偏好。 任何一个有效的机器学习算法必有其归纳偏好，否则它将被假设空间中看 似在训练集上”等效”的假设所迷惑，而无法产生确定的学习结果.。

奥卡姆剃刀： 若有多个假设与观察一致，则选最简单的那个。 对于一个算法，在某些问题上算法A比算法B好，则必然在另一些问题上，算法B比算法A好。

没有免费的午餐（NFL） ： 无论学习算法A多聪明、学习算法B多笨拙，它们的期望性相同。 NFL 走理最重要的寓意是让我们清楚地认识到，脱离具体问题，空泛地谈论”什么学习算法更好”毫无意义，因为若考虑所有潜在的问题。所有学习算法都一样好。要谈论算法的相对优劣，必须要针对具体的学习问题；在某些问题上表现好的学习算法，在另一些问题上却可能不尽如人意，学习算法自身的归纳偏好与问题是否相配，往往会起到决定性的作用。

机器学习 | 机器学习能在互联网搜索的哪些环节起什么作用 – 知乎 (zhihu.com)