机器学习01-基本概念

没有免费午餐定理 (No Free Lunch Theorem)

内容：如果我们不对特征空间有先验假设，则所有算法的平均表现是一样的。

我们认为：特征差距小的样本更有可能是统一类。

总结：算法的优劣，与特征空间的假设有关，与具体情况有关。机器学习领域，没有所谓的最好的算法。

机器学习算法种类

1. 有监督学习（数据+标签）：SVM（支持向量机），神经网络
2. 无监督学习（只有数据，没有标签）：CLUSTERING，EM算法，PCA
3. 半监督学习（数据一部分有标签，一部分没有）
4. 增强学习（Reinforcement learning，与上面三个预测标签不同，更关注最后的结果）

根据标签的性质不同分为：

1. 聚类（Classification）：标签的值是离散的
2. 回归（Regression）：标签的值是连续的

注意 这两种分类没有特别明显的区别。