评估⽅法：留出法、交叉验证法、⾃助法、调参与最终模型
基础概念
错误率：分类错误的样本数占总数的⽐例。准确率/精度：分类正确的样本占总数的⽐例。
误差：学习器的实际预测输出与样本的真实输出之间的差异。训练误差/经验误差：学习器在训练集上的误差。泛化误差：在新样本上的误差。
测试集：测试学习器对新样本的判别能⼒。测试集应该尽量与训练集互斥，即测试样本尽量不在训练集中出现、未在训练过程中使⽤过。测试误差：作为泛化误差的近似。
验证集：模型评估与选择中⽤于评估测试的数据集常称为验证集。⽤来进⾏模型选择和调参（挑选超参数）。超参数：开始学习过程之前设置值的参数，不是通过学习算法本⾝学习出来的。
过拟合：把训练样本⾃⾝的特点当作所有潜在样本都会有的⼀般性质，导致泛化能⼒下降。过拟合同样指的是训练误差和测试误差之间的差距过⼤。⽋拟合：对训练样本的⼀般性质尚未学好。模型不能在训练集上获得⾜够低的误差。
留出法
1. 概念：将数据集D划分为两个互斥的集合，其中⼀个集合为训练集S，另⼀个为测试集T，在S上训练出模型后，⽤T来评估其测试误差，作为对泛化误差的估计。
2. 训练/测试集的划分要尽可能保持数据分布的⼀致性（即类别⽐例相似），避免因数据划分过程中引⼊的额外的偏差⽽对最终结果产⽣影响。如果从采样的⾓度来看待数据集的划分过程，则保留类别⽐例的采样⽅式通常称为分层采样。
3. 在使⽤留出法的时候，⼀般要采⽤若⼲次随即划分、重复进⾏实验评估后取平均值作为留出法的结果。4. ⼀般来说，⼤约2/3~4/5的样本⽤于训练，其余⽤于测试。
交叉验证法/k折交叉验证
1. 概念：先将数据集D划分为k个⼤⼩相似的互斥⼦集。每⼀次⽤k-1个⼦集的并集作为训练集，剩下的⼀个⼦集作为测试集；这样就可以获得k组训练/测试集，从⽽可进⾏k次训练和测试，最终返回的是这k个测试结果的均值。
2. 每⼀个⼦集Di都尽可能保持数据分布的⼀致性，即从D中通过分层采样得到。
3. k折交叉验证通常要随机使⽤不同的划分重复p次，最终的评估结果是这p次k折交叉验证结果的均值。⽬的是减⼩因为样本不同⽽引⼊的差别。4. 特例：留⼀法LOO
1. 假定数据集D中包含m个样本，若令k=m，则为交叉验证法的⼀个特例，留⼀法。
2. 优点：留⼀法不受随机样本划分⽅式的影响，因为m个样本只有唯⼀的⽅式划分为m个⼦集，即每⼀个⼦集包含⼀个样本；留⼀法使⽤的训练集与初始数据集相⽐只少了⼀个样本，也就是说留⼀法中被实际评估的模型与期望评估的⽤D训练出的模型很相似。
3. 缺点：在数据集⽐较⼤的时候，训练m个模型的计算开销可能是难以忍受的；留⼀法的估计结果也未必永远⽐其他评估⽅法准确。
⾃助法/可重复采样/有放回采样
1. 概念：以⾃主采样法为基础，给定包含m个样本的数据集D，对它进⾏采样产⽣数据集D’：每次随机从D中挑选⼀个样本，将其拷贝放⼊D'，然后将该样本放回数据集D中，使该样本在下次采样时仍优可能被；重复m次后，得到包含m个样本的数据集D’。2. 样本不被采到的概率：
lim
1
1
m→∞(1−m)m=e≈0.368
3. 包外估计：有⼀部分没有在训练集中出现的样本⽤于测试产⽣的结果称为包外估计。
4. 优点：⾃助法在数据集较⼩、难以有效划分训练/测试集时很有⽤；⾃助法能从初始数据集中产⽣多个不同的训练集，这对集成学习等⽅法有很⼤的好处。5. 缺点：⾃助法产⽣的数据集改变了初始数据集的分布，这会引⼊估计偏差。
调参与最终模型
机器学习的两类参数
1. 算法的参数，也称为超参数。数⽬⼀般在⼗个以内。通常由⼈⼯设定多个参数候选值后产⽣模型。2. 模型的参数。数⽬⼀般很多。通常是通过学习来产⽣多个候选模型。
调参的常规做法：对每⼀个参数选定⼀个范围和变化步长，例如在[0,0.2]范围内以0.05为步长，则实际要评估的候选参数值有5个。
最终提交的模型：给定包含m个样本的数据集，为了进⾏评估测试，事实上我们只⽤了⼀部分的数据训练模型。当模型选择完毕后，应该⽤数据集D重新训练模型，使⽤所有的m个样本，这就是最终提交的模型。
