Bootstrap
在原有的训练数据集上重复性地随机选取n个数据.

核心思想在于，给定训练集，当你认为给定的训练集不能够很好地反应数据的真实分布时，可以采用重采样的方法，来增大样本.

Bagging
bootstrap aggregating

在原有的训练数据集D DD上，采用bootstrap的方法独立选取m mm个训练集分别训练m mm个分类器/回归，然后组合成最终的分类器/回归.

Bagging的方法能够提升不稳定分类器的识别准确率，因为它有效地平均了多个分类器之间的不稳定性.

Boosting
Boosting同样是生成多个子分类器，但是多个子分类器的产生是有序的，即一个分类器依赖于前一个分类器，并且子分类器着重关注于前一个分类器误分类的样本.

奈斯