最常见的基本数据集是 ImageNet，它包含 120 万个图像、1000 个类别 。这些类别主要被分为两大类：动物和物体 。每个类别的图像数量大约为 1000 个 。大多数深度学习库都提供在 ImageNet 上预训练的 CNN 模型 。
在下图中，我们可以看到上述提到的两种迁移学习策略 。我们在 ImageNet 上使用了一个预训练的 CNN，并将 Simpsons 数据集的子集 Homer Simpson 作为目标集，用该网络对其进行分类 。这个子集包含 20 个类，每个类有 300-1000 个图像 。
然后，我们可以使用冻结与训练，只训练最后一层（如图上方所示）；或者微调所有层（如图下方所示） 。
微调 VS 冻结
我们很难知道在何种情况下应该只训练最后一层，在何种情况下应该微调网络 。在「How transferable are features in deep neural networks?」(Yosinsky et. al., 2014) 中，作者解决了在 ImageNet 数据集中量化 CNN 特定层普适程度的问题 。他们发现，由于层的相互适应，可迁移性会受到中间层分裂的负面影响 。随着任务性质差异的增加，可迁移性的差距会逐渐增长 。最终他们发现，通过权重迁移进行网络初始化，而非从零权重开始训练，能够提高泛化性能 。
正如 Karpathy 的深度学习教程中指出的，以下是在不同场景中对新数据集使用迁移学习的一些指导原则：
小目标集，图像相似：当目标数据集与基础数据集相比较小，且图像相似时，建议采取冻结和训练，只训练最后一层 。
大目标集，图像相似：建议使用微调 。
小目标集，图像不同：建议采取冻结和训练，训练最后一层或最后几层 。
大目标集，图像不同：建议使用微调 。
在实验中，我们使用了有限的几个数据集，以及一个小型网络 ResNet18，所以是否能将结果推广到所有数据集和网络还言之尚早 。但是，这些发现可能会对何时使用迁移学习这一问题提供一些启示 。以下是结果的总结：
我们观察到的diyi个细节是，相比色度数据集而言，训练灰度数据集准确率会下降 。这与其他文章作者观察一致，即基础数据集和目标数据集之间的域差异越大，迁移效果越差 。
我们同样发现，对于 Simpson 和 Caltech256 数据集而言，冻结会使得准确率大大下降 。这在 Simpson 数据集中可以理解，原因可能是域的区别太大了：在 ImageNet 中都是自然图像，但在 Simpson 中大多数都是素色的 。在 Caltech 数据集中，除了在冻结时产生的准确率下降，我们最先观察到的是它本身只具有很低的准确率 。这可能是因为，对于涵盖很多类别的数据集，每个类别的图像太少了，大约每个类只有几百个而已 。
猫狗（dogs vs cats）数据集的域和 ImageNet 最接近 。事实上，ImageNet 中就包含着几个品种的猫和狗 。在这种情况下，微调和冻结没有多大差别 。
【为什么那么多农商行而不合并成一家农商总行】最后，在膜翅目昆虫（hymenoptera）数据库中，我们发现，在冻结时，色度数据集有一点小改善 。这可能是因为域很靠近，且数据集比较小 。在膜翅目昆虫灰度数据库中，冻结就没有改善，这很可能是由于域的差异 。

• 《复仇者联盟4终局之战》为什么惊奇队长可以击穿宇宙飞船却打不过灭霸？
• 为什么他汀会导致骨关节疼
• 《秦时明月》卫庄失踪后，赤练为什么一直要找他？
• 什么沙拉减肥?
• 本命年为什么要穿红色。有哪些意义？
• 国产的铃木雨燕为什么一直不换代？
• 懒人看电视保健操减肥运动
• 航母飞机起飞 航母会设计反向起飞吗，为什么？
• 国际上为什么不认可周星驰？是因为外国人看不懂吗？
• 今天NBA抽签结果出来了，为啥鹈鹕湖人那么幸运？抽签的规则是怎样的？怎么个抽法？