同样地 ， 如果通过随机采样的方式形成负原型集合 N_c ， 那么其中也可能存在与聚类中心 c 语义相近的原型 (例如 c 的兄弟节点)：如果某张图像是萨摩犬 ， 选择相似的种类例如拉布拉多犬作为负例进行对比学习并不是一个好选项 。 而层级结构的存在为选择合理的对比原型提供了一个解决方案：与此前选择对比样本类似 ， 我们只需要计算某一候选原型与目标原型的父节点的相似度 ， 即可选择与目标原型大概率不是近似类别的原型 ， 从而避免可能带来噪声的对比原型 。 具体而言, 某个聚类中心c_j被选择作为对比原型的概率为：

文章图片

类似地, 这一概率可以被描述为「某一原型与目标原型属于不同父类的概率」 。 基于经过选择后的负原型集合

文章图片

， 选择性原型对比学习损失被定义为：

文章图片

最后, 我们将两种改进后的对比学习损失进行组合得到最终的优化目标：

文章图片

实验结果
主要结果
研究者们在 ImageNet-1k 线性分类、KNN、半监督学习以及跨数据集的迁移学习 (包括在 VOC、COCO 数据集的目标检测任务以及在 VOC、Places205 数据集的分类任务) 的实验设置下与基于 CNN 架构的 SOTA 方法进行了对比 ， HCSC 在多个任务中均取得了出色的效果 。
不同训练配置下模型性能对比：

文章图片

更多下游任务的性能对比：

文章图片


文章图片

可视化
除了量化实验 ， 该论文还给出了直观的可视化结果 。 研究者们展示了 HCSC 在 ImageNet 上的聚类结果 ， 在下图中可以明显地看出存在层级结构：叼着鱼的灰熊 => 在水上的熊或者狗 => 在水上的动物 。

文章图片

另外一个例子, 研究者们展示了一个经典的语义树状结构：

文章图片

除了层级结构可视化 ， 研究者们也展示了 HCSC 训练过程中删除的「假负样本」：例如对其中一个鸟类样本 ， 删除的对比负样本也大部分为鸟类 。

文章图片

消融实验
研究者们还做了充分的消融实验来验证了所提出的层级原型和样本选择模块的有效性 ，以及对每层原型数量选择的对比实验 。 可见：
1. 层级原型、实例样本选择、原型样本选择模块的有效性都得到了验证 ， 可以分别在 baseline (67.6)的基础上有效涨点 (67.6 => 68.9 => 69.2) ， 其中效果最明显的是实例样本选择模块 。
2. 在原型数量相同的情况下 ， 带有层级结构的原型 (3000-2000-1000) 比单层原型 (6000) 取得更优的性能 。 这也印证了层级原型的有效性 。 另一方面 ， 模型对进一步增加层级数以及各层原型的数量不敏感 。