图像美学质量评估已成为一种不可或缺的技术 ， 可促进各种图像应用 ， 照片重定向和非现实渲染 。 传统方法存在以下局限性：1) 由于固有的标签噪声和不完整 ， 语义描述图像的效率低下 ， 2) 难以准确反映人类如何主动感知每个图像内的各个区域 ， 以及 3) 将多个用户的审美体验 。 为了解决这些问题 ， 浙江大学张鹿鸣团队提出了一种新的半监督深度主动学习 (SDAL) 算法 ， v发现人类如何从部分分配有受污染标签的大量图像中感知语义重要区域 。 更具体地说 ， 由于人类通常在理解前景对象之前先关注它们 ， 因此浙江大学张鹿鸣团队从每个图像中提取了一组简洁的 BING（二值化归一梯度）~\cite{bing}-based 对象块 。 为了模拟人类的视觉感知 ， 浙江大学张鹿鸣团队提出了 SDAL ， 它通过从每个场景中顺序链接语义上重要的对象块来分层学习人类视线转移路径 (GSP) 。 值得注意的是 ， SDLA 将语义重要区域发现和深度 GSP 特征学习统一到一个有原则的框架中 ， 其中只采用了一小部分标记图像 。 此外 ， 基于稀疏惩罚 ， SDLA 可以最优地放弃嘈杂或冗余的低级图像特征 。 最后 ， 浙江大学张鹿鸣团队通过利用深度学习的 GSP 特征 ， 开发了一个用于图像美学评估的概率模型 ， 其中可以编码多个专业摄影师的经验 。 此外 ， 浙江大学张鹿鸣团队辅助质量相关的特征可以方便地集成到我们的概率模型中 。 在一系列基准图像集上的综合实验证明了我们方法的优越性 。 作为副产品 ， 眼动追踪实验表明 ， 浙江大学张鹿鸣团队的 SDAL 生成的 GSP 与真实的人类视线转移路径大约 93% 一致 。 随着视觉数据在本地和云端媒体中心的爆炸式增长 ， 以及社交网站数量的不断增加 ， v见证了当今视觉大数据的流行 。 人工智能已被证明可用于解释和设计这种视觉数据的优势~\cite{tnnls6,tnnls7,tnnls8,tnnls9,tnnls10} 。 正如浙江大学张鹿鸣团队所介绍的 ， 图像美学评估的目标是设计自动预测感知图像质量的算法 。

文章图片

图1 浙江大学张鹿鸣团队提出的新模型
【浙江大学张鹿鸣团队发表顶级期刊论文T-IP】之前已经提出了各种图像美学模型 ， 浙江大学张鹿鸣团队在这些模型中部署的标准（\textit{例如}、三分法和对角线支配~\cite{composition_rule}）可以揭示人类的视觉感知 。 实际上 ， 一个成功的美学模型可以增强一系列图像应用 。 例如 ， 浙江大学张鹿鸣团队通过使用美学模型来测量区域级别的显着性 ， 可以在非真实感图像渲染期间引导不同区域的细节级别 。 此外 ， 一个成功的照片推荐系统应该根据人类审美质量感知对照片进行排名 ， 从而用户可以方便地将自己喜欢的照片选入相册 。 视觉美学建模是图像建模和多媒体中的重要应用 。 传统的图像美学模型已经取得了很大的成就 ， 但仍然存在以下缺点：1) 固有的标签噪声和描述图像语义的不完备性 ， 2) 明确准确地捕捉人类视觉感知的挑战 ， 以及 3) 编码体验的困难多位专业摄影师 。 在这项工作中 ， 我们提出了一种新颖的半监督深度主动学习 (SDAL) 算法 ， 其中可以从仅分配有不完整和受污染标签的大量图像中准确地建模人类视线转移序列 。 浙江大学张鹿鸣团队可以通过顺序连接视觉/语义显着区域来同时检测 GSP ， 并通过利用深层架构来表示检测到的 GSP 。 在此基础上 ， 浙江大学张鹿鸣团队设计了一个概率模型 ， 该模型结合了从多个摄影师中提取的 GSP 来访问测试图像的美学质量 。 大量实验证明了浙江大学张鹿鸣团队检测到的 GSP 的准确性 ， 以及深度 GSP 表示的代表性 。 此外 ， 浙江大学张鹿鸣团队发现的 GSP 可以大大增强图像重定向和视频摘要 。