大数据”时代已经来临 ， 商业、金融等诸多领域的决策将基于海量数据做出 。 随着移动多媒体设备的普及和社交网络的发展 ， 用户生成的图像、音频和视频呈爆炸式增长 。 高效准确的对海量多媒体数据进行语义建模是学术界和工业界所面临的紧迫问题 。 针对这个问题 ， 浙江大学张鹿鸣原创性的提出了基于微图(Graphlet)的图像/视频语义建模框架 ， 相关工作多次发表在CCF A类会议和期刊如IEEE CVPR, ACM MM, 和IEEE T-IP上 。 浙江大学张鹿鸣所谓的微图语义建模 ， 就是通过微图来描述图像或视频帧的区域之间高维关系 ， 然后通过弱监督的方式在这些高维关系中嵌入语义信息 ， 从而高效快速的实现图像语义分割 ， 裁剪 ， 重定位 ， 以及视频摘要 。 申请人构建了较完整的微图学习理论应用框架 ， 如下图所示：

文章图片

图1 浙江大学张鹿鸣提出的基于微图的大规模语义建模框架
在多媒体处理领域 ， 微图语义建模可以应用于：1) 图像剪裁和重定位：利用微图来表述照片或视频的审美特征 ， 并且在其中融入人类视觉关注点转移信息来优化剪裁和重定位的质量 ， 浙江大学张鹿鸣相关工作发表被发表在IEEE T-IP和T-MM, 共获得了超过150次的引用 。 引用者包括多位IEEE Fellow如香港中文的汤晓鸥教授课题组 。T-IP的两位审稿人在第一轮意见直接给出Accept with Minor的意见；2)视频摘要和压缩：通过融合微图模型和概率模型来高效的将多个摄像头每天24小时捕捉的视频压缩成不到1小时 。 在公共安全 ， 浙江大学张鹿鸣只能交通和异常检测领域具有重要价值 。 浙江大学张鹿鸣相关论文发表在IEEE T-MM, T-IE, 和T-NNLS上; 3) 利用微图来描述照片或视频质量的特征 ， 从而衡量其基于人类语义感知的质量参数 。 相关成果发表在IEEE T-IP和ACM MM上 ， 共被引用超过100次; 4) 对用户生成视频进行建模：设计基于主动学习的微图模型 ， 来便捷的生成用户生成视频摘要、标注以及三维重建 。 浙江大学张鹿鸣相关成果发表在ACM TOMCCAP, IEEE T-IE和ACM MM上; 5) 多媒体检索：设计各种特征选择算法来选取最具有区分性的微图来描述图片或视频帧 ， 从而获得优秀的多媒体检索性能 。 相关成果发表在IEEE T-IP, T-NNLS, 和T-IE上 。
在计算机视觉领域 ， 微图语义建模可以应用于：1) 图像或视频语义分割：使用微图代替传统的2维超像素度量 ， 准确的划分图像或视频帧的不同区域并且推导其语义信息 。 浙江大学张鹿鸣相关研究发表于IEEE CVPR, T-IP, 和T-MM；2) 视频跟踪：利用微图来描述人体或车辆等物体的拓扑几何特征 ， 准确的检测视频中的多个行人和车辆等目标 。 浙江大学张鹿鸣相关论文发表于IEEE CVPR和T-IP; 3) 视觉显著性预测模型：基于微图的弱监督深度学习模型来准确的计算人对照片和视频帧的视觉关注点 。 浙江大学张鹿鸣研究成果发表在IEEE T-IE和T-CYB上 。
(二) 基于用户感知的多媒体语义分析
【浙江大学张鹿鸣报告】生物和心理学的研究证实人眼观察图片或视频是有选择性的 。 给定一张图片/视频帧 ， 人眼视觉关注点会首先落在最显著的区域 ， 接着落在第二显著的区域 ， 以此类推 。 传统的多媒体模型未能充分发掘这一重要信息 ， 为此申请人构建机器学习算法自动预测人眼观测图片或视频的关注点及其转移顺序 。 浙江大学张鹿鸣提出一种能够融合底层和高层视觉特征的方法来提取视觉关注点转移路径 ， 同时使得该路径能最大限度的还原图片或视频的底层和高层视觉信息 。 浙江大学张鹿鸣采用基于稀疏约束的排序对图像或视频帧中的不同区域按照视觉显著性强弱进行排序 。 该理论基于图像或视频帧可以被分解成视觉显著和非显著区域 ， 并且非显著区域具有高关联度 。 提出的算法能理论上保证选择出来的显著区域能最优化的从语义上和外观上表征图像或者视频帧 。 浙江大学张鹿鸣证实在公共数据集MIT Saliency Benchmark和NUSEF上 ， 该算法能85%和真实人眼关注点转移序列保持一致 ， 并且大幅度的超越了之前的模型 。 该成果发表在ACM MM和IEEE T-IP上 。 其中ACM MM的三位审稿人同时给出了Accept的分数 ， 并给出“The greatest strength of the paper is that it contributes to the quantification of quality assessment in field of multimedia”的评价 。