多媒体处理与通信研究所主要从事以下四个方向的研究工作。
图像和视频媒体大数据压缩编码研究
海量的图像和视频等媒体大数据对存储和传输造成了极大的压力。针对各种类型图像和视频媒体大数据，就其压缩编码进行了深入系统的研究工作。
1） 提出一种基于三维小波变换的视频编码方案：采用三维小波变换、结合高性能的运动估计策略，研究了新一代基于三维小波变换的视频编码算法，获得了与MPEG2、H.264等主流编码标准相当的性能；
2） 对于多光谱图像压缩编码提出一种改进的H.264 编解码方案以及一种基于重排序、小波变换及KL 变换的方案。
3） 提出一种基于小波变换的高光谱图像编码方案：采用小波变换对高光谱图像进行稀疏表示，并结合谱间相关性预测，设计高性能的高光谱图像编码算法，获得了与基于JPEG2000的高光谱图像编码相当的性能；
4） 提出一种合成孔径雷达图像编码方案：针对合成孔径雷达（SAR）遥感图像数据的特点，提出了小波包、方向提升小波变换等高效率的稀疏表示方案，发现了SAR图像在上述表示下呈现出新的特性，并据此结合零树和四叉树等编码策略，提出了高效率的SAR图像编码算法，与美国航空航天局（NASA）提出的CCSDS算法相比取得了明显的性能提升。
所取得的研究成果在实践上具有直接的应用价值，在理论上也具有重要的学术价值。上述研究工作受到了国家自然科学基金、863项目、华为项目、广晟项目、西安电子工程研究所项目的资助。在IEEE Trans. Geoscience and Remote Sensing，Signal Processing Image Communication, ICASSP及ICIP等国内外知名期刊和会议上发表相关论文80余篇，并得到了广泛引用。
图像和视频媒体大数据检索研究
智能终端及可穿戴智能设备的出现，极大方便了用户获取外界的信息，并以语音，文本，图像等形式存储和传输。社会网络成为用户分享生活中工作中信息的平台。媒体大数据的管理与检索是一个重要的问题。如何依托现在的智能终端快速地检索出相关信息是一项迫切需要解决的问题。我们对于图象视频多媒体内容分析、检索管理等技术进行了较为系统深入的研究工作。
1) 提出一种基于压缩域中的字幕提取、定位和跟踪方法，以及一种利用关键点特征的字幕检测、定位、跟踪和分割方法。
2) 在视频摘要和视频浏览方面提出一种基于感知特性的视频浏览框架和一个可扩展的视频摘要系统。
3) 在图像视频检索方面，提出一种改进的SIFT 特征和一种改进的LBP 特征，一种分级抽样特征聚类方案，一种目标的特征空间一致性判定方案，建立了一个图片检索系统以及一个视频媒体复制检测系统。
4) 基于智能终端的可分级检测方法。通过挖掘拍摄图像上下文相关语义信息，达到判别特征对检测的贡献度，达到减少数据量及提升。
5) 基于媒体大数据分析的商品质量评分及用户认知对智能城市信息管理及用户个性化服务推荐奠定了基础。
研究成果 在国内外知名期刊和国际会议上包括IEEE Transactions on Circuits and Systems for Video Technology，IEEE Trans. Image Processing和IEEE Trans. Multimedia发表论文数十篇，申请专利10余项。
图像和视频媒体大数据处理研究
图像是人类获取对客观世界感知的最重要途径之一。由于图像的采集受到硬件条件的严重制约，就需要对低质量的图像进行主观视觉质量的增强；由于图像内容本身存在固有的模式分布，就可以对图像纹理进行分类并对目标进行识别；由于图像的内容丰富，就可以利用人类视觉感知的阈值特性进行秘密信息隐藏。我们研究了采用动态扩展/均衡及高频细节增强进行图像增强的方法、采用局部化纹理描述子进行图像纹理分类的方法，采用灰度映射/变换/差分扩展进行信息隐藏的方法。在视频目标检测和跟踪方面，提出一种将全局和局部特征结合起来的目标检测和跟踪方法，以及一种基于增量学习的检测与跟踪方法。
近年的研究成果发表在IEEE系列汇刊/快报及其它著名的SCI学术刊物上，共计发表英文期刊论文18篇；同时，还发表中文核心期刊论文23篇，获得1项发明专利、申请4项发明专利。
图像和视频媒体大数据传输及跨层优化设计研究
利用压缩视频中的比特数、DC 系数和运动矢量等特征进行视频分析，并有效地应用于图像视频传输中的错误抵抗和错误消隐、视频场景检测、镜头边界检测、镜头分类、摄像机运动估计、字幕提取、视频摘要和视频浏览等问题。对于包括区分服务网络、802.11 系统、802.16 系统、UMTS 系统和LTE 系统下的图像视频传输跨层优化设计进行了研究，提出了相应的错误抵抗、错误消隐、资源分配与调度算法。建立了一个实时带反馈多用户H.264/AVC 视频传输实验平台，能够对这些系统下的视频传输进行有效仿真。
上述研究工作受到了国家自然科学基金及华为项目等的资助。在IEEE Transactions on Circuits and Systems for Video Technology, IEEE Trans. Wireless Communication和IEEE Trans. Multimedia等国内外知名期刊和会议上发表相关论文多篇，申请发明专利多项，并得到了广泛引用。
