信息工程学院刘昊团队2项成果发表在国际权威期刊TIP上

发布日期:2024-03-14    浏览次数:

【宁夏大学新闻中心讯 信息工程学院】近日,信息工程学院刘昊教授团队在国际权威期刊《IEEE Transactions on Image Processing》(简称TIP)分别刊发了题为《HeadDiff: Exploring Rotation Uncertainty with Diffusion Models for Head Pose Estimation》和《Consensus-Agent Deep Reinforcement Learning for Face Aging》的学术论文(中科院SCI一区TOP,最新影响因子是12.0,中国计算机学会认定CCF A类)。刘昊教授为通讯作者,2022级硕士研究生王耀兴和2021级硕士研究生林灵分别为第一作者。上述2项成果获得国家自然科学基金面上项目、宁夏科技厅重点研发计划和宁夏自然科学基金优秀青年项目的资助。

论文《HeadDiff: Exploring Rotation Uncertainty with Diffusion Models for Head Pose Estimation》致力于解决头部姿态估计任务(预测给定图像中人脸的方向)中旋转表示的不确定性问题。由于直接在欧几里得空间与流形空间之间建模面临极大挑战,该研究设计了一种概率回归扩散模型来估计头部姿态,有效解决了在自然环境中捕捉到的面部图像旋转方面的不确定性问题。区别于传统的图像映射至姿态方法,所提出的模型通过扩散过程保证了姿态旋转的准确性,并持续迭代优化映射过程。首先,所提模型将头部姿态估计问题构建为一个逆扩散过程,采用了在流形上进行渐进去噪的采样方法,将不确定性大幅分解成更小的中间步骤以深入挖掘。此外,模型引入了各向同性高斯分布,以编码旋转表示中的不连续信息。在最后阶段,模型通过引入周期一致性约束学习了面部最近邻关系,从而在应对在野外条件下人脸面部形状变化的同时确保姿态估计的鲁棒性。在多个头部姿态数据集上的广泛实验结果证明,在无需辅助数据的情形下,所提方法优于现有的顶尖技术。

原文链接:https://ieeexplore.ieee.org/document/10462910

论文《Consensus-Agent Deep Reinforcement Learning for Face Aging》致力于解决人脸老化任务(模拟面部外观随时间的变化)中缺乏同一身份下不同年龄数据的问题。现有模型通常使用年龄组之间的映射来训练,这使得大多数现有的老化方法难以准确捕捉个体身份与老化特征之间的对应关系,导致生成与真实老化外观不匹配的人脸。该研究重新标注了CACD2000数据集,并提出了一种共识智能体深度强化学习方法来解决上述问题。具体来说,所提方法定义了两个智能体,即老化进程智能体和老化个性化智能体,并将匹配老化特征的任务建模为马尔可夫决策过程。老化进程智能体模拟个体的衰老过程,而老化个性化智能体则计算个体的衰老外观与平均衰老外观之间的差异。两个智能体通过协同合作的形式迭代调整目标老化特征与当前身份之间的匹配程度。在四个面部老化数据集的广泛实验结果表明,与当前最先进的方法相比,所提模型取得了令人信服的性能。

原文链接:https://ieeexplore.ieee.org/document/10458950

刘昊及其团队(计算机视觉与学习课题组)长期从事模式识别与机器学习方向的研究工作。团队重点研究从人类认识真实世界过程中表现出的智能和认知伴随有不确定性获得启发,将数据的不确定性估计作为额外的信息有助于模型做出更好的决策。团队还深入研究人脸数据的不确定性估计和模型鲁棒性应对外界复杂环境的问题,扩展了深度学习在标注数据规模有限条件下的人脸视觉分析与数字人脸生成任务中的应用。多项研究成果以宁夏大学为第一署名单位发表在中科院SCI一区TOP期刊IEEE TPAMI、TIP、TIFS、TMM、TCSVT以及中国计算机学会CCF A类会议ACMMM、CVPR、AAAI等。

(责任编辑:杨雯)