
终身行人重识别 旨在持续学习新增数据中不断涌现的新增行人鉴别性信息,同时保持对已知数据的识别能力,在公共安防、社区管理、运动分析等场景中具有重要的研究和应用价值。
随着白天可见光图像和夜晚红外图像被不断采集,现有终身行人重识别方法需要持续学习特定模态中的新知识(例如:仅适用于红外模态中的热辐射信息)。
然而,特定模态中新知识的学习过程阻碍了模态间公共旧知识(例如:同时适用于可见光与红外模态的人体体态信息)的保留,导致了单模态专用知识的获取与跨模态公共知识的保留间的冲突,进而限制了持续学习场景下平衡不同模态中行人鉴别性知识的能力。
针对这一问题, 北京大学彭宇新教授团队 提出了 跨模态知识解耦与对齐的可见光 – 红外终身行人重识别方法 CKDA, 通过跨模态通用提示模块与单模态专用提示模块显式地解耦并净化不同模态通用与特定模态专用的鉴别性信息,从而避免二者间的相互干扰,并在一对彼此独立的模态内与模态间特征空间中分别对齐解耦后的新旧知识,实现跨模态知识的高效权衡。
本文提出的 CKDA 方法在四个常用可见光 – 红外行人重识别数据集组成的终身行人重识别基准上均取得了当前最优的性能。

论文链接:http://arxiv.org/abs/2511.15016
代码仓库:https://github.com/PKU-ICST-MIPL/CKDA-AAAI2026
实验室网址:https://www.wict.pku.edu.cn/mipl
背景与动机
终身行人重识别旨在通过持续学习学习采集自不同场景的行人数据,实现不同场景中同一行人的识别。随着实际场景中白天与黑夜的数据被持续采集,终身行人重识别算法通常需要匹配出现在白天可见光图像和夜晚红外图像中的同一行人,即可见光 – 红外终身行人重识别。
为了缓解可见光与红外模态知识的遗忘,现有方法大多借助数据重放、模型参数隔离、以及知识蒸馏策略实现跨模态知识的保留。
图 1 现有终身行人重识别方法和本方法的对比示意图然而,现有方法忽略了单模态专用知识获取与跨模态通用知识保留间的冲突,进而导致了跨模态知识难以平衡。
具体而言,如图 1 所示,在持续学习新增可见光与红外数据时,现有方法由于不断地累积特定模态中的新知识(例如:仅适用于红外模态中的热辐射信息),不可避免地阻碍了模态间公共的旧知识(例如:同时适用于可见光与红外模态的人体体态信息)的保留,导致了单模态专用知识的获取与跨模态间公共知识的保留间的冲突,限制了持续学习场景下平衡跨模态鉴别性知识的能力。
技术方案
针对上述挑战,本文提出一种跨模态知识解耦与对齐方法 CKDA,其核心思想在于 避免可见光与红外模态中知识的互相干扰,实现跨模态知识的高效平衡。
如图 2 所示,CKDA 主要包含三个模块:
跨模态通用提示: 通过去除仅存在于可见光或红外图像的风格信息,提取在两种模态中共存的鉴别性知识,为跨模态知识对齐奠定基础;
单模态专用提示: 通过放大可见光 – 红外模态间的差异,促进特定模态知识的保留与净化,从而显式地避免可见光与红外模态中行人鉴别性知识的相互干扰;
跨模态知识对齐: 利用旧知识原型构建了一组相互独立的模态内与模态间特征空间并分别对齐解耦后的新旧知识,提升了终身行人重识别模型对可见光 – 红外行人鉴别性知识的平衡能力。
图 2 跨模态知识解耦与对齐方法(CKDA)框架图模块 1:跨模态通用提示
首先,具体而言,给定输入图像

, 并将每个图像块映射为一个 d 维的嵌入特征:
,先将其划分为 M 个图像块

其中,
