近日,我院白相志、孟偲团队的论文以 “TherNet: Thermal Segmentation Network Harnessing Physical Properties” 为题发表于《IEEE 模式分析与机器智能汇刊》(IEEE Transactions on Pattern Analysis and Machine Intelligence)。该研究基于热辐射红外成像物理机理,构建了热辐射成像机理引导的编解码深度网络,实现了热红外图像高精度分割,为深度学习模型从纯“数据驱动”转变为“物理机理+数据驱动”提供了一条新途径。
热红外成像依托物体热辐射实现全天候观测,但其成像质量由大气传输、传感器响应、物体间相互作用等多物理过程耦合决定,导致热红外目标精准分割面临如下挑战:(1)大气传输过程中热辐射的吸收与散射衰减,直接削弱目标信号完整性;(2)传感器热惯性引发的时间响应滞后,难以精准复现动态场景真实热辐射特征;(3)物体间热交换导致的边界弥散效应和材料发射率个体差异,加剧热特性相似物体的区分难度;(4)现有数据集规模小、语义类别覆盖不足,限制了模型泛化能力。这都使得未融入热辐射成像机理的传统纯数据驱动方法缺乏对热辐射环境变化的自适应调节能力,导致分割精度与鲁棒性难以满足实际应用需求。

图1 热辐射物理特性建模
针对上述问题,研究团队从物理建模与网络设计两个维度开展深入研究。在物理机制建模层面,基于热辐射成像理论与传感器工作原理,建立了热红外成像数学解析模型;并通过算子理论分析证明,神经网络逼近逆算子可稳定重构热红外成像逆过程。该模型为热辐射成像机理引导的深度网络构建奠定了理论基础。

图2 方法主体框架
进而,在网络设计上,围绕热辐射成像全链条建立了四个物理驱动模块(图1),包括:(1)大气传输模块:基于辐射衰减规律,通过自适应学习补偿大气吸收与散射损耗,增强远距离目标特征辨识度;(2)热惯性模块:以能量守恒为核心,修正热感元件时间响应滞后效应,还原物体真实热辐射强度;(3)材料边界模块:提取热辐射物理边界先验,强化模糊边界特征表达,缓解物体间热交换导致的边界弥散问题;(4)材料辐射模块:建模不同材料辐射特性差异,实现温度相似但材质不同物体的有效区分,提升分割准确性。研究团队将构建的大气传输、热惯性和材料边界模块嵌入特征编码阶段,将材料辐射模块集成于语义解码阶段,实现热辐射成像机理的深度网络构建(图2),抑制成像过程的物理失真,获得了高精度分割结果。
实验结果表明,该方法在热红外图像多类别目标分割中均取得显著提升效果,且对应物理模块权重分布与热惯性变量、大气传输因子等物理分布相符;并在智能驾驶夜间感知、视障辅助导航等场景开展验证,从物理可解释性和实际应用中进一步证明了方法的先进性。研究成果为热红外图像智能解析提供了一条新的解决途径。
2017级博士研究生陈俊彰(现为对外经济贸易大学人工智能与数据科学学院教师)、2023级硕士研究生舒世灏为该论文共同第一作者,孟偲、白相志为共同通讯作者,北京航空航天大学为第一完成单位。该研究由国家自然科学基金(62271016)、北京市自然科学基金(4222007)和中央高校基本科研业务费联合支持。
论文链接: https://ieeexplore.ieee.org/document/11124592。