在边境监测、警方追查等领域，容易出现低照度或烟雾干扰等困难情况，这些情况难以仅利用可见光传感器对不法分子或可疑车辆进行检测定位与锁定跟踪。与单模态传感器相比，可见光、红外、光谱等多模态传感器可优势互补。通过联合利用多模态图像数据，可以克服许多困难的监测条件，提升重点目标监测的精度与效率。针对上述问题，提出了基于多头自注意力机制的多模态融合目标解译框架，旨在通过有效利用另一模态信息来补充可见光模态的固有缺陷，提高目标监测算法的鲁棒性。该技术通过设计多模态融合模块，利用多头自注意力机制自适应捕获不同模态的模态内特征和模态间特征之间的潜在交互，从而有效地预测目标的状态，为多模态目标检测与跟踪领域贡献了新的多模态特征融合方式，解决了不同模态信息利用不充分带来的性能受限的问题。该技术有效提高了在低照度等单模态视野受限环境下的目标检测与跟踪能力，为安全领域的监测任务提供重要保障。目前成果还没有进行产业转化。
微信公众号