利用Transformer的多模態(tài)目標跟蹤算法

摘要： 目前目標跟蹤方法大多通過融合不同模態(tài)信息進行定位決策，存在信息提取不充分、融合方法簡單、弱光場景無法準確跟蹤目標的問題。為此，提出一種基于Transformer的多模態(tài)目標跟蹤算法（Trans-RGBT）：利用偽孿生網(wǎng)絡(luò)對可見光圖像和紅外圖像分別進行特征提取，并在特征層面充分融合；將首幀目標信息調(diào)制到待跟蹤幀的特征向量中，得到一個專用跟蹤器；應(yīng)用Transformer的方法對視...