基于多尺度跨模態(tài)特征融合的圖文情感分類模型

摘要： 圖文情感分類任務(wù)常用早期融合和Transformer模型相結(jié)合的跨模態(tài)特征融合策略進(jìn)行圖文特征融合，但該策略更傾向于關(guān)注模態(tài)內(nèi)部的獨(dú)有信息，而忽略了模態(tài)間的相互聯(lián)系和共有信息，導(dǎo)致跨模態(tài)特征融合效果不理想。針對(duì)此問題，提出一種基于多尺度跨模態(tài)特征融合的圖文情感分類方法。局部尺度方面，基于跨模態(tài)注意力機(jī)制進(jìn)行局部特征融合，使模型不僅關(guān)注圖像和文本的獨(dú)有信息，而且可以發(fā)現(xiàn)圖像和文本...