跨視圖時(shí)序?qū)Ρ葘W(xué)習(xí)的自監(jiān)督視頻表征算法

摘要： 現(xiàn)有的自監(jiān)督表征算法主要關(guān)注視頻幀之間的短期運(yùn)動(dòng)特性，但是幀間動(dòng)作序列的變化幅度較小，而且單視圖數(shù)據(jù)因語義受限影響深度特征表達(dá)能力，視頻動(dòng)作中豐富的多視圖信息未被充分利用。為此提出基于跨視圖語義一致性的時(shí)序?qū)Ρ葘W(xué)習(xí)算法，自監(jiān)督學(xué)習(xí)RGB幀和光流場兩種數(shù)據(jù)中蘊(yùn)含的動(dòng)作時(shí)序變化特性，主要思路為：設(shè)計(jì)局部時(shí)序?qū)Ρ葘W(xué)習(xí)方法，采用不同正負(fù)樣本劃分策略，挖掘同一實(shí)例不重疊片段之間的時(shí)序相關(guān)...