多模態(tài)數(shù)字人建模、合成與驅(qū)動(dòng)綜述

摘要： 多模態(tài)數(shù)字人是指具備多模態(tài)認(rèn)知與交互能力，且有類(lèi)人的思維和行為邏輯的真實(shí)自然虛擬人。近年來(lái)隨著計(jì)算機(jī)視覺(jué)與自然語(yǔ)言處理等領(lǐng)域的交叉融合以及蓬勃發(fā)展，相關(guān)技術(shù)取得顯著進(jìn)步。本文討論在圖形學(xué)和視覺(jué)領(lǐng)域比較重要的多模態(tài)人頭動(dòng)畫(huà)、多模態(tài)人體動(dòng)畫(huà)以及多模態(tài)數(shù)字人形象構(gòu)建3個(gè)主題，介紹其方法論和代表工作。在多模態(tài)人頭動(dòng)畫(huà)主題下介紹語(yǔ)音驅(qū)動(dòng)人頭和表情驅(qū)動(dòng)人頭兩個(gè)問(wèn)題的相關(guān)工作。在多模態(tài)人體動(dòng)...