基于圖文關(guān)聯(lián)與上下文引導(dǎo)的軍事新聞圖集描述生成方法

摘要： 傳統(tǒng)的圖像描述生成方法由于缺少現(xiàn)實(shí)世界的先驗(yàn)知識，生成的描述文本不具有解釋性，同時在某些專業(yè)領(lǐng)域生成的描述文本準(zhǔn)確性不高。針對上述問題，提出了軍事新聞圖集描述生成任務(wù)，還構(gòu)建了軍事新聞圖集數(shù)據(jù)集。該任務(wù)存在2個關(guān)鍵挑戰(zhàn)：描述信息來源于整個圖集和對應(yīng)的新聞文本中，模型學(xué)習(xí)到的語義不夠充分。進(jìn)一步提出了一種基于圖文關(guān)聯(lián)與上下文引導(dǎo)的軍事新聞圖集描述生成方法ITRCG?；贗TRCG...