基于技能網(wǎng)絡(luò)的通用自然語言生成模型

摘要： 使用多任務(wù)訓(xùn)練的自然語言生成模型僅使用一個(gè)模型即可完成各種不同的自然語言生成任務(wù)。但這種所有任務(wù)共享所有參數(shù)的模型，無法清楚地知道模型的每一部分參數(shù)學(xué)到了什么技能。為了根據(jù)不同的任務(wù)選擇激活不同的模型參數(shù)，該文提出了一種基于稀疏激活的通用自然語言生成模型(SkillNet-NLG)。與傳統(tǒng)的稠密模型在執(zhí)行任務(wù)時(shí)激活所有的模型參數(shù)不同，SkillNet-NLG在執(zhí)行任務(wù)時(shí)，首先依...