大模型關(guān)聯(lián)度預(yù)測的形式化和語義解釋研究

摘要： 本文探討“大型語言模型是什么”的問題。為此對大模型的評判標(biāo)準(zhǔn)展開實(shí)驗觀察，對大模型的基礎(chǔ)設(shè)施關(guān)聯(lián)度預(yù)測進(jìn)行直觀分析，構(gòu)建關(guān)聯(lián)度預(yù)測的一種形式化L_C，進(jìn)而研究關(guān)聯(lián)度預(yù)測的語義解釋。在此基礎(chǔ)上討論大模型的真實(shí)性挑戰(zhàn)、共識挑戰(zhàn)、內(nèi)容屬性挑戰(zhàn)和非封閉性挑戰(zhàn)。主要發(fā)現(xiàn)包括：語元關(guān)聯(lián)度是體現(xiàn)人類語言習(xí)慣的可自動提取的語言痕跡；關(guān)聯(lián)度預(yù)測具有語境相關(guān)的統(tǒng)計性質(zhì)；L_C具有弱共識性實(shí)質(zhì)語義；...