基于不確定性權(quán)重的保守Q學(xué)習(xí)離線強(qiáng)化學(xué)習(xí)算法

摘要： 離線強(qiáng)化學(xué)習(xí)(Offline RL)中，智能體不與環(huán)境交互而是從一個(gè)固定的數(shù)據(jù)集中獲得數(shù)據(jù)進(jìn)行學(xué)習(xí)，這是強(qiáng)化學(xué)習(xí)領(lǐng)域研究的一個(gè)熱點(diǎn)。目前多數(shù)離線強(qiáng)化學(xué)習(xí)算法對(duì)策略訓(xùn)練過(guò)程進(jìn)行保守正則化處理，訓(xùn)練策略傾向于選擇存在于數(shù)據(jù)集中的動(dòng)作，從而解決離線強(qiáng)化學(xué)習(xí)中對(duì)數(shù)據(jù)集分布外(OOD)的狀態(tài)-動(dòng)作價(jià)值估值錯(cuò)誤的問(wèn)題。保守Q學(xué)習(xí)算法(CQL)通過(guò)值函數(shù)正則賦予分布外狀態(tài)-動(dòng)作較低的價(jià)值來(lái)避...