基于深度強(qiáng)化學(xué)習(xí)的空天地一體化網(wǎng)絡(luò)信息物理系統(tǒng)垂直切換策略

摘要： 針對(duì)空天地一體化網(wǎng)絡(luò)信息物理系統(tǒng)模型復(fù)雜、很難獲得網(wǎng)絡(luò)拓?fù)湎闰?yàn)知識(shí)和模型化假設(shè)的特點(diǎn)，研究其基于深度強(qiáng)化學(xué)習(xí)的垂直切換策略。首先，綜合考慮系統(tǒng)穩(wěn)定性、切換開(kāi)銷和網(wǎng)絡(luò)使用成本約束，將垂直切換策略問(wèn)題建模為約束馬爾可夫決策過(guò)程（CMDP），并給出保證可行解存在的充分條件；其次，提出約束-近端策略優(yōu)化（CPPO）算法解決該問(wèn)題，并在基站側(cè)引入分布式強(qiáng)化學(xué)習(xí)機(jī)制加速訓(xùn)練收斂。相較于基準(zhǔn)...