填充性載荷：減少集群資源浪費(fèi)與深度學(xué)習(xí)訓(xùn)練成本的負(fù)載

摘要： 近年來(lái)，大模型在生物信息學(xué)、自然語(yǔ)言處理和計(jì)算機(jī)視覺(jué)等多個(gè)領(lǐng)域取得了顯著成功。然而，這些模型在訓(xùn)練和推理階段需要大量的計(jì)算資源，導(dǎo)致計(jì)算成本高昂。同時(shí)，計(jì)算集群中存在資源利用率低、任務(wù)調(diào)度難的供需失衡問(wèn)題。為了解決這一問(wèn)題，提出了填充性載荷的概念，即一種在計(jì)算集群中利用空閑資源進(jìn)行計(jì)算的負(fù)載。填充性載荷的計(jì)算資源隨時(shí)可能被其他負(fù)載搶占，但其使用的資源優(yōu)先級(jí)較低，資源成本也相對(duì)較...