基于Transformer結(jié)構(gòu)增強的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索性能預(yù)測器

摘要： 神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索(Neural Architecture Scarch,NAS)作為一種通過搜索算法設(shè)計神經(jīng)網(wǎng)絡(luò)架構(gòu)的方法,在計算機視覺和自然語言處理等領(lǐng)域得到廣泛應(yīng)用,相較于人工設(shè)計網(wǎng)絡(luò),NAS方法可以減少設(shè)計成本并提高模型性能.但是NAS的性能評估需要對候選架構(gòu)進行大量訓(xùn)練,由此帶來的計算量占整個NAS的80%以上.為降低計算開銷和時間成本,近年來已提出許多基于Transf...