長向量處理器高效RNN推理方法

摘要： 模型深度的不斷增加和處理序列長度的不一致對循環(huán)神經網絡在不同處理器上的性能優(yōu)化提出巨大挑戰(zhàn)。針對自主研制的長向量處理器FT-M7032,實現了一個高效的循環(huán)神經網絡加速引擎。該引擎采用行優(yōu)先矩陣向量乘算法和數據感知的多核并行方式，提高矩陣向量乘的計算效率；采用兩級內核融合優(yōu)化方法降低臨時數據傳輸的開銷；采用手寫匯編優(yōu)化多種算子，進一步挖掘長向量處理器的性能潛力。實驗表明，長向量... （共10頁）