BERT
-
技術文章：將BERT應用于長文本
背景自從谷歌的BERT預訓練模型橫空出世,預訓練-下游任務微調的方式便成了自然語言處理任務的靈丹妙藥。然而,復雜度高、顯存消耗大等問題一直困擾著BERT等預訓練模型的優化;由于BERT中Transformer(多層自注意力)關于輸入文本長度L有的O()的時間空間復雜度,長文本消耗顯存陡然增加
換一批
