Translations:Transfer Learning/18/zh

• word2vec / GloVe — 在大型語料庫上預訓練的靜態詞嵌入。
• ELMo — 來自雙向 LSTM 的語境化嵌入。
• BERT(Devlin 等人,2019)— 使用掩碼語言建模預訓練的雙向 Transformer;經過微調可用於分類、問答、命名實體識別等任務。
• GPT 系列 — 自回歸Transformer,證明了規模與預訓練能夠實現少樣本和零樣本遷移。