Translations:Transfer Learning/18/zh

• word2vec / GloVe — 在大型语料库上预训练的静态词嵌入。
• ELMo — 来自双向 LSTM 的语境化嵌入。
• BERT(Devlin 等人,2019)— 使用掩码语言建模预训练的双向 Transformer;经过微调可用于分类、问答、命名实体识别等任务。
• GPT 系列 — 自回归Transformer,证明了规模与预训练能够实现少样本和零样本迁移。