Translations:Word Embeddings/24/zh

    From Marovi AI
    • 负采样 — 模型不计算完整的 softmax,而是将真实的上下文词与 $ k $ 个随机采样的“负”词进行对比。
    • 分层 softmax — 将词汇表组织成二叉树,把 softmax 的代价从 $ O(V) $ 降到 $ O(\log V) $