Translations:Word Embeddings/24/zh

    From Marovi AI
    • 采样——模型不计算完整的 softmax,而是将真实的上下文词与 $ k $ 个随机采样的“负”词进行对比。
    • 分层 softmax——将词汇表组织成二叉树,将 softmax 的代价从 $ O(V) $ 降低到 $ O(\log V) $