Translations:Word Embeddings/24/zh

    From Marovi AI
    • 負採樣 — 模型不計算完整的 softmax,而是將真實的上下文詞與 $ k $ 個隨機採樣的「負」詞進行對比。
    • 分層 softmax — 將詞彙表組織成二叉樹,把 softmax 的代價從 $ O(V) $ 降到 $ O(\log V) $