Translations:Word Embeddings/24/zh

    From Marovi AI
    • 採樣——模型不計算完整的 softmax,而是將真實的上下文詞與 $ k $ 個隨機採樣的「負」詞進行對比。
    • 分層 softmax——將詞彙表組織成二叉樹,將 softmax 的代價從 $ O(V) $ 降低到 $ O(\log V) $