分布式表示和分布表示

2021-10-22 17:22:25 字數 494 閱讀 4116

書上說:在分布式表示中,每個實體被表示為值的向量,並且實體的含義及其與其他實體的關係由向量中的啟用以及不同向量之間的相似性來捕獲。在語音處理的上下文中,這意味著不應將詞(和句子)對映到離散維度,而是對映到共享的低維空間,其中每個單詞將與d為向量相關聯,詞將被其與其他單詞的關係和其向量中的啟用值所捕獲。

上面的話是書中的原文,用簡潔的語言表示就是,分布式描述的是把資訊分布式地儲存在向量的各個維度中,與之相對的是區域性表示,如詞的獨熱表示(one-hot),在高維向量中只有乙個維度描述了詞的語義。

一般來說,通過矩陣降維或神經網路降維可以將語義分散儲存到向量的各個維度中,因此,這類方法得到的低維向量一般都可以稱作分布式表示。

書上說:其中乙個詞的含義可以從其在語料庫中的分布中匯出,即從其被使用的語境的總和中匯出。在相似的上下文**現的詞傾向於具有相似的含義。

簡潔來說:分布描述的是上下文的概率分布,因此用上下文描述語義的表示方法都可以稱作分布表示。

更加形象的來說就是,詞向量裡面帶有上下文的資訊。

6 2 用詞向量表示文字(分布式表示)

import jieba import gensim from gensim.models.doc2vec import doc2vec,labeledsentence taggededdocument gensim.models.doc2vec.taggeddocument tag list cu...

NLP模型筆記 分布式表示

名稱 分布式表示 別名distributed representation 介紹若干元素的連續表現形式,將詞的語義分布式地儲存在各個維度中,與之相反的是獨熱向量。非分布式表示 圖形水平矩形 垂直矩形 水平橢圓 垂直橢圓 水平矩形10 00垂直矩形01 00水平橢圓00 10垂直橢圓00 01分布式表...

分布式技術之分布式ID和分布式事務

mycat不支援只能使用在sharding jdbc中 public class mysharding implements preciseshardingalgorithm spring.shardingsphere.sharding.tables.t order.actual data node...