pytorch nn.Embedding的用法和理解

（2021.05.26补充）nn.Embedding.from_pretrained()的使用：

>>> # FloatTensor containing pretrained weights
>>> weight = torch.FloatTensor([[1, 2.3, 3], [4, 5.1, 6.3]])
>>> embedding = nn.Embedding.from_pretrained(weight)
>>> # Get embeddings for index 1
>>> input = torch.LongTensor([1])
>>> embedding(input)
tensor([[ 4.0000,  5.1000,  6.3000]])

首先来看official docs对nn.Embedding的定义：
是一个lookup table，存储了固定大小的dictionary（的word embeddings）。输入是indices，来获取指定indices的word embedding向量。


习惯性地，（1）把从单词到索引的映射存储在word_to_idx的字典中。（2）索引embedding表时，必须使用torch.LongTensor（因为索引是整数）

官方文档的示例：

>>> # an Embedding module containing 10 tensors of size 3
>>> embedding = nn.Embedding(10, 3)
>>> # a batch of 2 samples of 4 indices each
>>> input = torch.LongTensor([[1,2,4,5],[4,3,2,9]])
>>> embedding(input)
tensor([[[-0.0251, -1.6902,  0.7172],
         [-0.6431,  0.0748,  0.6969],
         [ 1.4970,  1.3448, -0.9685],
         [-0.3677, -2.7265, -0.1685]],

        [[ 1.4970,  1.3448, -0.9685],
         [ 0.4362, -0.4004,  0.9400],
         [-0.6431,  0.0748,  0.6969],
         [ 0.9124, -2.3616,  1.1151]]])

我不太懂的是定义完nn.Embedding(num_embeddings-词典长度，embedding_dim-向量维度)之后，为什么就可以直接使用embedding(input)进行输入。
我们来仔细看看：

>>> embedding = nn.Embedding(10, 3)      

构造一个(假装)vocab size=10，每个vocab用3-d向量表示的table

>>> embedding.weight
Parameter containing:                   
tensor([[ 1.2402, -1.0914, -0.5382],
        [-1.1031, -1.2430, -0.2571],
        [ 1.6682, -0.8926,  1.4263],
        [ 0.8971,  1.4592,  0.6712],
        [-1.1625, -0.1598,  0.4034],
        [-0.2902, -0.0323, -2.2259],
        [ 0.8332, -0.2452, -1.1508],
        [ 0.3786,  1.7752, -0.0591],
        [-1.8527, -2.5141, -0.4990],
        [-0.6188,  0.5902, -0.0860]], requires_grad=True)

可以看做每行是一个词汇的向量表示！

>>> embedding.weight.size
torch.Size([10, 3])           

和nn.Embedding处的定义一致

>>> input = torch.LongTensor([[1,2,4,5],[4,3,2,9]])
>>> input                     
tensor([[1, 2, 4, 5],
        [4, 3, 2, 9]])

牢记：input是indices

>>> input.shape              
torch.Size([2, 4])

Input size表示这批有2个句子，每个句子由4个单词构成

>>> a = embedding(input)      
>>> a
tensor([[[-1.1031, -1.2430, -0.2571],     
         [ 1.6682, -0.8926,  1.4263],    
         [-1.1625, -0.1598,  0.4034],
         [-0.2902, -0.0323, -2.2259]],
        [[-1.1625, -0.1598,  0.4034],
         [ 0.8971,  1.4592,  0.6712],
         [ 1.6682, -0.8926,  1.4263],
         [-0.6188,  0.5902, -0.0860]]], grad_fn=<EmbeddingBackward>)

a=embedding(input)是去embedding.weight中取对应index的词向量！
看a的第一行，input处index=1，对应取出weight中index=1的那一行。其实就是按index取词向量！

>>> a.size()
torch.Size([2, 4, 3])

取出来之后变成了2*4*3的张量。

终于弄懂了，爽了

来源：feiba54