两个解决方案

方案一：检查网络和数据是否都在GPU上

RuntimeError:输入类型(torch.FloatTensor)和权重类型(torch.cuda.FloatTensor)应该相同，或者输入应该是一个MKLDNN张量，而权重是一个密集张量。

我们的权重是cuda类型(GPU训练得到)，而输入(要测试的数据)不是cuda类型。 采用GPU训练的模型，不能直接在CPU上使用，也要放到GPU中预测。

如果用的模型参数是在cuda上(gpu)训练的，在使用其进行测试时，需要将要测试的数据也放到GPU上，即：data.cuda()。

仔细检查一下神经网络和相关的数据是否都放在了GPU上！

方案二：模型定义全放在类的初始化里

此外，根据大佬的分析，也有可能，是因为你的模型在定义的时候，没有定义好，导致模型的一部分在加载的时候没有办法转移到 cuda上。 具体测试就略过了。

总的来说，如果上面的方法不奏效，那么试一试把所有的网络层（只要有参数需要训练的网络层）都放到 __init__()函数里面去定义，只在 forward()中写运行时的逻辑，即：

class A(nn.Module):
    def __init__(self):
        super(A,self).__init__()
        self.conv = nn.Conv2d(in_channels=3, out_channels=8, kernel_size=3)
        self.relu = nn.ReLU(inplace=True)
        self.b_module = B()

    def forward(self,x):
        out = self.conv(x)
        out = self.relu(out)
        out = self.b_module(out)
        return out

class B(nn.Module):
    def __init__(self):
        super(B,self).__init__()
        self.conv = nn.Conv2d(in_channels=8, out_channels=16, kernel_size=3)
        self.relu = nn.ReLU(inplace=True)

    def forward(self, x):
        out = self.conv(x)
        out = self.relu(out)
        return out

参考：

来源：lucky-wz