模型加载到CPU和GPU的方法详解

1. 采用 from_pretrained 的方式，模型正常情况下，BertMoldel.from_pretrained() 是会 load 在 cpu 上的，内部 map_location 默认设置成 cpu，如果想要部署在gpu，执行下面三句话。

BertMoldel.from_pretrained()
device=torch.device(’cuda’)
model.to(device) 

2. 采用 load_state_dict 的方式加载模型，模型是部署在 哪里可以指定，如果想部署到 gpu，无需修改第一行，直接再加入4.5行。

state_dict=torch.load(model_path, map_location=’cpu’)
#部署到 gpu，把上面改为map_location=’gpu’
model.load_state_dict(state_dict)
#已在CPU上加载，下面两句也可加入GPU
device=torch.device(’cuda’)
model.to(device)