中文GPT2模型训练经验与问题解决分享

GPT2与Bert、T5之类的模型很不一样!!!

如果你对Bert、T5、BART的训练已经很熟悉,想要训练中文GPT模型,务必了解以下区别!!!
官方文档里虽然已经有教程,但是都是英文,自己实践过才知道有很多坑!!!
中文也有一些教程,但是使用了TextDataset这种已经过时的方法,不易于理解GPT2的真正工作原理。

开门见山说结论,与bert的最主要区别:

  1. GPT2Tokenizer,是以字节为单位的字节对编码,不是以中文的字或词为单位的!
    对于英文,GPT2Tokenizer大部分时候是以单词为单位进行切分的,但是对中文则完全不同,有时候2个id代表一个中文字,有时候又是1个?这一奇怪的现象正是因为采用字节对编码的结果。
    这也是为什么很多中文GPT使用BertTokenizer作为分词器,因为比较符合直观。
  2. GPT2Tokenizer没有默认的【pad_token】,需要自己设置,一般和eos_token设为一样。而且GPT2Tokenizer不会自动在句末增加eos_token,需要自己手动添加,否则模型generate的时候永远不会停下来直到最大长度,因为它不会生成eos_token!!!
    而且train的时候需要padding在右边,否则模型永远学不会什么时候停下!!!
    而且test的时候需要padding在左边,否则模型生成的结果可能全为eos!!!
  3. 训练时GPT2的【labels】和【input_ids】是一样的!所以使用的DataCollator不同

与T5的主要区别:
5. generate时的设置不同,因为input本身也是output的一部分,所以最好设置max_new_tokens
6. lm_head层不在model.parameters当中,因为词嵌入矩阵[‘transformer.wte.weight’]和lm_head的weight是参数共享的!而在T5中,只有encoder和decoder的词嵌入矩阵参数共享,lm_head则是一个独立的全连接层。

下面对这几点分别介绍:

1.tokenizer问题
官方介绍:如下
Construct a GPT-2 tokenizer. Based on byte-level Byte-Pair-Encoding.
This tokenizer has been trained to treat spaces like parts of the tokens (a bit like sentencepiece) so a word will be encoded differently whether it is at the beginning of the sentence (without space) or not:

 from transformers import GPT2Tokenizer
 tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
 tokenizer("Hello world")['input_ids']
[15496, 995]
 tokenizer(" Hello world")['input_ids']
[18435, 995]

You can get around that behavior by passing add_prefix_space=True when instantiating this tokenizer or when you call it on some text, but since the model was not pretrained this way, it might yield a decrease in performance.

总结起来就是:

  1. GPT-2 tokenizer 基于字节对进行编码。更多介绍可以看Byte-Pair-Encoding
  2. GPT-2 tokenizer 会把空格视为token的一部分(T5也是如此),例如“hello”与“ hello”的encode结果截然不同
  3. 你可以设置add_prefix_space,来避免上述情况,但是模型效果会下降

tokenize过程:
由于英文字母转换为字节再转换为单字节字符后和原来是一样的,所以英文tokenize看起来和bert差不多。(单字节字符共有256个,是ascii码的扩充,0-128和ascii码一样,所以不影响英文编码)
然而中文则面目全非,GPT-2 tokenizer的vocab里面看不见一个中文,因为vocab全都是单字节字符的组合。如下图:

那么中文是怎么变成id的呢?中文转换过程如下(这部分比较烦,不看不影响模型的训练
外部看起来的情况:中文(utf-8)–>字节串(一个中文3个字节)–>每个字节对应一个单字节字符–>单字节字符串–>寻找vocab里对应的子串,进行分词–>转变为input_ids
实际情况:中文(utf-8)–>字节串(一个中文3个字节)–>寻找vocab里对应的子字节串,进行分词–>转变为input_ids
可以看下面例子理解以上过程:

>>> '中国'.encode('utf-8')
b'\xe4\xb8\xad\xe5\x9b\xbd'

>>> [tokenizer.byte_encoder[b] for b in b'\xe4\xb8\xad\xe5\x9b\xbd']
['ä', '¸', 'Ń', 'å', 'Ľ', '½']

>>> ''.join(['ä', '¸', 'Ń', 'å', 'Ľ', '½'])
 'ä¸ŃåĽ½'

>>> tokenizer.tokenize('中国')
['ä¸Ń', 'åĽ', '½']

>>> tokenizer.convert_tokens_to_ids(['ä¸Ń', 'åĽ', '½'])
[40792, 32368, 121]

>>> tokenizer.tokenize('ä¸ŃåĽ½')
['ä', 'Â', '¸', 'Å', 'ĥ', 'Ã¥', 'Ä', '½', '½']

#由于python的encode命令默认使用utf-8编码,而不是单字节字符集,
#所以这里将“中国”的分词结果拼回去在分词,结果会不一样

>>> tokenizer.byte_decoder['ä']  #此处使用单字节字符集,将'ä'映射为一个字节
228   #十进制228对应十六进制0xe4
>>> bytearray([228])
bytearray(b'\xe4')

>>> 'ä'.encode('utf-8')  #此处使用默认encode,将'ä'映射为2个字节
b'\xc3\xa4'

2.Padding问题
由于gpt是自回归语言模型,理论上来说,是不需要pad的,因为生成的id必须立即接在输入的id后面,中间不能有pad_token。
train的时候需要padding在右边,并在句末加入eos,否则模型永远学不会什么时候停下!!!
test的时候需要padding在左边,否则模型生成的结果可能全为eos!!!

但是当一个batch进行generate时时,难免出现输入句子不一样长的情况,所以需要在前面添加pad_token而不是像Bert一样默认添加在后面。
所以generate时需要设置:

tokenizer.pad_token=tokenizer.eos_token
tokenizer.padding_side='left'

train的时候需要设置:

tokenizer.pad_token=tokenizer.eos_token
tokenizer.padding_side='right'
#假设text为想要训练的文本,需要在句末加入eos
text=text+tokenizer.eos_token

3.训练label问题

  1. 对于GPT,训练数据集里没有输入输出的区别,没有question与answer之分。训练时,一整句话,既是input,也是label。所以labels与input_ids 完全一致。举例如下:
    假设我希望训练模型,使其能进行如下问答:question:“中国是首都是什么?”answer:“北京”
    T5:input_ids :“中国是首都是什么?”,labels:“北京”
    GPT2:input_ids :“中国是首都是什么?北京”,labels:“中国是首都是什么?北京”

  2. 当你的数据集已经有question和answer列,那么需要将question和answer拼接在一起,再tokenizer处理为input_ids与attention_mask列

  3. 当你的数据集已经有input_ids与attention_mask列,那么就使用 transformers提供的DataCollatorForLanguageModeling即可让dataloader自动生成labels。如下是训练一个epoch的方式:

#dataset已经经过处理,有input_ids与attention_mask列
data_collator = DataCollatorForLanguageModeling(tokenizer=tokenizer, mlm=False)
data_loader = DataLoader(dataset, batch_size=batch_size,
                             shuffle=True, collate_fn=data_collator, drop_last=False)
# acclelrator包装
model, data_loader = accelerator.prepare(model, data_loader)
#训练一个epoch
for step, batch in enumerate(data_loader):
    optimizer.zero_grad()
    outputs = model(**batch)
    loss = outputs[0]
    accelerator.backward(loss)
    optimizer.step()

4.Generate问题

  1. 由于模型的config中pad_token一般为None,但在生成一个batch的时候,因为设置了early_stopping=True,所以生成的序列不一样长,难免要用到padding,所以这一项需要设置 :pad_token_id=tokenizer.pad_token_id,使所有生成序列一样长。
  2. GPT2生成的结果,max_length表示prompt+generate的总长度,max_new_tokens表示generate的长度,通常我们想要限制的都是generate的长度,input_ids的长度一般不算在内,所以设置 max_length=None, max_new_tokens=256。 T5模型则一般设置max_length,因为decoder部分一般没有前缀。
  3. 前面提到过的,input需要padding,但需要pad在左边,pad_token一般与eos_token相同,不影响生成结果。
  4. 由于是生成(test)不是训练,所以input_ids和训练时不同。训练时输入 问题+答案;测试时只输入 问题,不需要提供labels
    举个例子,训练时,input_ids是“中国是首都是什么?北京”;测试时,input_ids则为“中国是首都是什么?”,然后模型生成“中国是首都是什么?北京”,需要自己再把后面部分截取出来作为 答案
input_ids=tokenizer("中国是首都是什么?")['input_ids']
attention_mask=tokenizer("中国是首都是什么?")['attention_mask']
generated_ids = model.generate(
   input_ids=input_ids,
   attention_mask=attention_mask,
   min_length=3,
   max_length=None,
   max_new_tokens=256,
   pad_token_id=tokenizer.pad_token_id,
   repetition_penalty=3.5,
   length_penalty=2.5,
   early_stopping=True,)
   
decoded_preds = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)

>>> decoded_preds 
'中国是首都是什么?北京'

总结:别用GPT,GPT不适合微调,只适合娱乐,想做生成任务建议用T5 、OPT、Bloomz等开源的语言模型,采用更优的相对位置编码,也不容易出乱码 (╬ ̄皿 ̄)
而且因为使用字节对编码,generate时极易出现乱码,因为一个中文3字节,而最小的token是2字节。如果编码英文,很合理,编码中文则非常的反直觉,不如bert、T5符合人类的习惯。如果条件允许,可以自己定义新的tokenizer进行训练。

物联沃分享整理
物联沃-IOTWORD物联网 » 中文GPT2模型训练经验与问题解决分享

发表评论