gen模式相比ppl模式，在baichuan2的cmmlu上有更差的效果

[xealml]

如图我测试了ceval和cmmlu上的效果，cmmlu上的得分很差。

两个启动脚本为

gen模式的

python run.py --datasets ceval_gen cmmlu_gen \
  --hf-path ./models/Baichuan2-7B-Base \
  --tokenizer-path ./models/Baichuan2-7B-Base \
  --model-kwargs device_map='auto' trust_remote_code=True torch_dtype=torch.bfloat16 \
  --tokenizer-kwargs use_fast=False trust_remote_code=True \
  --max-out-len 100 \
  --max-seq-len 4096 \
  --batch-size 8 \
  --no-batch-padding \
  --num-gpus 1

ppl模式的

python run.py --datasets ceval_ppl cmmlu_ppl \
  --hf-path ./models/Baichuan2-7B-Base \
  --tokenizer-path./models/Baichuan2-7B-Base \
  --model-kwargs device_map='auto' trust_remote_code=True torch_dtype=torch.bfloat16 \
  --tokenizer-kwargs use_fast=False trust_remote_code=True \
  --max-out-len 100 \
  --max-seq-len 4096 \
  --batch-size 8 \
  --no-batch-padding \
  --num-gpus 1