关于基座模型和对话模型的疑问

[VirgilG72]

我是这方面的小白，想问一下以下几个问题：
①如果我想以lora微调的形式训练基座模型Qwen/Qwen2-7B，应该执行LLaMA-Factory的哪个微调命令？
②训练完基座模型后，我想基于这个基座模型，以lora微调的形式训练对话模型Qwen/Qwen2-7B-Instruct，应该执行LLaMA-Factory的哪个微调命令？

我的思路是：
①先执行llamafactory-cli train examples/train_lora/llama3_lora_pretrain.yaml中的model_name_or_path改为Qwen/Qwen2-7B，输出路径为Qwen/Qwen2-7B-pretrained
②然后llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml中的model_name_or_path改为Qwen/Qwen2-7B-pretrained
这样可行吗？

[Tendo33]

预训练结束不要忘了merge 一下 adapter 和 base model

[ZhichengQian1]

你尝试了吗，你的base的data是什么？ 如果训练了base模型是不是需要一个大的Instruct dataset 去训练它的对话能力？你使用的数据集是都一致的？