本项目支持从头训练吗？

[wudi-7mi]

本项目是否支持不使用 LLaMA2 的预训练权重，从头开始使用自己的文本数据进行训练？

[ymcui]

代码都有，怎么不支持？
https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/wiki/pt_scripts_zh

[wudi-7mi]

支持的训练模式
基于原版LLaMA-2训练中文LLaMA-2 LoRA
基于中文LLaMA-2，在新的LoRA上继续预训练
基于中文Alpaca-2，在新的LoRA上继续预训练

好像没提到从头训练？

是不是不加载权重就行？

[CRGBS]

額 你該不會想訓練基座模型吧

[wudi-7mi]

是这个想法

[CRGBS]

訓練基座難度跟價格都非常大，實在是不建議
如果要訓練基座可能要找其他項目，這個項目是基於LLama2的

[wudi-7mi]

明白了 感谢指点