能用Chinese-LLaMA-Alpaca-2 做基座，然后扩充蒙古文词表，蒙古文语料上增量训练，蒙汉平行语料指令微调实现蒙古文LLM吗？

[fandaoerji]

我想扩张蒙古文的功能，
那么像这个项目从LLama2扩展中文一样，我可以用Chinese-LLaMA-Alpaca-2 扩展蒙古文吗？

Chinese-LLaMA-Alpaca-2 的模型源码从哪儿看到？ 比如像LLama2里的 llama/model.py 这样的源码怎么看不见？

[ymcui]

1）理论上可行。
2）wiki里有训练脚本，自行查看：https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/wiki

[fandaoerji]

非常感谢你的回复。还有一个问题想咨询一下。

您的论文（https://arxiv.org/pdf/2304.08177.pdf）中 提到

To adapt the LLaMA model for the Chinese LLaMA tokenizer, we resize the word embeddings and language model head from shape V × H to V′ × H, where V = 32, 000 denotes the original vocabulary size, and V′ = 49, 953 is the new vocabulary size of the Chinese LLaMA tokenizer.

此时新模型embeddings和 LM head 的参数W，和原模型这个位置的参数W尺寸不匹配了。新的W比旧W要大一些，初始化时用旧W初始化一部分，多出来的部分随机吗？

还有Chinese-LLaMA-Alpaca-2做蒙古文增量训练后，之前中文、英文上的任务性能会有受到影响吗？

可能我还没有细读训练脚本的缘故。

[ymcui]

1）可以随机初始化，也可以采用均值初始化。
2）中文、英文任务会受到影响，具体得看你训练语料构成。

[fandaoerji]

如果 Chinese-LLaMA-Alpaca-2上用LoRA 继续预训练时 1个A40显卡够吗？假设语料只有10G。

[ymcui]

A40上利用LoRA训7B/13B没什么问题。
至于速度方面建议你自己跑起来，然后估算10G需要多久。

[fandaoerji]

具体得看你训练语料构成

这个如果都是蒙古文效果不好？ 是不是 蒙、汉、英 都有效果才好一些？（不是平行翻译的蒙汉英）