哪家建网站,做网站提高淘宝店排名,网页开发网站,湖南知名网络推广公司为了训练专有领域模型#xff0c;选择LLaMA2-7B作为基座模型#xff0c;由于LLaMA模型中文词表有限#xff0c;因此首先进行中文词表的扩展#xff0c;然后进行三阶段训练#xff08;增量预训练#xff0c;有监督微调#xff0c;强化学习#xff09;。
代码将全部上传…
为了训练专有领域模型选择LLaMA2-7B作为基座模型由于LLaMA模型中文词表有限因此首先进行中文词表的扩展然后进行三阶段训练增量预训练有监督微调强化学习。
代码将全部上传到github
https://github.com/hjandlm/LLM_Train
1. 中文词表扩展
原生词表大小是32K在词表扩展后词表大小是63608。
2. 增量预训练
为了防止模型的通用能力减弱或消失将通用数据和领域数据混合经过调研决定设置5:1的数据配比进行增量预训练。由于资源有限显卡是一块A10040G因此训练较慢。
目前还处于预训练阶段情况如下
训练集损失曲线 测试集损失曲线 后续将继续研究如何“炼丹“敬请期待
3. 有监督微调
…
4. 强化学习
…
