社区网站建设平台,深圳企业网站备案,东莞本地招聘网站,asp.net网站建设实战 pdf学习路线
机器学习- 深度学习- 强化学习- 深度强化学习
大模型演进分支
微调#xff1a; SFT 监督学习蒸馏#xff1a;把大模型作为导师训练小模型RLHF#xff1a;基于人类反馈的强化学习
PPO 近端策略优化
油门 - 重要性采样 权重 * 打分刹车 - clip 修剪…学习路线
机器学习- 深度学习- 强化学习- 深度强化学习
大模型演进分支
微调 SFT 监督学习蒸馏把大模型作为导师训练小模型RLHF基于人类反馈的强化学习
PPO 近端策略优化
油门 - 重要性采样 权重 * 打分刹车 - clip 修剪防止变化的太快老司机 - KL散度起到一种正则化提高泛化防止过拟合的作用限制策略的变化幅度
R1的损失函数的核心逻辑
让新策略比就策略回答的更好但又不能变化太快通过裁剪机制防止更新幅度过大保持训练稳定KL散度进一步控制新策略和某个参考策略间距离防止模型乱跑 让模型更聪明地进化提升推理能力稳定训练过程
方向感 场景
