淮南家居网站建设怎么样,品牌网站制作网站公司,宝塔设置加速wordpress站点,免费建立个人网站的哪些平台好前言
本文的成就是一个点顺着一个点而来的#xff0c;成文过程颇有意思
首先#xff0c;如上文所说#xff0c;我司正在做三大LLM项目#xff0c;其中一个是论文审稿GPT第二版#xff0c;在模型选型的时候#xff0c;关注到了Mistral 7B(其背后的公司Mistral AI号称欧洲…前言
本文的成就是一个点顺着一个点而来的成文过程颇有意思
首先如上文所说我司正在做三大LLM项目其中一个是论文审稿GPT第二版在模型选型的时候关注到了Mistral 7B(其背后的公司Mistral AI号称欧洲的OpenAI当然 你权且一听切勿过于当真)而由Mistral 7B顺带关注到了基于其微调的Zephyr 7B而一了解Zephyr 7B的论文发现它还挺有意思的即它和ChatGPT三阶段训练方式的不同在于 在第二阶段训练奖励模型的时候不是由人工去排序模型给出的多个答案而是由AI比如GPT4去根据不同答案的好坏去排序 且在第三阶段的时候用到了一个DPO的算法去迭代策略而非ChatGPT本身用的PPO算法去迭代策略考虑到ChatGPT三阶段训练方式我已经写得足够完整了(instructGPT论文有的细节我做了重点分析、解读论文中没有的细节我更做了大量的扩展、深入、举例具体可以参见《ChatGPT技术原理解析从RL之PPO算法、RLHF到GPT4、instructGPT》) 而有些朋友反馈到DPO比PPO好用(当然了我也理解毕竟PPO那套算法涉及到4个模型一方面的策略的迭代一方面是价值的迭代理解透彻确实不容易)加之ChatGPT的最强竞品Claude也用到了一个RAILF的机制(和Zephyr 7B的AI奖励/DPO颇有异曲同工之妙)之前也曾想过写来着但此前一直深究于ChatGPT背后的原理细节现在也算有时间好好写一写了
综上便拟定了本文的标题 第一部分 什么是DPO
今年5月份斯坦福的一些研究者提出了RLHF的替代算法直接偏好优化(Direct Preference Optimization简称DPO)其对应论文为《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》
那其与ChatGPT所用的RLHF有何本质区别呢简言之 RLHF将奖励模型拟合到人类偏好数据集上然后使用RL方法比如PPO算法优化语言模型的策略以输出可以获得高奖励的responses(同时不会偏离原始SFT模型太远)RLHF methods fita reward model to a dataset of human preferences and then use RL to optimize a language model policy to produce responses assigned high reward without drifting excessively far from the original model. 虽然RLHF产生的模型具有令人印象深刻的会话和编码能力但RLHF比监督学习复杂得多其涉及训练多个LM和在训练循环中从LM策略中采样(4个模型涉及到经验数据的采集以及策略的迭代和价值的迭代如果不太熟或忘了请参见《ChatGPT技术原理解析》)从而产生大量的计算成本While RLHF produces models with impressive conversational and coding abilities, the RLHFpipeline is considerably more complex than supervised learning, involving training multiple LMs andsampling from the LM policy in the loop of training, incurring significant computational costs.相比之下DPO通过简单的分类目标直接优化最满足偏好的策略而没有明确的奖励函数或RLDPO directly optimizes for the policy best satisfying the preferences with a simple classification objective, without an explicit reward function or RL
更具体而言DPO的本质在于
增加了被首选的response相对不被首选的response的对数概率但它包含了一个动态的、每个示例的重要性权重以防止我们发现的简单概率比目标发生的模型退化 与现有算法一样DPO依赖于理论偏好模型衡量给定的奖励函数与经验偏好数据的一致性the DPO update increases the relative log probability of preferred to dispreferred responses, but it incorporates a dynamic, per-example importance weight that preventsthe model degeneration that we find occurs with a naive probability ratio objective Like existingalgorithms, DPO relies on a the oretical preference model that measures how well a given reward function aligns with empirical preference data.然而虽然现有方法比如ChatGPT通过定义偏好损失来训练奖励模型然后在奖励模型的指引下训练策略但DPO使用变量的变化来直接将偏好损失定义为策略的函数给定人类对模型响应的偏好数据集DPO因此可以使用简单的二元交叉熵目标优化策略而无需在训练期间明确学习奖励函数或从策略中采样However, while existing methods use the preference model to define a preference loss to train a reward model and then train a policy that optimizes the learned reward model, DPO uses a change of variables to definethe preference loss as a function of the policy directly. Given a dataset of human preferences overmodel responses, DPO can therefore optimize a policy using a simple binary cross entropy objective,without explicitly learning a reward function or sampling from the policy during training.
第二部分 Zephyr 7B的训练模式从AI奖励到DPO
// 待更
第三部分 Claude的RAILF
// 待更
