网站后台的建设,快手官方网站音乐人怎么做,百度采购网官方网站,服装设计师培训注#xff1a;节选自我于24年初所写的「融合RL与LLM思想探寻世界模型以迈向AGI」散文式风格文章#xff0c;感兴趣的小伙伴儿可以访问我的主页置顶或专栏收录#xff0c;并制作了电子书供大家参考#xff0c;有需要的小伙伴可以关注私信我#xff0c;因为属于技术散文风格…注节选自我于24年初所写的「融合RL与LLM思想探寻世界模型以迈向AGI」散文式风格文章感兴趣的小伙伴儿可以访问我的主页置顶或专栏收录并制作了电子书供大家参考有需要的小伙伴可以关注私信我因为属于技术散文风格阅读起来不会像论文文献那样过于晦涩。 【节选内容】↓
“...想先为大家做一下这方面的思想试验有的时候我在想很多RL中所运用的那些看似巧妙而又让人略感毛燥的算法不论在空间的探索与利用阶段还是在奖励反馈阶段如AlphaGO在围棋中的复杂决策是否能够合理且完备的完成探索、反馈、学习中在近乎无限的大量数据中习得泛化经验吗当然如果数据确实是无限大的那么对于pre-training来说其代价是否太高了而对于alignment来说则会面临数据alignment本身的诸多挑战如
如何找到完备且充分的与alignment相匹配的样本数据分布
alignment过程中的数据多样性的保障
在复杂的策略空间探索中其泛化能力集合的分布是怎样的
…
对于当下llm合成数据的方式看起来能够基于一定预先规划的策略解决上述部分问题然而合成数据是否能在生成数据的过程中涌现出新的洞察或知识即实现基于策略合成上的自主空间探索且是完备的吗怎么理解和衡量这种完备性等问题我想未来都待进一步进行这方面的理论探索以系统性解决不然我想众多AIer们还将在这里step by step持续的探索当然这也也是一种美妙和享受的过程:)另外对大量历史真实世界数据的采样是否仅仅是学习人类过去已经先验并总结过知识并形成的最终文本表征的结论其对应的本质等价于这些知识或结论最终仍是来自于真实世界数据的的分布或构象上的表征而这种历史数据的分布或构象似乎无法通过模型的自回归生成式模式习得到人类在现实世界中未曾见到、更深刻的洞见以及新的知识结构似乎仅仅是对生成的语言分布概率做了重新排列或组合并在这种重排列或组合的过程中反复利用已经掌握的泛化能力进行表象知识的发现、探索和链接从而扩展了某种维度的知识结构。 因此这里我们是否也会回归到对历史经验的pre-training到当下过程中的exploration再到alignment的一些本质问题的思考是否在他们之间底层对数据的理解与操作上有着不同的角度或内在联系
