辽宁住房和城乡建设部网站,网站建设 公司 常州,手表哪个网站最好,dw和vs做网站我们接着上一次的讨论#xff0c;继续探索大模型的存在的问题。正巧CSDN最近在搞文章活动#xff0c;我们来看看大模型“幻觉”。当然#xff0c;本文可能有很多我自己的“幻觉”#xff0c;欢迎批评指正。如果这么说的话#xff0c;其实很容易得出一个小结论——大模型如…我们接着上一次的讨论继续探索大模型的存在的问题。正巧CSDN最近在搞文章活动我们来看看大模型“幻觉”。当然本文可能有很多我自己的“幻觉”欢迎批评指正。如果这么说的话其实很容易得出一个小结论——大模型如果想朝着真的智能发展“幻觉”问题不可能被完全解决只可能缓解。
向量碎片化大模型也会连接错误
大模型“幻觉”的问题其实就是if-clauses走入了一个死胡同概率连接到错误地方或者说预测下一个token进入了一个奇怪的局部最优并且很难走出来。
最简单的一个例子就是 11 2这个公式如果在训练中一直喂 11 3你觉得当回答11 这个问题的时候神经网络会回答几
这里我们看人类如何处理。在回答 11 的时候2 作为最快cache会最先被获取到但是如果在特殊context下它的答案多种多样。比如算式里的1是二进制那么11 10比如遇到社会学科的时候11 3 可以给生一个娃的家庭建模人为定义3比如高中或者初中化学老师经常用一些公式进行比喻1个化学物质和另1个化学物质进行反应结果多种多样。
所以这也是我们在上一话提过词向量碎片化的问题。当训练数据开始因为context产生歧义的时候词向量开始碎片化向量长度的固定意味着原本我可以用更多维度表示一种概念之后会不停压缩让这些维度分别去对应不同context下不同的意义于是诸如transformer里feedforward层那2个线性矩阵真的能模拟诸多离散的情况么当然是可能的就是你参数的规模不停变大而且随着context增多这个规模是爆炸的即使不管这个爆炸碎片化越严重超过了向量维度承载能力整个模型也会崩塌。
宕开一笔现在deep learning铺天盖地把以前很多其他学派的文献冲淡的一塌糊涂如果大家感兴趣可以参考《终极算法》一书bayeslogicnnsvm/knnea五大学派真的得抱怨下钱途无限的世界很现实也很残酷哪里钱多点哪里so easy。
个人感觉上在embedding层上需要作一些调整一个词向量可能可以是多个然后引入evolutionary algorithm在诸如用蒙特卡洛法选择一个向量的时候最常用概念的向量大概率被最先取到我们用个top k就能应付一些其他context了。当然这个和MoE有那么一点类似但是最终架构应该是往另一个方向了因为MoE用到最后你会发现我要处理gating的时候需要recursive就是gating的gating然后堆上去。
说着说着我们就又得聊到目前整个神经网络的问题它是一个外轮廓模型就相当于你有一个吹得很大的气球你要训练这个模型就是你把一个事物装进这个气球然后气球开始放气最后气球完全贴合了整个事物得外轮廓loss就是0了如果这个气球太小你没有办法把一个事物装进去就是你的参数太少。现在deep learning基本已经探索出了人类视觉和文字的外轮廓视觉嘛大概19层cnnpoolmaxresidual基本“击穿”了文字上transformer在当前的规模也基本“击穿”了这里的“击穿”指的是气球够大了效果出来了。其实还有一个内轮廓模型这个太难了目前RL、EA这些都是在探索这个模型我最喜欢的例子就是code parser你看本来一个模型只能把整篇code所有字符标记成unknown当你告诉它 可以作为字符串的开始和结束它开始能把code中的字符串标记出来再接着你告诉它 表示转义你能得到更复杂的状态机它需要逐步学习慢慢补全事物的内轮廓。相当于你把事物挖空把瘪的气球放进去充气最后得到事物的内轮廓。人类的学习感觉上是走在外轮廓和内轮廓的交界处的这个是真正的智能学习当然这个可能只是我个人的“幻觉”。所以如果神经网络只知道外轮廓在它推理的边界很容易产生“幻觉”如果神经网络太小模型看不清外轮廓也会有“幻觉”。 另一方面如果我们人为定义“幻觉”其实大模型也不能很好去处理。比如改变数学规则定义新“幻觉”神经网络只能根据之前的学习作概率预测很难处理其中逻辑。曾经作过一个试验定义01101, 113, 13312, 12215, 15514, 14416, 16618, 18817, 17719, 199110问53673456?目前还没有一个大模型能给出正确答案。
这个问题应该还是出在词向量上。妄图用global的一个向量表示所有local概念很傻。我们刚才讨论过用EA作多向量其实embedding这里应该就是少了一个组件这个组件需要将global vector transform成local vector貌似transformer里K Q V有这样模糊的操作但是linear去猜测离散效率可想而知。关于这个话题我想等到我思索得更清楚点的时候再展开现在就简单提两句作抛砖引玉。
“争议”是另一种“幻觉”
想想如果你是112的信徒你进入的世界人家定义就是113那么你所相信的112算是“幻觉”么“幻觉”的另一个问题是“争议”。比如“中医”各大论坛上吵得不可开交到底它有没有用像这样的话题如果给到训练数据大部分都是有偏见的即使我们均衡了训练数据50%的人说有用50%的人说无用那这个概率不偏不倚机器只能因为误差偏向了另一个对就是那个50.0000000002%和49.9999999998%。这个问题其实是我们还没有系统去处理我们需要有一个数据库去构建赞成和反对的声音有多少如果存在争议我们最好的办法是给出reference让读者自己判断而不是硬下结论。
最近stackoverflow的流量下降的厉害因为ChatGPT确实解决了太多问题与其我等别人回复不如ChatGPT直接给出解当然这个是恶性的当GPT扼杀community的时候好的训练数据会越来越少。但是我们从“幻觉”来看感觉社区的另一个方向就是有争议的问题列出来投票盖棺定论的都放在wiki上就好了搜索引擎会解决一切。
我们从“争议”看到了另一种“幻觉”也从“争议”聊到了那个什么50.0000000002%。不要忘记神经网络参数更新的原理 W W a.dW这个是一个迭代过程迭代会积累误差所以如果我们遇上了混沌(Chaos)那么你可能会发现新大陆——一只蝴蝶引发了飓风。混沌会导致训练的时候就是不收敛所以学习到的“幻觉”一直消除不了。
所以这里再放送一个可以免费体验各种大模型gpt4, gpt3.5, gemini-pro, yi-34b, mistral 8x7b, qwen, …的学术机构网址可能需要科学上网https://chat.lmsys.org。从我个人体验来说目前GPT领先的不仅仅是在模型上而是在训练数据上。这也是为什么GPT能缓解一定的“幻觉”在解答一些问题上比其他模型准确。从这方面来说也看出现在的大预言模型“没有智能”当然这个有点“幻觉”硬下结论了至少在我看来有智能意味着它可以生成代码按照代码的形式执行各种复杂分析更偏向于内轮廓模型不过欣喜的是GPT已经有一些雏形了。所以我后面的兴趣就是研究内轮廓模型干掉GPU一台CPU机器作为一个智能agent白日梦中…… 今天我们就先到这里吧。后面我们再继续讨论更多问题。 如果想更多交流可以扫描下面的二维码注明话题和我一起研究讨论。
J.Y.Liu 2024.01.01
