做直播的网站,哪些网站首页做的好,搜索引擎优化的主要内容,wordpress自适应菜单目录 导读
自回归模型
那么什么时候停下呢#xff1f;
该停下来#xff0c;但是概率不让啊
GPT欠缺的两种能力
目录
导读
自回归模型
那么什么时候停下呢#xff1f;
该停下来#xff0c;但是概率不让啊
GPT欠缺的两种能力
缺少规划
反省和修订
所有的人工智能…目录 导读
自回归模型
那么什么时候停下呢
该停下来但是概率不让啊
GPT欠缺的两种能力
目录
导读
自回归模型
那么什么时候停下呢
该停下来但是概率不让啊
GPT欠缺的两种能力
缺少规划
反省和修订
所有的人工智能模型都这样吗
福利 缺少规划
反省和修订
所有的人工智能模型都这样吗 导读 最近大家可能都听说了各种风靡互联网的聊天机器人它们的背后是GPT模型。GPT(Generative Pre-Trained)是一类模型但下文中的GPT均由某著名GPT模型友情参演。作为强大的大语言模型GPT已经展现出了令人惊叹的实力。写邮件学英语帮忙看文献已然成为了许多人的生活好帮手。作为一个聊天机器人它在很多任务上已经达到甚至超越了人类的智能水平这实在是令人非常佩服。但今天我们不是要夸它而是要展示一个看似很简单的事情但是GPT却完全无能为力。 其实GPT还是识数的如果这样问它 咦“博古通今”的GPT肯定有办法理解“10个字”的意思但是为什么无法正确输出只有10个字的话呢小编知道GPT为什么会搞不定这件事呢这就是本文要解释的事情。
自回归模型
要解释为什么GPT无法胜任这么简单的任务我们首先需要从GPT的底层原理——自回归模型开始讲起。千万不要被这个看似抽象的词吓到实际上这个概念非常简单。
自回归模型能做的事情其实和猜单词类似我们可以以英语课堂上的一个小场景为例。 ......在猜错了一些明明概率很高的字母之后学生终于猜出了第二个字母是’h’。
那下一步呢下一步就要考虑什么样子的字母或单词接在ch后面比较常见概率比较高。这时候学生就要考虑概率当中的对于不同的字母表现如何学生们当然要猜更大的因为这样更有机会猜对。学生又翻了一通词典按照出现频率的大小估计概率再用概率依次猜出了第三个第四个字母是chat。
学生的猜谜的例子其实就是自回归模型和GPT工作模式的生动诠释GPT在工作的时候就像猜词一样只是把字母换成了token。 token自然语言处理术语指处理文本的最小单元一个token可能是一个字符一个单词甚至一小段话。 更一般地说GPT会依据给定地语境在可能的不同输出选项中计算概率并按照这个概率进行输出。也就是按照
的大小进行输出。 确实在GPT的实际应用中没有老师来纠正学生的答案。但可以将学生猜词例子中老师的指正视为GPT在训练时使用的数据集进行的训练。在训练过程中GPT会利用数据集来调整当前输出当前语境 以提高回答的准确性。
我们跟GPT说的提示词可以类比为老师最开始说的第一个字母‘c’然后GPT要开始根据这个初始输入来组织和生成输出。它会先猜自己输出的第一段话语等效于‘h’。然后根据‘ch’这个新的“当前语境”再逐步猜后面的字母/语素。
那么什么时候停下呢
聪明的小伙伴们可能已经意识到了一个问题在没有老师指正的情况下GPT似乎可以无穷无尽地猜下去啊反正猜了一个再猜下一个永远没有终止啊。GPT说话虽然经常说一堆车轱辘话但是最后好歹还是会停下来的。是什么让这个猜谜停下来了呢
GPT是这样解决这个问题的。工程师们知道想让GPT把无穷无尽的猜词停下来其实很简单只需要“扩展”一下语素表让“停下来”这个操作是一个新的语素就行了。如此一来GPT在猜词的时候就会一直猜一直猜猜到语素“停下来”才停下来。
该停下来但是概率不让啊
既然已经知道了自回归模型的工作原理我们就可以回头来看一开始的问题了。在小编的例子里GPT的“内心”或许经历了这个计算
请说一段话恰好包含个汉字。生活不止眼前的苟且
GPT是很冷酷无情的它根本不管你是不是只要10个汉字也并不是很在乎你的需求它眼里只有这个概率分布只想按照这个概率进行抽样。
而当GPT说完九个汉字应该在一个字里结束输出的时候。GPT对概率表进行了搜索发现在所有输出当中仅输出一个字的概率太小了这也意味着这种情况的训练语料太少了只能不管前面“恰好10个汉字的要求”进行输出了。
GPT欠缺的两种能力
缺少规划
自回归模型每次抽样都是根据当前信息当前语境在抽样的过程中对全局缺少规划。 从人类的观点下看如果有恰好10个字的要求那就不应该一口气说9个字应该每说一个字都得斟酌下看看剩下的字数能不能组成一句完整通顺的话。可自回归模型GPT才不管这些它十分盲目短视地每次只管当前的
当前输出当前语境
并不很在意总回复的概率
总输出初始语境
是不是足够好。
反省和修订
自回归模型不具有“反省并修订”的能力。 人类基本都会反省吧。说了错话做错事至少也得心里想着对不起对不起不能这么干我要弥补下。
换到说恰好10个字的任务中肯定有许多人和小编一样估计错了10个字的量一口气说多了。 小编今天天气很不错阳光真... 怎么办已经10个字了我也要通不过图灵测试了吗赶紧修改一下把“很”删掉就能多出来一个字了。
而GPT那可是金口玉言说一不二。每一步说出来的话就会被放进新的“当前语境”中。它不会对自己已经抽样了的内容进行删减和修订在逐次猜出token的过程中将错就错一错再错..... 换而言之GPT虽然能看到自己之前的输出但是却不具有反省并修订的能力
所有的人工智能模型都这样吗
并不是所有机器学习模型都有这个缺点例如围棋战力单位“狗”AlphaGo在其蒙特卡罗搜索树算法中如果搜到了胜率过低的结果会修订之前的选择。
这也教导我们要培养良好的规划能力和自我反省和自我改进的能力。不然即使“博览群书”如GPT也只会像它一样完成不了说恰好10个字的简单任务呢。
送大家一份2024最新各厂牌教程资源非常的全面。
福利
包含Java、云原生、GO语音、嵌入式、Linux、物联网、AI人工智能、python、C/C/C#、软件测试、网络安全、Web前端、网页、大数据、Android大模型多线程、JVM、Spring、MySQL、Redis、Dubbo、中间件…等最全厂牌最新视频教程源码软件包面试必考题和答案详解。 福利想要的资料全都有 全免费没有魔法和套路
关注公众号资源充电吧
点击小卡片关注下回复学习
