专业定制房地产网站建设,网站500m空间价格,东营住房和城乡建设厅网站,郴州网站建设专业现状报告0、为什么会对ChatGPT感兴趣一开始#xff0c;我对ChatGPT是没什么关注的#xff0c;无非就是有更大的数据集#xff0c;完成了更大规模的计算#xff0c;所以能够回答更多的问题。但后来了解到几个案例#xff0c;开始觉得这个事情并不简单。我先分别列举出来#xff0c…0、为什么会对ChatGPT感兴趣一开始我对ChatGPT是没什么关注的无非就是有更大的数据集完成了更大规模的计算所以能够回答更多的问题。但后来了解到几个案例开始觉得这个事情并不简单。我先分别列举出来具体解读在文末说明。1ChatGPT能够进行数学运算但大数运算和复杂运算基本都会出错。2ChatGPT能够解读出最新的网站内容。已知训练集停留在了2021年3ChatGPT可以解读原始的日志文件1、认识算法原理1.1 Encoder-Decoder解决特征工程问题受到造物者的馈赠大脑能够完成复杂的思维运算。但不幸的是这个思维过程仍然是黑盒的。给出一张图片如果问题是这张图片是什么色调你能够通过统计像素点色度的分布给出准确答案如果问题是这张图片是谁你同样能够给出答案但无法描述过程。你工作中处理的各类问题属于那种类型Anyway不论思维过程多么复杂它的框架是通用的传统机器学习是在学习人脑是如何进行“运算”的。比如“1”“3”“5”是单数“2”“4”“6”是双数算法可以帮你得出 x/21 是单数x/20是双数。个人认为深度学习则开始学习“从编码特征到运算”这一整个过程。显然解决的问题越复杂需要的数据量越多。但人脑并不需要这么多数据我认为核心差距是算法目前并不善于“总结归纳”中间过程。于是Encoder-Decoder结构就诞生了传统机器学习的训练模式是人工对输入数据进行清洗转化为特征向量中间编码然后基于特征和标签训练模型Decoder。但在复杂问题中特征工程也变成了一个“不可描述”的过程。于是开始弱化特征工程的作用直接用最原始的数据去进行训练企图让算法解决整个黑盒过程。也因此开始强调数据量的大小因为过渡黑盒需要足够多的数据训练大力出奇迹。而Encoder-Decoder则是做了一层提炼同时训练两个模型一个用于学习编码过程一个用于学习运算过程。各司其职大幅提升了整体的效率和可控性。1.2 RNN和Attention解决序列化的问题和常见的分类、打标任务不同语言是有序的。需要相应的上下文和描述语句才能正确理解。比如高考经典病句“三个学校的老师”到底是来自三个不同学校的老师还是同一个学校的三个老师是会产生歧义的。因此基于Encoder-Decoder设计了如下的RNN结构从信息流的层面理解所有信息通过编码逐单元向前传递。解码过程也是逐单元进行信息提取同时把已提取的信息也作为补充输入。跟背课文的过程很像。先背第一段再带着第一段的记忆背第二段。全部背完后先默写第一段然后带着已默写的第一段默写第二段。RNN的设计模式把语言的有序性很好的体现了出来。但同样存在一个问题编码和解码的过程是单向的信息会逐渐丢失越靠前的信息丢失的越厉害。同样以背课文为例。RNN就像是只允许你背一遍背完第一段就不允许再看第一段。那么必然最后一段记忆清晰第一段则记不住多少。为了弥补这个问题于是设计了Attention机制。相当于尽管只允许你背一遍但会在默写的时候给你提示帮助你正确的默写出来。一种最简单的全局Attention机制如下相当于提供了一个大纲而目前最流行的Attention机制是Self-Attention相当于给划了重点上图中之所以会将three给到school正是因为在Attention中明确指出了“三个”是用来修饰“学校”的。1.3 Transformer解决长序列的问题并没有完全弄懂RNN的结构虽然非常精妙的表达出了语言的有序性但和人脑的思维仍然存在差异人会从全局视角去接收输入而不是单向处理。你在背课文的时候显然不会局限自己只背一遍。而是通篇反复阅读没有顺序直到全部背下来。因此Transformer打破了RNN的单向传递机制同时输入全部信息并完全基于Attention去实现。其中涉及到了几个关键点Positional Encoding虽然顺序输入不重要但仍然需要知道每个字的位置是什么因此设计了Positional Encoding。相当于你可以随意阅读并且仍然知道第几段是第几段。Multi-Head Attention原理上仍然和Self Attention接近但是增加了多个并行的维度。相当于用不同的角度去解读重点是什么增加了信息传递的丰富性。相当于从多个角度去划重点。encoder层数和decoder层数出现神经网络中堆叠层数的效果。本质是通过全局传递的模式增大了信息传递效率堆层数有利于增强学习能力。RNN中的encoder和decoder单元也存在层数的概念但是不属于核心设计因此通常不体现。个人理解的效果如下所示下面这个动图也比较形象1.4 ChatGPT解决训练效率的问题上述的模型结构不论怎么优化本质过程都还是“使用大量数据进行训练生成模型后进行预测”的过程。而问题的复杂度越高需要的数据量越大训练的计算成本也越高。不管结构如何精妙仍然会存在一个效率带来的瓶颈。而ChatGPT的核心优势就是突破了效率瓶颈。其训练过程如下1输入“问题”和“正确答案”训练初始的NLP模型。2输入“问题”、“初始模型的答案”和“正确的分数”训练奖励模型。实际上提供的是“正确的排序”这里用“分数”为了更好的理解。3输入“问题”不提供“正确答案”用奖励模型去训练初始的NLP模型。之所以能够提效就是第三步已经剔除了“人工打标”这个成本最高的工作两个模型自身就构成了训练体系。传统的训练过程相当于告诉你一堆问题和答案你去寻找其中的规律而ChatGPT的训练过程相当于教你判断善恶建立三观你自己再基于三观去寻找最正确的答案。2、从结果推断具体实现OpenAI没有完全公开其实现逻辑但是通过一些有意思的问答表现能够推断包含哪些细节因素。2.1 同样的输入给予不同的结果存在随机因素不论算法多么复杂它仍然是符合“因果论”的不是“混沌”的。这就意味着给特定输入就会返回特定的输出具备一一对应的关系。但在ChatGPT的问答过程中并不符合这个效果。对于同一个问题不论是整体内容还是细节措辞都会存在差异。又基本可以断定ChatGPT不是一个实时更新的模型仍然依赖人工去进行周期性的迭代调优。因此ChatGPT一定在某个环节中加入了“随机因素”可能的位置在输入假设把时间、环境等因素一并加入到输入中去那么输出结果会发生改变。ChatGPT是否有在考虑基于这些因素产生个性化的对话风格预测在常规算法训练中往往也会加入随机因素以避免陷入“局部最优解”。ChatGPT目前应该是处于公测收集训练集的阶段是否特意加上随机因素来扩大样本丰富性排序算法本质上是在输出概率最大的解但也可能是在TOP中选一个。应该也能实现扩大样本丰富性的效果。我更倾向于是为了收集样本。因为从AI的商业化应用角度来说随机性并不是个有利因素人们更需要可靠可信的对话机器人。2.2 对于复杂问题的响应时间会更长存在预处理逻辑判断问题的复杂度问题的复杂度会影响训练的时间因为算法需要更多的数据和计算来推导因果关系。但一旦训练完成模型就固定了下来运算的过程不会因为输入的改变而改变。但实际体验过程中ChatGPT对于复杂性的问题明显表现出了更长的运算时间不论是开始响应的时间还是逐字吐出的速度。因为还包含网络因素不确定这个现象是否客观如果这个命题成立的话有两种实现可能有多种模型实习ChatGPT背后同时训练了多个不同复杂度的模型。在实际执行的时候它会先判断问题的复杂度再去选择用哪个模型来生成答案。具备运算优化能力ChatGPT模型自带的编码能力会对运算复杂度进行优化。比如对于简单的问题引入更多的乘0操作从而大幅提升运算速度。直觉判断后者的概率更高。这也意味着ChatGPT的表现力更贴近人类的思维了同样一个人对复杂问题会思考的时间更长。2.3 并不能发起测试请求但仍然能够得到答案不存在准确匹配关键词的逻辑更多依赖相似性回到一开始的漏洞分析场景。从原理上来说ChatGPT是不支持发起请求的。但当输入url的时候ChatGPT仍然能够作出回答。经过一些测试可以很明确的发现ChatGPT是基于domain、url中的信息去做的内容匹配。一个典型表现是当你输入相似但并不存在的url时ChatGPT仍然能够作出回答。这个过程依靠的就是路径相似性。ChatGPT并不认为url是个一一对应的关键词而是认为url中包含一定的逻辑。因此它会通过domain、path等文字去推断网页的真实内容并进行回答。通过Apache HTTP、2.4.0、2.4.49这几个关键词也并没有找到完全匹配的漏洞应当是进行了一定的杜撰。换一句话说ChatGPT的模型结构会让它认为万事均由潜在逻辑关系。但也有很多场景是强加的匹配规则并没有逻辑而ChatGPT强行计算出了一种逻辑。3、从原理推导应用场景总结一下ChatGPT擅长逻辑尤其是语言逻辑但缺乏专业知识的积累。基于此可以推导一下ChatGPT适用的场景3.1 常规NLP任务翻译、分类、总结等本质工作不多描述3.2 AIGC讲故事、生成话术、串联框架等可以将ChatGPT视为一个“语言艺术家”擅长基于一些关键点去做逻辑串联生成完整的答案。因此大部分只需要逻辑不需要事实的场景ChatGPT都能应付的来。3.3 代码ChatGPT在代码领域表现相当优秀但显然没有人告诉它各种编程语言的语法。个人推测是因为代码本身是以语言为基础的所以ChatGPT能够很顺利的掌握。而编写代码的过程其本质上是一种“翻译”流程程序员将脑海中的逻辑编写成特定的编程语言。“语言”和“翻译”本就是ChatGPT的老本行表现优异自不在话下。3.4 逆向逆向本质上也是一种“翻译”将加密、编码过的汇编代码还原为可读的代码甚至还原为清晰的逻辑。目前ChatGPT的训练集主要来源于互联完上搜集的信息。如果能够喂给它大量的源码和汇编代码以及相关的分析报告应当能够在逆向领域表现出优异的成绩。4、一些思考点4.1 从ChatGPT的能力看待“科技奇异点”我对下一个“科技奇异点”的定义是机器具备人类的思维并可以替代人类完成推理和研究工作从而大幅提升生产力。而基于上述对ChatGPT的研究我认为已经接近这个临界点因为这是我认知内机器第一次开始理解人类世界。对“理解”这个词我再展开说明一下。过往的机器学习都是在特定领域下完成某一项特定的工作任务包括去年爆火的AIGC。这也就意味着机器并不理解问题只是执行人们给它安排好的算式。对话式机器人其实很早就有了Siri、小爱同学、小度小度等但其核心是“功能库”。这些机器人的工作模式是“接受对话-提取关键词-匹配功能库-执行特定功能”而ChatGPT是在没有“功能库”的情况下实现的各种问答。换言之传统机器学习是某种工具而ChatGPT则是一个“被灌输了大量知识的婴幼儿”国外有测试表明ChatGPT符合9岁小孩的“心智”。4.2 从ChatGPT的原理看待语言的力量我过去没有重视过NLP领域的算法发展觉得和传统搜广推并没有本质区别。依靠海量训练集进行总结记忆然后回答学习过的内容不会进行推理和创造。但在ChatGPT表现出惊人的知识储备后回答从没见过的问题做从未见过的运算确实引起了一些思考。显然ChatGPT在特定专业领域的能力并不强甚至经常会杜撰一些内容你也许会嘲笑ChatGPT在一本正经的胡说八道。但我看到的却是ChatGPT仅依靠语言能力就推理出了很多的专业能力。换位思考一下假设没有人告诉你99乘法表也没人告诉你“乘号”的含义。只告诉你“1*11”“2*24”你要如何计算出“9*981”呢从这个现象可以引申出一个哲学思考语言和知识的关系。ChatGPT本质上还是一个NLP模型它计算的是字与字之间的概率关系。而ChatGPT正是基于这种文字之间的概率空间总结出了各种各样的公式定理。也许我们高估了“知识的复杂度”。4.3 从ChatGPT的现状看待后续迭代方向对比人类的思维我认为ChatGPT目前缺少两个关键能力1没有记忆2无法直接学习知识1没有记忆回顾一下ChatGPT的训练过程先训练一个初始模型再训练一个奖励模型。类比下来第一个过程获得的是原始信息的积累即记忆第二个过程获得的是知识的迭代。而目前对于ChatGPT的各项优化工作都集中在后面这个过程。换而言之ChatGPT的知识在不断完善但记忆并没有更新。而显然对于人类思维来说这两者都是不可或缺的。尽管有一些对话会让ChatGPT看起来能够记忆内容比如“先告诉ChatGPT你的名字然后让ChatGPT复述一遍”。但这个效果本质上是因为ChatGPT可以基于整个对话去回答问题因此能够把对话的历史信息包含进来并没有“记住”这个信息。2无法直接学习知识ChatGPT非常擅长讲故事处理比较纯粹的语言类问题。但专业领域的明确任务却处理不好。我认为ChatGPT目前差的是“已知经验的输入”。在人类的教育过程中是有老师在告诉你乘法应该怎么计算的。因此你不用从头开始去推导和总结直接应用即可。这个过程大幅度提高了学习的效率。而ChatGPT需要从0开始推导这个东西那他要经历的是人类从远古时期至今的迭代过程显然存在巨大的挑战。如果ChatGPT能够接受到构造好的经验输入那就可以省略掉很多的工作让算法也“站在巨人的肩膀上”。不幸的是这两项能力目前都没有解因为其算法性质仍然是黑盒的。上面我们提到了现有的算法框架结构已经对人类的思维方式做了粗力度的抽象因此取得了如今的成就。但更近一步的核心比如信息是如何被编码和计算的目前仍然黑盒也就限制了对其进行更深度的交互和优化。但随着人们对思维模式和算法的研究深入相信能够发明出更完善的架构来。到那个时候算法高度还原人类思维离“科技奇异点”应该就相当接近了。4.4 从ChatGPT的问答过程看待如何提问随着对话式算法的诞生Prompt Engineering这个概念也随之而来人们发现有时候之所以得不到理想的答案与其去优化模型不如去优化提问。这个概念是最新才了解到在此不作展开。我更想借这个话题再次提一个观点“算法的研究本质上是在还原人类的思维”。你如何设计合理的Prompt来得到理想的答案和你在现实中如何提问是同样的场景。只不过你目前面对的是一个“心智只有9岁小孩”的AI模型所以提问时需要更多的引导和提示。因此保持对AI技术的关注实际上也能够帮助你解读自己是如何思考问题的。4.5 从ChatGPT的训练过程看待如何更高效的培养人才继续回应上面的话题“算法的研究本质上是在还原人类的思维”。而ChatGPT实际上把培养人才的过程已经进行了抽象。将算法的演变过程转化成现实场景其实是如下的效果1在相对简单的场景下会直接告诉你解决方案。把对应的模型确定好按照这个逻辑跑就行能够快速得到想要的结果。2随着场景逐渐复杂解决方案本身变得“只可意会”了。这个时候会尝试甩给你大量的case让你自己琢磨出解决方案来。3但喂case积攒经验是个很耗精力的事情。所以为了提高效率在喂case的同时会告诉你方法论。只要用这个方法论配合一定的实战case大概率能得出想要的解决方案和结果来。5、结语在AIGC年爆火之后设计从业人员就开始担忧起自己的工作。同样ChatGPT可预见的也会对很多行业带来冲击比如教育。AI是否会最终取代人类的话题似乎也从“遥不可及”变得“忧心忡忡”。我认为AI一定会取代部分人但不会取代所有人也不会凌驾于人类之上。正如工业时代的到来取代了体力工作者AI时代的到来也会取代脑力工作者。而所谓的“专业”能力往往会在这个浪潮下被快速取代。想想当年的“八级技工”技术再厉害也比不过新的机器。同样的不论工业时代还是AI时代对于整个人类来说都是一种进步。它意味着生产力大幅提升意味着有更多的精力被释放出来可以往更深的领域去探索。而这个世界足够复杂远没有到被穷举干净的地步。事实上历史上每次有这种想法的时候都会打开一片新的天地。比如19世纪末物理学家说“物理学的大厦已经落成”但随之而来就出现了“相对论”和“量子力学”。身处这个时代我们需要考虑的不是如何阻止AI的到来。而是从自身出发去考虑如何发挥人类的思维优势利用好AI从而去造福更多的人类。
