网站服务器容量,网站建设公司面临的问题,大学代作作业的网站,中英文网站前端怎么做训练AI自生成输出模块化代码#xff0c;生成元代码级别的AI功能单元代码#xff0c;然后再由AI组织为另一个AI#xff0c;实现AI开发AI的能力#xff1b;用AI协助探索迭代新构型AI将会出现#xff0c;并成为一种新的技术路线潮流。
有限结点#xff0c;无限的连接形式生成元代码级别的AI功能单元代码然后再由AI组织为另一个AI实现AI开发AI的能力用AI协助探索迭代新构型AI将会出现并成为一种新的技术路线潮流。
有限结点无限的连接形式也是实现一种复杂性的方式。扩展结点、增加参数是另一种外延式的实现复杂性的方式这种方式也可以看作是有限结点、动态连接形式是等效的当连接权重置值0就相当于连接消除连接构型中相当于没有这个连接。两者概念的区别是后者这种形式的动态连接形式是区域限定的是在有限域上的动态“有限域”的概念是连接形式是在搭建模型时初始连接形式作为一个域是框架限定的权重置0的连接是在这个“有限域”的初始模型连接形式范围内的消除剪枝。进一步思考当模型训练到一定程度后能否引入一个迭代机制重新跳到第一步把模型的初始连接构型按某种规则在训练到一定程度的模型基础上扩展重置初始构型这样设想的目的把“有限域”扩展为模型自己探索的“动态域”简单地说预训练到一定程度的模型按某种尝试、奖励机制自动探索扩展初始连接构型重新开始一轮新的训练。模型自己按某种尝试、奖励机制自动化探索扩展初始连接构型中间肯定会产生很多垃圾构型那就自动淘汰模型自动化探索扩展的初始连接构型训练后的识别效果或收敛效率参照其前一个状态如果退步则淘汰如果更优则覆盖也可以理解为AI模型自己探索设计AI模型升级方向总是以自身效果为参照如果AI自己会自动化升级那是一种智能形式。AI自动化升级的一种形式是在训练过程中调整参数的权重现在思考探索和扩展AI自动化升级的方式AI自动化升级的另一种形式除了调整参数是否让模型可以自己探索新构型。
AI智能的参数或构型进化有两种模式一种模式是通过外在干预调整从外部给模型输入了进化方向即各种监督学习机制的本质另一种模式是通过设计“淘汰-选择”的规则赋予模型在训练过程中的自进化方向是模型内部自生成了进化方向。R1-Zero 的学习过程是按第二种模式进行进化的。这更接近实际生物大脑神经系统的智能进化的机制。让一个模型内部的两个子模型进行对话、多问题、多答案地输出-响应的博弈进行自优化。设计一个单纯性模型功能是单纯地对符号集进行形式化、自动化转换、形式最优化地选择与排除。
生物神经系统的进化从最简单到人类复杂的大脑这个进化是连接构型扩展的过程而对一个既定的个体则是连接构型框架定了以后参数权重升级的过程。生物神经系统就明显有两个升级模式从最简单到人类复杂的大脑既有结点的扩展也有链接构型的扩展。比较大象、海豚、鲸鱼的大脑和人类大脑神经元数量在一个量级这里面的差别主要是构型的差别结点规模效应的差别不是主要可以认为是一样的。
知识蒸馏的概念不同于模型蒸馏的概念模型蒸馏是对模型进行压缩而知识蒸馏是对训练数据资源进行压缩。知识蒸馏的预训练模型例子说明知识A人是会死的。知识B苏格拉底是人。知识C苏格拉底会死。三个知识知识A、知识B、知识C可以压缩进行知识压缩即所谓知识蒸馏压缩为知识A、知识B就包含了前面ABC的完整信息。互联网上的海量数据进行知识蒸馏压缩可以得到最核心的原子级知识这个信息池也许不大所以训练的计算量不需要很大然后从这些元级数据可以形式化为无穷无尽的知识。设计一个压缩验证模型就是给它一大堆的数据让他输出尽可能小的数据集这个小数据集可以包含输入的全部信息数据。比如给它输入知识A人是会死的。知识B苏格拉底是人。知识C苏格拉底会死。三个知识它会推出这里面内含的知识冗余然后自动化的剪切掉冗余数据。
