网站做蜘蛛池有用吗,自动seo系统,外贸网站的域名,moshou wordpress主题卡奥斯智能交互引擎是卡奥斯基于海尔近40年工业生产经验积累和卡奥斯7年工业互联网平台建设的最佳实践#xff0c;基于大语言模型和RAG技术#xff0c;集合海量工业领域生态资源方优质产品和知识服务#xff0c;旨在通过智能搜索、连续交互#xff0c;实时生成个性化的内容…卡奥斯智能交互引擎是卡奥斯基于海尔近40年工业生产经验积累和卡奥斯7年工业互联网平台建设的最佳实践基于大语言模型和RAG技术集合海量工业领域生态资源方优质产品和知识服务旨在通过智能搜索、连续交互实时生成个性化的内容和智能化产品推荐为用户提供快速、可靠的交互式搜索服务首创了聚焦工业领域的智能交互引擎。
详情戳卡奥斯智能交互引擎https://datayi.cn/w/DPWgDgjP
什么AI应用每秒处理20000个AI推理请求达到2024年谷歌搜索流量的1/5
答案是独角兽Character.ai由Transformer作者Noam Shazeer后面简称沙哥创办。
刚刚沙哥公布了推理优化独门秘诀迅速引起业界热议。 具体来说Character.ai在整个服务堆栈中实现了如下成绩 内存高效架构设计将KV缓存大小减少20倍以上而不会降低质量 Attention状态缓存95%请求无需重算 直接用in8精度量化训练推理零损失还省显存
Character.AI通过以上种种优化已经把推理成本降低到最初的1/33如果用市场上最好的商业API来支撑这种级别的流量成本会比现在高出13.5倍!
众多公布的方法中原生int8训练是最受关注的。 虽然大多数技巧都来自公开研究但是正如网友所说知道如何把它们高效整合在一起实现的团队才是真正的护城河。 秘诀1高效利用显存attention 参数量降低20倍
大模型的一大痛点是显存占用高导致无法支持大批量推理。Attention 层中的 Key-Value(KV)缓存便是罪魁祸首之一。
为了降低显存占用Character.AI在Attention层大动手术: 全面采用MQAMulti-Query Attention
与大多数开源模型中采用的GQAGrouped-Query Attention相比将KV缓存大小减少了 8 倍。
而MQA正是沙哥本人2019年在谷歌期间提出的有网友评价“当一个人能在生产环境中引用自己的论文就达到了一个新的高度”。 混合注意力视野
将局部注意力与全局注意力层交织在一起使用滑动窗口训练局部注意力将复杂度从 O(length^2 ) 降低到 O(length)。
团队发现将大多数注意力层的注意力范围减少到1024不会对评估指标产生重大影响包括长上下文大海捞针基准。在Character.ai生产模型中每6层中只有1层使用全局注意力。 跨层KV共享
团队将KV缓存绑定在相邻的注意力层上这进一步将 KV缓存大小减少了 2-3 倍。
对于全局注意力跨块绑定多个全局层的KV缓存因为全局注意力层在长上下文用例中主导KV缓存大小团队发现跨层共享KV不会降低质量。
下图中左半部分是标准Transformer设计每个注意力都是全局注意力。右半部分为Character.ai的设计蓝色框表示全局注意力绿色框表示局部注意力连线表示KV共享。 这一套组合拳下来KV缓存大小减少20倍以上显存再也不是瓶颈了。
秘诀2巧用状态缓存95%请求无需重算
Character.AI还有一招神来之笔就是在不同对话之间缓存Attention状态。
作为聊天机器人角色扮演服务Character.AI上大部分对话都是连续多轮的平均每个对话包含180条消息。如果每次都要重新计算前面的状态成本可想而知。
于是团队设计了一个缓存机制把每个对话的Prefix和生成的消息都缓存在内存中供后续调用。
借鉴RadixAttention的思路树状结构的LRU缓存组织缓存的KV张量。缓存的KV值由前缀token的Rolling Hash速检索最长匹配的缓存即使前缀只有部分匹配也能命中。
更妙的是他们还用会话保持(Sticky Session)把同一对话路由到同一个服务器进一步提高缓存命中率。最终做到95%的请求都能复用已有缓存大幅降低了计算成本。
下图中蓝色框表示主机内存上的缓存张量。绿色和黄色框表示CUDA内存上的KV缓存。当新查询到达时它检索最长匹配前缀的KV缓存Rolling Hash系统允许检索部分匹配消息的缓存。 秘诀3直接量化训练推理零损失还省显存
最后一招Character.AI没有采用常见的“训练后量化”而是直接用Int8精度训练模型。
这种格式虽然表达精度降低但通过精心设计定制的矩阵乘和 Attention 内核不仅把训练效率提高了好几倍而且还能无损用于推理。
不过沙哥在这里暂时留了一手表示“量化训练本身就是一个复杂的话题将在以后的文章中继续讨论。”
沙哥其人
最后再来介绍一下传奇人物Noam Shazeer本人。 他1994年拿了信息学奥赛IOI金牌后来毕业于杜克大学。
2000年加入谷歌当时全公司只有200人左右他参与了谷歌搜索的拼写纠正功能后来也负责过早期广告系统。
据知情人透露在当初面试谷歌时沙哥就被问到如何实现拼写纠正。他描述了一种根据其他用户的输入输入记录进行统计验证的方法。
面试官Gmail之父Paul Buchheit意识到沙哥的方案比谷歌当时使用的要好。沙哥成功入职之后就把他的面试方案写出来了。 在Transformer开山之作《Attention is All You Need》研究中沙哥最后一个加入团队一来就负责重新编写了整个代码。
在沙哥出手之前Transformer早期原型性能并没有超越当时流行的LSTM方案是他把早期设计中的卷积等模块都拿掉给出了一个极简主义方案。最终破了BLEU测试的记录同时计算效率也更高。
队友用“他是一个巫师”来评价他的工程和代码能力。
除此之外沙哥还有惊人的远见。在Transformer架构问世不久他就给谷歌高层写信提议公司放弃整个搜索索引并用Transformer架构训练一个巨大的神经网络替代。
2021年沙哥离开谷歌后创办了Character.AI让玩家简单自创个性化AI陪聊目前估值约50亿美元。 最近有消息称Meta与马斯克的都在争取与他们合作把聊天机器人引入社交平台。
