电力公司在哪个网站做推广最好,wordpress 查询模板,推荐郑州网站建设公司,网站建没有前景文章#xff1a;https://arxiv.org/pdf/2305.14314.pdf
代码#xff1a;https://github.com/artidoro/qlora概括
QLORA是一种有效的微调方法#xff0c;它减少了内存使用#xff0c;足以在单个48GB GPU上微调65B参数模型#xff0c;同时保留完整的16位微调任务性能。QLOR…文章https://arxiv.org/pdf/2305.14314.pdf
代码https://github.com/artidoro/qlora概括
QLORA是一种有效的微调方法它减少了内存使用足以在单个48GB GPU上微调65B参数模型同时保留完整的16位微调任务性能。QLORA通过冻结的4位量化预训练语言模型将梯度反向传播到低秩适配器(Low Rank Adapters, LoRA)。Guanaco模型在Vicuna基准上优于之前所有公开发布的模型达到ChatGPT性能水平的99.3%而只需要在单个GPU上进行24小时的微调。使用QLORA对1000多个模型进行了微调提供了8个指令数据集、多种模型类型(LLaMA、T5)和常规微调无法运行的模型规模(例如33B和65B参数模型)上的指令跟随和聊天机器人性能的详细分析。结果表明即使使用比以前的SoTA更小的模型在小的高质量数据集上进行QLoRA微调也可以得到最先进的结果。
一句话总结基于LoRA微调技术引入深度量化在不损失模型精度的前提下加大的降低了训练成本。
微调原理与创新点
引入三个创新点
(a) 4位NormalFloat (NF4)这是一种新的数据类型理论上对正态分布权重是最优的;比4位整数和4位浮点数产生更好的经验结果。 (b) 双量化通过量化常量来减少平均内存占用;每个参数平均节省约0.37比特(65B型号约为3gb)。
© 分页优化器使用NVIDIA统一内存以避免处理具有长序列长度的小批量时发生的梯度检查点内存峰值。 不同的调优方法及其内存需求。QLORA通过将转换器模型量化到4位精度并使用分页优化器处理内存峰值来改进LoRA。
QLORA包含两个组件4-bit NormalFloat量化和Double Quantization。其中4-bit NormalFloat数据类型是基于Quantile Quantization技术开发的通过估计输入张量的分位数来保证每个量化区间分配相等的值。Double Quantization是将额外的量化常数进行量化以减小内存开销的过程。为了防止梯度检查点所引起的内存波动导致的内存不足错误QLORA引入了Paged Optimizers技术。这种技术使用了NVIDIA统一内存的特性实现了CPU和GPU之间自动的页面转换在GPU内存不足的情况下自动将优化器状态转移到CPU内存。QLORA通常使用4位NormalFloat作为存储数据类型和16位BrainFloat作为计算数据类型在计算梯度时只对LoRA的参数计算梯度。
实验结果 使用不同4位数据类型的LLaMA模型在Winogrande, HellaSwag, PiQA, Arc-Easy和ArcChallenge上的平均zero-shot精度。**与常规的4位浮点数相比NormalFloat数据类型显著提高了逐位精度增益。**虽然双量化(DQ)只带来很小的收益它允许对内存占用进行更细粒度的控制以适应特定大小(33B/65B)的模型到特定的gpu (24/48GB)。 在Alpaca和FLAN v2上对不同数据类型的适配器进行微调后LLaMA 7-65B模型的平均5次MMLU测试精度。总体而言具有双量化(DQ)的NF4与BFloat16性能相当而FP4始终比两者落后一个百分点。
如何学习大模型
现在社会上大模型越来越普及了已经有很多人都想往这里面扎但是却找不到适合的方法去学习。
作为一名资深码农初入大模型时也吃了很多亏踩了无数坑。现在我想把我的经验和知识分享给你们帮助你们学习AI大模型能够解决你们学习中的困难。
我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习等录播视频免费分享出来需要的小伙伴可以扫取。 一、AGI大模型系统学习路线
很多人学习大模型的时候没有方向东学一点西学一点像只无头苍蝇乱撞我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。 二、AI大模型视频教程 三、AI大模型各大学习书籍 四、AI大模型各大场景实战案例 五、结束语
学习AI大模型是当前科技发展的趋势它不仅能够为我们提供更多的机会和挑战还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型我们可以深入了解深度学习、神经网络等核心概念并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时掌握AI大模型还能够为我们的职业发展增添竞争力成为未来技术领域的领导者。
再者学习AI大模型也能为我们自己创造更多的价值提供更多的岗位以及副业创收让自己的生活更上一层楼。
因此学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。
