教育网站设计欣赏,手机怎么制作网址链接,在线做投资网站,wordpress怎样做手机站这里写自定义目录标题 AutoRound V0.3 特性原理浅析其他工作AutoRound 原理 AutoRound#xff08;https://github.com/intel/auto-round#xff09;在Llama3.1-8B-Instruct上效果明显优于AWQ/GPTQ等方法#xff0c;在10个任务的平均准确率上我们以63.93%由于AWQ的63.15%和GP… 这里写自定义目录标题 AutoRound V0.3 特性原理浅析其他工作AutoRound 原理 AutoRoundhttps://github.com/intel/auto-round在Llama3.1-8B-Instruct上效果明显优于AWQ/GPTQ等方法在10个任务的平均准确率上我们以63.93%由于AWQ的63.15%和GPTQ的63.04%具体数据可参考在
低比特开源LLM排行榜。 AutoRound V0.3 特性
支持了更多的设备
AutoRound格式支持CPU、HPU和CUDA推理并且解决了2-bit kernel精度问题
模型量化recipe
在低比特开源LLM排行榜上发布了另外发布了少量QWEN2的量化模型。由于公司政策问题发布模型都要很长时间的审核因此大部分的量化模型不能发布。
实验性功能
引入了包括激活量化和mx_fp数据类型在内的多个实验性功能但是目前不支持实际部署。我们发现AutoRound这这些场景中也有很大的作用。
多模态模型支持
支持了Llava, phi3-vision, Qwen-vl的tuning和推理
其他
另外我们也实现了对low_cpu_mem_usage、auto_awq格式、校准数据集连接以及带有chat_template的校准数据集的支持。
接下来我们也会尝试整合不同的算法来提升类似2bit和W4A4等场景的精度欢迎关注。
觉得我们的工作有帮助的话, 麻烦github上加个小星星。
原理浅析
其他工作
post traning量化如GPTQ和AWQ在业界已经非常出名了但是在有些模型上还是有不小的损失另外各有各的缺点所有算法都有自己的缺点包括AutoRound). GPTQ相当于伤了左脑补右脑并且由于hessian矩阵的存在有时候会不正定。 AWQ相当于转移问题将量化的难度转移到activation或者不敏感的weight上它需要插入一个op这个op大部分可以融合到 layernorm但是有些只能融合到其他weight上或者只能放弃处理对精度有一定的影响。此外一些框架会为提速支持compute_dtype为int8也就是说激活也会量化AWQ模型一般在这些上面就容易掉点。最后 GPTQ/AWQ共有的缺点就是标定数据不能很多不然会很慢因为基本上是相当于batch_size等于数据集大小。
类似于QAT的方法也有很多不少论文证明的效果非常好。但是个人不太喜欢这样的算法主要有两点原因
1 一般速度明显更慢并且需要调学习率和epoch. 虽然我个人也有点训练的经验但是在调学习率和epoch上感觉还是门外汉如果大家有好的调参资料可以分享一下。
2 有overfit的风险。一般QAT用的微调数据其实也不是很多但是大模型训练的数据明显要高几个数量级并且instruct模型或者chat模型都是经过特殊数据一般拿不到训练过的来提升安全性等能力。 而QAT的算法或者其他的训练算法一般都会用Adam 优化器但是Adam优化器对weight的调整是不可空的有可能经过训练后模型跟原来的差别很大。大部分的论文只会报少量任务的数据我个人理解就是就算在这些任务上表现比较好如果模型改动挺大那没测的一些能力有可能跟原始模型差别比较大。
AutoRound 原理
AutoRound主要是用signSGD也就是在梯度上去正负号来微调网络微调的参数主要包括两个部分一个是rouding的值一个是weight clip用来控制scale和zp 这里引入一点简单的公式来说明 W ~ s ∗ c l i p ( ⌊ W s z p ⌉ , n , m ) , n , m ∈ N \widetilde{W} s*clip(\left\lfloor\frac{W}{s}zp \right\rceil,n,m),n,m \in \mathbb{N} W s∗clip(⌊sWzp⌉,n,m),n,m∈N s m a x ( W ) − m i n ( W ) 2 b i t − 1 s \frac{max(W)-min(W)}{2^{bit}-1} s2bit−1max(W)−min(W)
如上面的公式一般想把一个浮点的权重W量化成一个整数的公式如上搜一下网上资料很多不赘述。
我们综合之前的工作在这上面加了两个可调整的参数一个是V用来控制up-down rounding值,V一般是在[-0.50.5],一个是alpha/beta用来控制s和zp , 一般是在[0.5, 1], 有些模型用[0,1]更好些 W ~ s ∗ c l i p ( ⌊ W s z p V ⌉ , n , m ) , n , m ∈ N s m a x ( W ) ∗ α − m i n ( W ) ∗ β 2 b i t − 1 \widetilde{W} s*clip(\left \lfloor\frac{W}{s}zp V \right \rceil,n,m),n,m \in \mathbb{N} \\ s \frac{max(W)*\alpha-min(W)*\beta}{2^{bit}-1} W s∗clip(⌊sWzpV⌉,n,m),n,m∈Ns2bit−1max(W)∗α−min(W)∗β 区别于其他的工作我们采用signSGD来微调这么参数而不是常用的Adam.
为什么这么设计
1 为什么只允许调up-down rounding
一个是为了防止overfit的问题让调整后的模型还是接近原始模型另外一个我们也测过放开这个限制印象中在我们测试的场景中没有优势第三个是如果范围扩大用SignSGD不好微调具体原因可以看下面。
2 为什么用SignSGD
2.1 上面提到了V/alpha/beta都是有界的所以用SignSGD可以快速的为每一个参数快速的探索整个空间。因为SignSGD是这么调整权重的 W W − S i g n ( g r a d ) ∗ l r W W-Sign(grad)*lr WW−Sign(grad)∗lr 如果我们控制所有iter下lr的和 那在一定步数下我们就能遍历整个空间。比如我们的默认参数是200步然后初始lr是1.0/200 然后用的是linear decay,那这200步lr的和是200*1.0/200 *0.5 0.5刚好是0.5 由于sign有正负所有它搜索的范围是[-0.5, 0.5]刚好是我们想要的区间。
2.2 搜索精度够足够用
V: V的最优解空间很大比如原始是4.6本来是要往上rounding,如果最优解是向下rounding那么V的取值可以是[-0.5, -0.1),所以只要搜到其中的任何一个值就可以因此不需要很精确的搜索
alpha, beta由于我们的lr是线性下降的虽然没有数学证明或者实际测过我们用signround能搜到理论的解还是很多的所以两点的间隔应该不会很大就算最优解刚好落到这两点之间实际上损失也不大。
2.3 节省显存和提速。
Adam会存下不少的state有momentum和variance. 不要小看这些临时变量因为在AMP训练中这些都是FP32的具体可以参考ZeRO: Memory Optimizations Toward Training Trillion Parameter Models
