彩票网站建设与推广,潍坊哪里能找到做网站的,鞍山做网站的公司,对网站外部的搜索引擎优化论文 Spiking Diffusion Models 主要内容是提出了“脉冲扩散模型#xff08;Spiking Diffusion Models, SDMs#xff09;”#xff0c;一种基于脉冲神经网络#xff08;SNN#xff09;的生成模型#xff0c;旨在解决传统人工神经网络#xff08;ANN#xff09;在图像生…论文 Spiking Diffusion Models 主要内容是提出了“脉冲扩散模型Spiking Diffusion Models, SDMs”一种基于脉冲神经网络SNN的生成模型旨在解决传统人工神经网络ANN在图像生成领域中的高能耗和计算强度问题。脉冲神经网络因其生物学上的合理性和低能耗特性而受到广泛关注。 对最先进的SNN模型进行比较。FID采用log2尺度标记的大小对应于IS指标。与其他SNN生成模型相比我们的模型在使用较少时间步长的情况下表现出更好的FID。
一、引言
本论文提出了一种名为“脉冲扩散模型Spiking Diffusion Models, SDMs”的新型生成模型。SDMs结合了脉冲神经网络Spiking Neural Networks, SNNs的低能耗特性与扩散模型Diffusion Models的强大生成能力旨在解决传统人工神经网络Artificial Neural Networks, ANNs在图像生成任务中面临的高能耗和计算强度问题。脉冲神经网络因其生物学上的合理性和高效的能量利用率近年来在神经计算领域受到广泛关注。然而现有的SNN生成模型在图像质量和生成性能方面尚未达到ANN模型的水平。为此本文提出了两项核心创新以提升SNN在生成任务中的表现。
二、相关工作
2.1 脉冲神经网络SNNs
SNNs模拟生物神经元的脉冲传递机制通过离散的脉冲spikes进行信息传递具有低能耗和高效处理时序信息的优势。近年来随着硬件技术的发展SNNs在图像识别、目标检测等任务中取得了一定的成果。
2.2 扩散模型Diffusion Models
扩散模型是一类基于概率模型的生成方法通过逐步去噪生成高质量的图像。近年来扩散模型在图像生成任务中表现出色成为GANs的有力竞争者。然而扩散模型通常需要大量的计算资源限制了其在低能耗设备上的应用。
2.3 SNN与扩散模型的结合
尽管SNN在能耗和时序信息处理上具有优势但将其应用于生成任务尚处于起步阶段。现有工作主要集中在SNN与GANs的结合上而将SNN应用于扩散模型的研究较为有限。因此本文旨在填补这一研究空白提出适用于扩散模型的SNN架构。
三、方法
3.1 SDMs的总体架构
SDMs结合了扩散模型的去噪过程与SNN的脉冲传递机制。具体来说SDMs使用SNN-UNet作为去噪网络通过脉冲神经元的时序活动来逐步生成图像。为了提升生成质量和能效本文引入了两项关键机制时间脉冲机制Temporal-wise Spiking Mechanism, TSM和阈值引导策略Threshold Guidance, TG。 我们脉冲扩散模型的概述。SDM的学习过程分为两个阶段1训练阶段和2微调阶段。在训练阶段我们的脉冲UNet采用标准的前脉冲残差块左下见第IV-A节然后在微调阶段将前脉冲块转换为TSM块右下见第IV-B节。给定一个随机高斯噪声输入\(x_t\)它首先通过脉冲编码器转换为脉冲表示然后与时间嵌入一起输入到脉冲UNet中。该网络仅传递由0/1向量属于\(Z{0,1}\)表示的脉冲。最终输出的脉冲通过解码器获得预测的噪声ϵ并计算损失来更新网络。在微调阶段我们加载训练阶段的权重并用TSM块替换前脉冲块此时时间参数p初始化为1.0。此阶段将继续优化网络参数以获得更好的生成性能。
3.2 时间脉冲机制TSM
TSM模块旨在增强SNN在时间维度上的信息处理能力。传统SNN的脉冲传递通常依赖于固定的突触权重限制了信息的动态传递。TSM通过动态调整神经元的膜电位使得SNN-UNet能够在每个时间步捕捉更多的动态信息从而提升生成图像的细节和质量。 时间脉冲机制概述。当脉冲神经元触发脉冲后脉冲将在突触前被转换为输入电流\(I\)。为了获取更多动态信息时间参数\(P\)将作用于电流形成时间自适应电流\(Iˆ\)。
3.3 阈值引导策略TG
TG是一种无需额外训练的策略通过在推理阶段微调神经元的阈值来优化生成过程。具体而言TG通过调整脉冲神经元的激活阈值可以在不增加训练成本的情况下显著提升生成图像的质量。实验表明适当的阈值调整能够有效降低生成图像的FID分数同时提升IS分数。
四、实验
4.1 实验设置 数据集MNIST、Fashion-MNIST、CIFAR-10、CelebA和LSUN-bed。 评价指标FIDFrechet Inception Distance和ISInception Score以及能耗测量。 模型对比与传统ANN扩散模型以及现有SNN生成模型进行对比评估SDMs的生成性能和能耗优势。 不同数据集的结果。在所有数据集中SDMs我们的模型在样本质量方面优于所有SNN基线模型甚至超过了一些ANN模型样本质量主要通过FID和IS进行评估。▽的结果来自文献[30]♮的结果来自文献[46]。ema表示使用了EMA [75]方法。为了公平比较我们重新评估了DDPM [16]和DDIM [32]的结果使用了与SDMs相同的UNet架构。∗表示仅对MNIST、Fashion-MNIST和CelebA使用FID评分因为它们的数据分布与ImageNet差异较大使得Inception Score无意义。排名前两位的结果分别用粗体和下划线表示。
4.2 无条件图像生成结果
在MNIST、Fashion-MNIST、CIFAR-10、CelebA和LSUN-bed数据集上SDDMs通过直接训练方法展示了优异的生成能力。表中展示了不同时间步长下SDDPM的FID和IS分数结果表明随着时间步长的增加生成质量提升明显。
使用ANN-SNN方法在CIFAR-10和FFHQ64上的无条件图像生成结果。
4.3 时间脉冲机制的有效性
通过对比使用和不使用TSM模块的CIFAR-10生成结果实验结果图5显示TSM模块显著提升了生成图像的质量表现为图像轮廓更清晰、背景更明确、纹理细节更丰富。这证明了TSM在增强SNN动态信息处理能力方面的有效性。
4.4 阈值引导策略的有效性
表III展示了不同阈值引导下CIFAR-10的生成结果。通过轻微调整脉冲神经元的阈值TG策略显著降低了FID分数并提升了IS分数证明了TG在推理阶段优化生成质量的有效性。
4.5 TSM方法的分析
图6展示了各层时间脉冲机制参数p[t]的平均值结果表明随着时间步长的增加p[t]呈上升趋势表明后期时间步长在信息传递过程中具有更高的重要性。TSM通过动态调整这些参数有效提升了SNN对时序动态的理解和生成图像的质量。
4.6 计算成本评估
表IV对比了SDDPM与其对应的ANN模型在FID分数和能耗上的表现。结果显示SDDPM在保持竞争性FID分数的同时能耗显著降低。例如在时间步长为4时SDDPM的能耗仅为ANN模型的37.5%且FID分数仅略高于ANN模型表明SDDPM在能效和生成性能之间实现了良好的平衡。
4.7 消融实验 表V在CIFAR-10上分别评估了TSM和TG对SDDIM的影响。结果表明TSM和TG各自提升了生成质量二者结合使用时FID分数进一步显著下降达到最佳效果。 表VI评估了SDM在不同扩散求解器上的表现结果显示SDDIM和Analytic-SDPM在不同时间步长下均表现出色尤其是Analytic-SDPM在FID分数上达到了新的最优水平证明了SDM在多种扩散求解器上的通用性和优越性。
相关信息 代码 https://github.com/andycao1125/sdm 论文 https://arxiv.org/abs/2408.16467v1
