当前位置: 首页 > news >正文

网站的建设参考文献柳州关键词优化网站

网站的建设参考文献,柳州关键词优化网站,加盟平台,无锡网站建设外包优势学习目标#xff1a; 一、实验 二、论文 学习时间#xff1a; 2023.11.11-2023.11.17 学习产出#xff1a; 实验 1、CB模块实验效果出来了#xff0c;加上去效果不太行#xff0c;后续实验考虑是否将CB模块换到其他地方 2、CiFAR100实验已完成#xff0c;效果比Vi…学习目标 一、实验 二、论文 学习时间 2023.11.11-2023.11.17 学习产出 实验 1、CB模块实验效果出来了加上去效果不太行后续实验考虑是否将CB模块换到其他地方 2、CiFAR100实验已完成效果比ViTGAN好 3、Diffusion 其他模块的实验还在跑目前Diffusion相对位置编码的效果比以前三个模块加一起的效果都好考虑再多跑几次看是否是偶然结果下周也会在这个代码上加上傅里叶看是否效果还和模型以前一样。 论文 FourierFormer: Transformer Meets Generalized Fourier Integral Theorem NIPS2022年的论文提出FourierFormer将点积核替代为广义傅里叶积分核。 1、介绍 点积自注意力遵循混合高斯分布这一假设所使用的未归一化高斯核但这一假设在实践中是否有效并无保证。本文将Trasformer注意力解释为一个非参数核回归提出FourierFormer将点积核替代为广义傅里叶积分核。理论上证明了提出的傅里叶积分核可以有效逼近任何键和查询分布。与使用点积注意力的传统Transformer相比FourierFormer能够取得更好的准确性,并减少注意头之间的冗余。 2、方法 点积自注意力可能无法捕获查询向量(Q)中特征与关键向量(V)之间的相关性传统Transformer的方法是额外使用协方差矩阵建立QV之间的联系。本文提出使用广义傅里叶积分建立自注意力与非参数核回归之间的对应关系利用广义傅里叶积分定理自动捕获向量的相关性 3、贡献 (1)通过求解一个非参数核回归问题推导出自注意力的公式从而为研究和进一步发展自注意力提供了一种非参数回归解释。 (2)提出了非参数回归问题的广义傅里叶积分估计量并为这些估计量提供了理论保证。 (3)提出FourierFormer使用广义傅立叶积分估计来更有效地捕获查询中特征和关键向量之间的相关性 4、结果 FourierFormer在WikiText语言建模和ImageNet图像分类中比具有点积自注意力的Transformer baseline获得了明显更好的精度。在实验中证明了FourierFormer有助于减少注意头之间的冗余。
http://www.dnsts.com.cn/news/19646.html

相关文章:

  • 大连网站建设意动科技宁夏建设监督网站
  • 卡纸做荷花网站软件公司有哪些部门
  • 网站内容建设是什么洛阳又发现一例
  • 建设一个网站花多少钱链接交换平台
  • 手机营销网站中国贸易信息网
  • 网站建设平台流程开发三味
  • 网站开发技术的发展旅游网站建设方案2019
  • 网站字体样式wordpress插件 数据库
  • 做网站哪家南京做网站网站建设同行友情链接
  • 长治网站建设局域网网站制作
  • 网站建设费入何科目郑州建设厅官方网站
  • 大作业网站建设方案山西seo和网络推广
  • 怎么用网站做转换服务器织梦网站做自动生成地图
  • 网站开发报告步骤分析怎么建商城网站
  • wordpress网站好慢关键词优化易下拉稳定
  • 在线做logo印章网站如何做网站广告图片
  • 官方网站手机 优帮云外贸网店
  • 做网站实现发送信息功能微网站和手机网站
  • 传媒网站源码温州网站建设专家
  • 网站速度测速织梦cms做网站流程
  • 哪个网站做老款二手车营销型网站测评方法
  • 友点企业网站超越时空网上书城网站策划书
  • h5响应式网站开发成本开公司网站创建费用
  • 专门写文章的网站wordpress 屏蔽爬虫
  • 新网站 不稳定discuz!网站模板
  • 福州企业网站模板建站品牌广告视频
  • 企业网站源码打包wordpress主题制作汉化
  • 南京公司网站设计定制中国空间站是干什么的
  • 常见的网站建设技术广告宣传语
  • 一流校建设网站中山百度网站推广