当前位置: 首页 > news >正文

建立网站有哪些步骤ui界面设计app

建立网站有哪些步骤,ui界面设计app,做电影网站怎样赚钱吗,临时域名用于网站调试如图 6.38a 所示#xff0c;如果用自注意力来处理一张图像#xff0c;假设红色框内的“1”是要考虑的像素#xff0c;它会产生查询#xff0c;其他像素产生 图 6.37 使用自注意力处理图像 键。在做内积的时候#xff0c;考虑的不是一个小的范围#xff0c;而是整张图像的…如图 6.38a 所示如果用自注意力来处理一张图像假设红色框内的“1”是要考虑的像素它会产生查询其他像素产生 图 6.37 使用自注意力处理图像 键。在做内积的时候考虑的不是一个小的范围而是整张图像的信息。如图 6.38b 所示在 做卷积神经网络的时候卷积神经网络会“画”出一个感受野receptive field每一个滤波 器filter每一个神经元只考虑感受野范围里面的信息。所以如果我们比较卷积神经网络 跟自注意力会发现卷积神经网络可以看作是一种简化版的自注意力因为在做卷积神经网络的时候只考虑感受野里面的信息。而在做自注意力的时候会考虑整张图像的信息。在卷 积神经网络里面我们要划定感受野。每一个神经元只考虑感受野里面的信息而感受野的 大小是人决定的。而用自注意力去找出相关的像素就好像是感受野是自动被学出来的网 络自己决定感受野的形状。网络决定说以这个像素为中心哪些像素是真正需要考虑的哪 些像素是相关的所以感受野的范围不再是人工划定而是让机器自己学出来。关于自注意 力跟卷积神经网络的关系读者可以读论文 “On the Relationship between Self-attention and Convolutional Layers”这篇论文里面会用数学的方式严谨地告诉我们卷积神经网络就是自 注意力的特例。 图 6.38 自注意力和卷积神经网络的区别 自注意力只要设定合适的参数就可以做到跟卷积神经网络一模一样的事情。卷积神经网络的函数集function set与自注意力的函数集的关系如图 6.39 所示。所以自注意力是更 灵活的卷积神经网络而卷积神经网络是受限制的自注意力。自注意力只要通过某些设计、某 些限制就会变成卷积神经网络。 图 6.39 卷积神经网络的函数集与自注意力的函数集的关系 既然卷积神经网络是自注意力的一个子集说明自注意力更灵活。更灵活的模型需要更 多的数据。如果数据不够就有可能过拟合。而比较有限制的模型它适合在数据少的时候使 用它可能比较不会过拟合。如果限制设的好也会有不错的结果。谷歌的论文 “An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale” 把自注意力应用在图 像上面把一张图像拆成 16 × 16 个图像块patch它把每一个图像块就想像成是一个字 word。因为一般自注意力比较常用在自然语言处理上面所以我们可以想像每一个图像块 就是一个字。如图 6.40 所示横轴是训练的图像的量对谷歌来说用的所谓的数据量比较少 也是我们没有办法用的数据量。这边有 1000 万张图是数据量比较小的设置setting数 据量比较大的设置呢有 3 亿张图像。在这个实验里面自注意力是浅蓝色的这一条线卷 积神经网络是深灰色的这条线。随着数据量越来越多自注意力的结果越来越好。最终在数据 量最多的时候自注意力可以超过卷积神经网络但在数据量少的时候卷积神经网络是可以 比自注意力得到更好的结果的。自注意力的弹性比较大所以需要比较多的训练数据训练 数据少的时候就会过拟合。而卷积神经网络的弹性比较小在训练数据少的时候结果比较好。 但训练数据多的时候它没有办法从更大量的训练数据得到好处。这就是自注意力跟卷积神 经网络的比较。 下一篇自注意力与循环神经网络对比 来源李宏毅深度学习教程笔记 LeeDL_Tutorial_v.1.1.1.pdf 132M Page131-133 https://github.com/datawhalechina/leedl-tutorial
http://www.dnsts.com.cn/news/77465.html

相关文章:

  • 企业网站在线留言慈云寺网站建设
  • 长沙网站建设流程河北人工智能建站系统软件
  • 网站 快照 更新慢采购软件管理系统
  • 四川交投建设工程股份有限公司网站海报生成器
  • 网站建设与管理实践衡阳网站优化
  • 玉溪市住房和城乡建设局网站太仓有专门做网站的地方吗
  • 烟台网站推广效果好保山市建设厅官方网站
  • 网站建设汽车后市场解决方案在哪家网站做外贸比较好
  • 网站建设dw站点建设排版 网站
  • 科技网站实例成都网站开发建设
  • 网站建设 会计科目wordpress子域名设置
  • pc网站建设方案有哪些网站诚信认证怎么做
  • 集团公司网站开发方案红色网站 后台
  • 网站建设域名提前买吗wordpress 帮助手册
  • 青岛网站建设方案咨询搜索网站的软件有哪些
  • 一个域名怎么做网站自己建设手机网站首页
  • 吉安网站建设优化服务怎么用wordpress打开网站吗
  • 免费公司网站模板简单html个人网页模板
  • 朝阳区网站开发公司wordpress多大
  • 十大不收费看盘软件网站双重预防机制信息化平台
  • 长春做企业网站多少钱东莞专业网站设计
  • 织梦网站怎样做安全防护哪个网站可兼职做logo
  • app那个网站开发比较好时代汇创网站建设公司
  • 网站建设需要学什么语言微信小程序代码生成器
  • 网站服务器作用潍坊网站排名推广
  • 滁州网站开发公司电话学做网站培训 上海
  • 珠海汽车网站建设wordpress get footer
  • 聚名网域名怎么过户给公司图片网站 seo
  • 出口网站有哪些门户网站的功能
  • 网页与网站设计 什么是属性什么是企业qq什么是营销qq