未备案网站查询,泰安房产网签成交数据,外贸鞋的网站建设,山东企业网站建设哪家好【深度学习|特征增强模块】FFN#xff08;前馈神经网络#xff09;和E_FFN#xff08;增强型前馈神经网络#xff09;是transformer特征增强的重要组成部分#xff01;
【深度学习|特征增强模块】FFN#xff08;前馈神经网络#xff09;和E_FFN#xff08;增强型前馈神…【深度学习|特征增强模块】FFN前馈神经网络和E_FFN增强型前馈神经网络是transformer特征增强的重要组成部分
【深度学习|特征增强模块】FFN前馈神经网络和E_FFN增强型前馈神经网络是transformer特征增强的重要组成部分 文章目录 【深度学习|特征增强模块】FFN前馈神经网络和E_FFN增强型前馈神经网络是transformer特征增强的重要组成部分FFN 和 E_FFN 的作用与区别1. FFN前馈神经网络功能过程使用场景代码示例 2. E_FFN增强型前馈神经网络功能过程使用场景代码示例 3. FFN 与 E_FFN 的区别总结 交通运输、机电主题会议第六届国际科技创新学术交流大会IAECST 2024 暨第四届物流系统与交通运输国际学术会议LSTT 2024第四届机电一体化与智能控制国际学术会议MIC 20242024年智能船舶与机电系统国际学术会议ICISES 2024 测绘遥感、地质主题会议第三届地理信息与遥感技术国际学术会议GIRST 20242024年遥感技术与图像处理国际学术会议RSTIP 2024 数学、力学、物理主题会议第五届应用力学与机械工程国际学术会议ICAMME 2024 欢迎宝子们点赞、关注、收藏欢迎宝子们批评指正 祝所有的硕博生都能遇到好的导师好的审稿人好的同门顺利毕业 大多数高校硕博生毕业要求需要参加学术会议发表EI或者SCI检索的学术论文会议论文 可访问艾思科蓝官网浏览即将召开的学术会议列表。会议入口https://ais.cn/u/mmmiUz FFN 和 E_FFN 的作用与区别
1. FFN前馈神经网络
功能
FFN 是一种基础的全连接前馈神经网络。它由两层全连接层Linear Layer和一个激活函数GELU组成通常用于神经网络的中间层进行非线性变换增加模型的表达能力。
过程
输入通过第一层全连接层fc1将输入的特征维度 in_features 映射 hidden_features。然后经过激活函数act此处使用的是 GELU 激活函数进行非线性变换。然后通过第二层全连接层fc2将特征维度从 hidden_features 映射回 out_features。最后可能会应用 Dropout 来避免过拟合。
使用场景
FFN 在许多深度学习模型中作为基础模块广泛应用于Transformer架构、MLP多层感知器等结构中主要用于处理非线性关系和高维特征之间的映射。
代码示例
class FFN(nn.Module):def __init__(self, in_features, hidden_featuresNone, out_featuresNone, drop0.):super(FFN, self).__init__()out_features out_features or in_featureshidden_features hidden_features or in_features# 第一层全连接层self.fc1 nn.Linear(in_features, hidden_features) # in_features 512, hidden_features 128# 激活函数 (使用GELU)self.act nn.GELU()# 第二层全连接层self.fc2 nn.Linear(hidden_features, out_features) # hidden_features 128, out_features 512# Dropout层self.drop nn.Dropout(drop)def forward(self, x):x self.fc1(x) # 输入经过第一层x self.act(x) # 激活函数x self.fc2(x) # 输入经过第二层x self.drop(x) # 如果drop值大于0应用dropoutreturn x2. E_FFN增强型前馈神经网络
功能
E_FFN 是对 FFN 的增强版本通过卷积层和批归一化层增强其能力。与 FFN 主要依赖全连接层不同E_FFN 引入了卷积操作使其更适合处理空间结构数据如图像或多维特征。
过程
fc1 是一个卷积操作ConvBNReLU通过 1x1 卷积层将输入的通道数 in_channels 映射到 hidden_channels并进行批归一化和激活。conv1 和 conv2 是基于输入特征的卷积操作使用不同的卷积核大小ksize 和 3x3进行处理。最后通过 fc2 将卷积操作的结果映射回 out_features并通过激活函数如 ReLU6进行非线性变换。
使用场景
E_FFN 是 FFN 的改进版本特别适用于具有空间特征的任务如图像处理、语义分割等因为它使用了卷积操作可以捕捉空间结构信息和局部特征。
代码示例
class E_FFN(nn.Module):def __init__(self, in_features, hidden_featuresNone, out_featuresNone, ksize5, act_layernn.ReLU6, drop0.):super(E_FFN, self).__init__()out_features out_features or in_featureshidden_features hidden_features or in_featuresself.fc1 ConvBNReLU(in_channelsin_features, out_channelshidden_features, kernel_size1)self.conv1 ConvBNReLU(in_channelshidden_features, out_channelshidden_features, kernel_sizeksize,groupshidden_features)self.conv2 ConvBNReLU(in_channelshidden_features, out_channelshidden_features, kernel_size3,groupshidden_features)self.fc2 ConvBN(in_channelshidden_features, out_channelsout_features, kernel_size1)self.act act_layer()self.drop nn.Dropout(drop)def forward(self, x):x self.fc1(x)x1 self.conv1(x)x2 self.conv2(x)x self.fc2(x1 x2)x self.act(x)return x3. FFN 与 E_FFN 的区别 总结
FFN 是一个基础的前馈神经网络适用于处理一般的输入数据如结构化数据或者经过预处理的特征。E_FFN 是对 FFN 的扩展采用卷积操作使其能够更好地处理具有空间结构的输入数据适合处理图像、视频或其他具有空间信息的任务。
交通运输、机电主题会议
第六届国际科技创新学术交流大会IAECST 2024 暨第四届物流系统与交通运输国际学术会议LSTT 2024
12月6-8日广州主办单位IEEE PES智慧楼宇、负载和客户支持系统卫星技术委员会中国、华南理工大学、广东省艾思信息化学术交流研究院、艾思科蓝院士主席团。IEEE出版IEEE Xplore、EI检索。征集交通运输工程、交通信息与控制、交通规划与管理、载运工具运用工程、隧桥/道路与铁路工程、物流系统与信息化技术、航空/航海/港口水运主题论文
第四届机电一体化与智能控制国际学术会议MIC 2024
12月27-29日南昌主办单位华东交通大学前身为“智慧交通、能源与动力国际学术会议(STEP)”多位国内外专家报告。多届论文已检索本届征集机电一体化、智能控制。仪器仪表、电气、航空航天等论文
2024年智能船舶与机电系统国际学术会议ICISES 2024
12月27-29日广州主办单位广州航海学院、广东海洋大学、重庆交通大学、集美大学IEEE出版征集船舶工程、机电工程、控制系统、传感器、3D打印等主题论文。多位学科带头人、学院院长等作主讲报告
测绘遥感、地质主题会议
第三届地理信息与遥感技术国际学术会议GIRST 2024
11月29日-12月1日意大利罗马主办单位罗马第三大学多届IEEE/SPIE出版完成EI检索。欧洲会议现正征集论文含地理信息、测量与测绘、遥感等主题论文
2024年遥感技术与图像处理国际学术会议RSTIP 2024
11月29-12月1日大理支持单位浙江海洋大学信息工程学院、苏州科技大学地理科学与测绘工程学院、阿卜杜勒阿齐兹国王大学多位国内外专家报告。征集遥感技术、图像处理技术及其领域应用等主题论文
数学、力学、物理主题会议
第五届应用力学与机械工程国际学术会议ICAMME 2024
12月20-22日长沙多位国内外专家报告。征集力学、材料建模、机械工程、智能控制、材料力学、机电一体化等主题论文
欢迎宝子们点赞、关注、收藏欢迎宝子们批评指正 祝所有的硕博生都能遇到好的导师好的审稿人好的同门顺利毕业
