免备案 网站加速,wordpress frame,手表之家官网,那非西2021华为杯数学建模 记录 组队选题问题重述第一问解题第二问解题第三问解题第四问解题赛后总结 其实很早就想着记录一下建模比赛的过程#xff0c;但是大概是因为过程中似乎没有令人记忆深刻的点#xff0c;加之研究生第一个学期比较忙#xff08;课多写论文#xff09;但是大概是因为过程中似乎没有令人记忆深刻的点加之研究生第一个学期比较忙课多写论文所以给一直拖下去了。这学期论文第二稿提交后也闲下来了一些就趁着还有一些印象记录下来。但毕竟也过了半年左右难免有一些记不清楚的地方。 比赛官网链接: https://cpipc.acge.org.cn/.
组队
三个人一个队研一的新生可以和其他学校的同学比如本科或者高中的同学一起组队研一以上的只能在本校组队。我们当时就是宿舍的三个人看通知有这个比赛而且学校报销报名费就报上去了当时没有什么雄心壮志的。目标就是成功完赛交上论文退报名费。同时也没有数学建模的基础师兄说这个比赛很简单给了我们自信也没有提前看相关的内容没有分工。。。。 所以如果想冲刺好一些的名次的话还是建议好好准备听别人说是上海落户加分最简单的比赛了。
选题
题目的压缩包是很早就可以在网站上下载的但是解压需要密码到时间公布解压的密码才可以看到里面的题目这样减轻了网站下载的压力。 上午8点公布题但我们宿舍睡到了11点半。。。起来看题
A题华为专项题——“相关矩阵组的低复杂度计算和存储建模”要求是对矩阵储存算法进行优化看了一下就pass了属于是题目都看不懂。B题“空气质量预报二次建模”要求是已知一个实测数据和一次预报数据一次预报是通过模型算出的没有考虑到实际数据 利用实测数据对模型的一次预报数据进行建模优化得到更为准确的二次预报数据。看完题我和队友说能做因为我的本科毕设是做电离层预报的两者的思路很类似做起来比较得心应手。C题“帕金森病的脑深部电刺激治疗建模研究”要求是对脑部刺激后神经元的一系列反应和传递进行建模看完题也没太考虑因为题目理解就感觉比较累。D题“抗乳腺癌候选药物的优化建模”主要是对化合物合成药物的成分进行选择有一个同学选了这道题。E题“信号干扰下的超宽带UWB精确定位问题”要求是对收集到的定位数据进行处理建模和应用场景的测试以及分类。这道题也比较想选因为专业是和定位有关相关的背景知识也很了解而且看了一下题目给的数据以及要求的分类模型标签也很清楚我觉的用SVM去做是一定可以的甚至效果会很好。F题“航空公司机组优化排班问题”要求是对飞行员的排班优化问题进行建模因为题目太长加上前面有两个候选题就pass了。
看完题讨论了一会就准备在B和E题中选了然后出去吃饭的时候商量了一下最后因为我说B题后面两问我一个人就可以搞完于是就决定做B题了。最后分工就是一个室友画图一个室友做前两问我做后两问。论文的话就各自写各自做的部分。
问题重述
根据提供的监测点长期空气质量预报基础数据包括污染物浓度一次预报数据、气象一次预报数据、气象实测数据和污染物浓度实测数据进行分析建模完成以下问题。 问题1AQI计算 计算监测点A从2020年8月25日到8月28日每天实测的AQI和首要污染物。 问题2气象条件和AQI的相关性分析 在污染物排放情况不变的条件下某一地区的气象条件有利于污染物扩散或沉降时该地区的AQI会下降反之会上升。根据对污染物浓度的影响程度对气象条件进行合理分类并阐述各类气象条件的特征。 问题3单监测点的空气污染物二次预报模型 建立一个同时适用于A、B、C三个监测点的二次预报数学模型用来预测未来三天6种常规污染物单日浓度值要求二次预报模型预测结果中AQI预报值的最大相对误差应尽量小且首要污染物预测准确度尽量高。并预测监测点A、B、C在2021年7月13日至7月15日6种常规污染物的单日浓度值计算相应的AQI和首要污染物。 问题4多监测点的区域协同二次预报模型 相邻区域的污染物浓度往往具有一定的相关性区域协同预报可能会提升空气质量预报的准确度。监测点A的临近区域内存在监测点A1、A2、A3建立包含A、A1、A2、A3四个监测点的协同预报模型要求二次模型预测结果中AQI预报值的最大相对误差应尽量小且首要污染物预测准确度尽量高。使用该模型预测监测点A、A1、A2、A3在2021年7月13日至7月15日6种常规污染物的单日浓度值计算相应的AQI和首要污染物。并研究与问题3的模型相比协同预报模型能否提升针对监测点A的污染物浓度预报准确度说明原因。
第一问解题
第一问很简单只要按照公式写一些代码计算出来就好了注意一下臭氧是滑动平均值。 第二问解题
该问主要是做相关性分析难度门槛也不高所以该算的东西一定要算然后根据算出来的相关性给到对应的解释与分析基本这一问就完成了。我觉的最重要的是把图做好看因为如果只给一堆数字看上去就会很乱用图的话在论文里展示出来也会很丰富。 同时考虑到有些时间点缺失数据后面两问做的时候数据也需要补全所以在做相关性分析之前先把缺失数据的时间点给内插了出来方法就是拉格朗日插值法。 计算过程 首先使用监测点A的每日污染物浓度数据计算出A点每日的AQI。之后根据每小时的气象条件数据计算出日均的气象条件参数以二十四个整点时刻的均值代表当天的气象条件参数水平。然后按全年十二个月将数据进行分类计算每个月内AQI与各项气象条件参数的相关系数由此评估不同月份中气象条件对AQI的不同影响得到气象条件与AQI变化的季节性特征。另外计算了每种污染物与四种气象条件参数共二十四组的相关系数由此体现不同气象条件对不同污染物浓度的影响的差异。 相关系数计算公式 每个月的相关系数结果 分析
湿度在一年中的绝大部分时间空气质量指数AQI与湿度呈负相关相关系数为负呈现出一定的季节性特征在八、九月份相关系数绝对值达到最大为-0.70表明在这两个月份湿度的上升会显著降低AQI在五月份和十二月份AQI与湿度呈正相关相关系数分别为0.10和0.20在十一月份AQI与湿度的相关系数为0表明在该月内AQI与湿度不相关。压强AQI与其相关性呈现出一定的季节性特征在春季两者呈正相关三月份和五月份两者的相关系数达到最大为0.30在其它时间大都呈负相关其中负相关系数绝对值最小的月份为一月和六月相关系数为-0.20负相关系数绝对值最大的月份为十二月相关系数为-0.70值得一提的是从十月份到十二月份AQI与压强呈负相关且相关系数绝对值从0.30一直增长到0.70表明进入秋冬季后AQI与压强的相关性一直在增强另外在九月份AQI与压强呈现了正相关这可能与及其它因素如监测点A的地理位置和其它气象因素等的影响有关。风速AQI与其相关系数在全年皆为负在这种情况下两者的相关性仍呈现出一定的季节性特征在春夏季两者的相关系数绝对值较小绝对值最小出现在四月份和六月份对应的相关系数为-0.20绝对值最大也仅为0.5出现在五月份进入秋冬季后AQI与风速的相关系数绝对值逐渐增大相关性增强最大出现在十二月份最大绝对值为0.8。值得注意的是根据[1]对成都市的污染物浓度变化研究污染物的浓度均值随着风速的增加而减小AQI应该上升但在本例的分析中随着风速的增加AQI却呈下降趋势即空气质量降低这可能是因为监测点A的地理位置等因素导致风速增加利于污染物的形成或聚集另外分析时未加入风向对污染物浓度的影响这可能也是导致AQI与风速呈负相关的原因之一。温度在全年的大部分时间中AQI与温度呈正相关且呈现出一定的季节性特征。在春季两者的相关性较低三月份两者的相关性最低相关系数为0.0表明两者在三月份不相关在春季两者的相关系数绝对值最大也仅为0.30最大出现在五月份相关系数为-0.30。在夏季两者的相关性逐渐正向攀升其相关系数从六月份的-0.10到七月份的0.40到八月份的0.70达到全年最高此后一直维持在较高的水平至一月份减小至0.20后二月份又升高至0.50。 综合考虑四种气象条件参数对AQI的影响随月份的变化可以发现每种气象条件参数与AQI的相关性都呈现出一定的季节性特征。在春季AQI与压强呈正相关与其它三种气象条件参数呈负相关但相关性最强的参数为风速表明在春季风速的变化对AQI的影响更显著在夏季AQI与温度呈正相关与其它三种气象条件参数呈负相关相关性最强的参数为温度和湿度另外两种参数相较之下对AQI的影响更小在秋季AQI与温度呈正相关与其它三种气象条件参数呈负相关而相关性最强的两种参数依次为温度和风速表明在秋季温度和风速的变化对AQI的影响更显著在冬季AQI与温度呈正相关与其它三种气象条件参数呈负相关相关性最强的两种参数依次为风速和温度表明在冬季风速和温度的变化对AQI的影响更显著。 为了呈现出气象条件对每种污染物浓度各自的影响本文对2019年4月16日 ~2021年7月13日二氧化硫SO2、二氧化氮NO2、粒径小于10μm的颗粒物PM10、粒径小于2.5μm的颗粒物PM2.5、臭氧O3、一氧化碳CO六种污染物浓度与四种气象条件参数温度(℃)、湿度(%)、气压(MBar)、风速(m/s)进行了线性回归分析结果如图所示。 另外对于监测站A的2020年7月23日~2021年7月13日的气象一次预报数据本文对其中所有的预报元素两两计算了相关系数得到的相关性热图如图所示。 可以看出大部分预报元素之间相关性很弱就本文所关心的六种污染物浓度而言除臭氧之外的五种污染物它们的每小时平均浓度与近地2米温度地表温度比湿大气压长波辐射相较别的元素有较强的相关性这几种因素涉及到的气象条件参数有温度湿度气压。另外它们两两之间也有较强的相关性。对臭氧而言它仅与边界层高度、感热通量、潜热通量、短波辐射和地面太阳能辐射这四种元素有较强的相关性而与其它元素的相关性很弱甚至没有这可能与的形成机制有关。
第三问解题
这一问我的思路就是用LSTM长短期记忆模型去做因为之前对这一块有比较多的了解和准备。解题的想法就是训练一个模型输入是历史数据序列一次预报和实测数据输出是二次预报数据。而题目提供了两年的数据从数据量的角度看完成一个模型的训练也是足够的。具体的步骤如下 LSTM结构 网络模型 第一个输入参数为需要预报的空气污染物的实测数据对于每种污染物分别输入网络处理。第二个参数为对应空气污染物的一次预报数据。第三个参数输入的则是上一节分析得到的与污染物相关性较强的实测数据根据第二问中的分析这里选择为风速和湿度两个气象条件。由于臭氧O3是六种污染物中唯一的二次污染物其并非来自污染源的直接排放而在大气中经过一系列化学及光化学反应生成的。因此在对臭氧O3进行预报时同时输入了对应时间的NO2实测数据值。同时引入了日内时参数 (hour in day, HD)以使得网络可以学习到日周期变化的特性同时考虑参数的连续性在处理时将 HD 参数分为 sincos 两个分量 HDs,HDc 表示。
对于输入的时间长度由于输入矩阵需要为标准矩阵考虑了两种设计
由于需要预报未来三天64组数据第一天800至第三天2300一小时一组数据输入数据中一次预报的数据时间即为未来这三天64小时对应的数据而与实际观测相关的数据则为预报时刻前的64组数据这样两类数据可以组成一个二维矩阵输入网络。将需要预报的未来64组数据分为N组进行层层递进的预报方式。如N4时每次预报64/416小时的数据对于第一次预报和1中类似为构成二维矩阵输入数据中一次预报的数据时间即为未来16小时对应的数据而与实际观测相关的数据则为预报时刻前的16组数据。对于第二次预报实际观测相关的数据则替换为第一次预报的结果以此类推最后得到64小时的预报值。
在测试验证过程中我们发现两种预报策略最后的精度相差不大同时第二种策略训练时间是第一种的数倍之多权衡之下考虑到实际应用场景我们最后选择了第一种预报策略进行后续的研究和结果评估。 (关于这个点我还思考了挺久的因为要让输入的数据是整齐的矩阵形式而实测数据和一次预报的数据时间又不是对齐的所以需要人为的把数据对齐才能输入网络进行训练) 后面训练过程也没什么好说的这里放一个结果图
第四问解题
其实和第三问一样只是多了个需要考虑其他站的影响对于我写的LSTM模型来说就是多加一个输入的维度而已。但是我取了个很吊的名字——区域智能协同的空气污染物二次预报模型哈哈哈哈哈哈哈 后面过程和第三问也基本一样放一个对比结果图 分析结果 通过问题三和问题四的监测站A在不同条件下进行的预报结果可知两种条件下的预报结果有一定的差异性和相似性。在两种条件下的预报结果中7月13日均无首要污染物 并且在13日当天各污染物浓度在两种条件下相对变化率不大因此AQI同样差异不大但在7月14日与7月15日AQI差异较大引起AQI差异的主要原因来自臭氧的变化SO2、 PM10 、PM2.5、CO预报浓度发生的改变不明显NO2预报浓度差异较大因此预报结果 的变化主要由O3与NO2引起。通过监测站A、A1、A2、A3的联测预报A站O3与NO2在单 站预报的基础上大大减小而通过分析A1、A2、A3的数据可以看到该三个站的O3与NO2 均比A站的O3与NO2要小这是区域协同模型预报结果比单监测站预报结果的根本原因。 通过加入测站周围的测站同时提供模型以地理信息相关因素会使得监测站的数据受到 周围测站数据的修正说明区域协同模型比单监测站模型的预报结果更能体现该区域的未来污染物变化特性。
最后写了一些模型的评价与推广就是硬吹现在看尬的不行。
赛后总结
其实也没啥好总结的前面看题的时候太自信了导致一共四天的比赛前面两天大家都在上课开组会吃饭摆烂结果到了最后两天着急了最后一天通宵搞到7点把论文提交了后吃了个饭回宿舍睡到了下午。也是因为没什么经验后面非常的赶而我又要把两问的代码实现把结果画成图很多评估模型的部分我也没能弄的比较详细一些后面觉的很棒的想法也没能实现。但是也不能说后悔吧怎样的经历都是自己的选择自己的选择就是最好的。以后争取做的更好。 记忆最深刻的就是通宵那个晚上我写论文写的有点累了于是拿了瓶rio去楼顶吹风当时看着万籁寂静的珞珈山静静的站着感觉很奇怪想起了在林芝的晚上看着前面的南迦巴瓦峰仿佛手中抓住了时间的流逝山就在那里可以远远的看着他但更想去触摸他。 我们都在朝着一个具体的方向向前奔走 12月份出结果运气很好这份我觉的半完成度的论文拿了二等奖。
一些代码 代码可能有些乱当时是ipynb格式写的。其实很简单用tensorflow的keras库直接搞的搭建网络很方便训练的代码可能还没有处理数据和画图写的代码多。
#!/usr/bin/env python
# coding: utf-8from tensorflow import keras
from tensorflow.keras.models import Sequential
from tensorflow.keras import layers
from tensorflow.keras.optimizers import RMSpropimport matplotlib.pyplot as plt
import matplotlibimport numpy as np
import csvfolder rC:\Users\yes\A站结果\\
real_csv A点内插观测值.csv
pre_csv A点一次预报值.csvwith open(folderreal_csv) as f:data csv.reader(f, delimiter,)real_data []for line in data:line list(map(float,line))real_data.append((line))
real_data np.array(real_data)
print(real_data)with open(folderpre_csv) as f:data csv.reader(f, delimiter,)pre_data []for line in data:line list(map(float,line))pre_data.append((line))
pre_data np.array(pre_data)
print(pre_data)pre_all_one np.vstack((real_data[:,4],pre_data[:,4]))
pre_all np.hstack((pre_all_one.transpose(),real_data[:,10:12]))
#针对O3特殊处理
pre_all np.hstack((pre_all,real_data[:,1].reshape(len(pre_all),1)))data_mean pre_all.mean(axis0)
data_std pre_all.std(axis0)deal_data (pre_all - data_mean) / data_stddef generator(data, lookback, delay, min_index, max_index, target_num0,shuffleFalse, batch_size64):if max_index is None:max_index len(data) - delay - 1i min_index lookbackwhile 1:if shuffle:rows np.random.randint(min_index lookback, max_index, sizebatch_size)else:if i batch_size max_index:i min_index lookbackrows np.arange(i, min(i batch_size, max_index))i len(rows)samples np.zeros((len(rows),lookback,data.shape[-1]))targets np.zeros((len(rows),delay))for j, row in enumerate(rows):indices_sam range(rows[j] - lookback, rows[j])indices_tar range(rows[j] 1, rows[j] 1 delay)samples[j] data[indices_sam]targets[j] data[indices_tar][:,0]yield samples, targetslookback 64
delay 64
batch_size 16train_gen generator(deal_data,lookbacklookback,delaydelay,min_index0,max_indexNone,shuffleTrue,batch_sizebatch_size)
val_gen generator(deal_data,lookbacklookback,delaydelay,min_index8001,max_indexNone,batch_sizebatch_size)
test_gen generator(deal_data,lookbacklookback,delaydelay,min_index8001,max_indexNone,batch_sizebatch_size)# This is how many steps to draw from val_gen
# in order to see the whole validation set:
val_steps (len(deal_data) - 8001 - lookback) // batch_size# This is how many steps to draw from test_gen
# in order to see the whole test set:
test_steps (len(deal_data) - 8001 - lookback) // batch_sizemodel Sequential()
model.add(layers.LSTM(64,#return_sequences True,input_shape (None,deal_data.shape[-1])))#input_shape (None,1)))
#model.add(layers.LSTM(32))
model.add(layers.Dense(64))model.compile(optimizerRMSprop(), lossmae)
history model.fit(train_gen,steps_per_epoch200,epochs30,validation_dataval_gen,validation_stepsval_steps,verbose 1)import matplotlib.pyplot as pltloss history.history[loss]
val_loss history.history[val_loss]epochs range(len(loss))plt.figure()
plt.subplots(figsize(20,10))
plt.plot(epochs, loss, ro, labelTraining loss)
plt.plot(epochs, val_loss, b, labelValidation loss)
plt.title(Training and validation loss)
plt.legend(fontsize24)
plt.show()test_data deal_data[-64:,].reshape(1,64,5)
resultsmodel.predict(test_data, batch_size1)
ypx results * data_std[0] data_mean[0]#设置标签格式
matplotlib.rcParams[xtick.labelsize] 18
matplotlib.rcParams[ytick.labelsize] 18
# X、Y轴刻度标签字体大小
matplotlib.rcParams[axes.titlesize] 24
matplotlib.rcParams[axes.labelsize] 24
fig, ax plt.subplots(figsize(10,6),)
plt.ylim(0,200)
plt.plot(pre_all[-64:,1] , ^, colorr, labelFirst_predict, markersize8)
plt.plot(ypx.reshape(64), o, colorb, labelTwice_predict, markersize8)
plt.legend(fontsize20)
plt.xlabel(Epoch(1h))
plt.ylabel(O3(μg/m³))
plt.savefig(O3.jpg, dpi300)#保存图片
