全能网站建设pdf,请简述网站建设的一般流程图,网页游戏平台51,广西网站设计服务1 Tensorboard怎么解读#xff1f;
因为意识到tensorboard的使用远不止画个图放个图片那么简单#xff0c;所以这里总结一些关键知识的笔记。由于时间问题#xff0c;我先学习目前使用最多的功能#xff0c;大部分源码都包含summary的具体使用#xff0c;基本不需要自己修…1 Tensorboard怎么解读
因为意识到tensorboard的使用远不止画个图放个图片那么简单所以这里总结一些关键知识的笔记。由于时间问题我先学习目前使用最多的功能大部分源码都包含summary的具体使用基本不需要自己修改因此tensorboard的解读作为目前学习的核心所以本文的知识结构可能不是很完整以后的学习中再慢慢调整。
ps便于更直观的理解文中给出的代码大多是我学习时直接从项目源码那里复制过来的如果没有特殊说明文中出现的路径、字符串等都是项目特定内容不影响学习也不必深究其含义。
1.1 histogram直方图
1.1.1 概念
通过tf.summary.histogram生成某一张量tensor的直方图在TensorBoard直方图仪表板上显示。直方图是显示张量在不同时间点的通过直方图显示某些值的分布随时间变化的情况。
如何理解“随时间”变化按照初学时的理解在训练网络的过程中数据肯定是随着迭代次数的增加慢慢保存更新的比如loss曲线的生成横坐标一定与迭代次数正相关。通过阅读代码我了解到我们设置了每隔一定的时间保存一次summary也就是说实际上迭代的次数体现在时间的变化。 The time interval for saving tensorflow summaries 1.1.2 数据解读
先抛开时间不谈从分布情况的角度看tf.summary.histogram()将输入的一个任意大小和形状的张量压缩成一个由宽度和数量组成的直方图数据结构。 举个例子便于理解假设输入的数据为 [0.5, 1.1, 1.3, 2.2, 2.9, 2.5]直方图将横坐标分成三个区间分别为0-1、1-2、2-3而纵坐标表示在每个区间内的元素的数量。实际上tensor读取的图片像素是有维度要求的而且划分区间也有一定的规则那么模拟一下真实情况还是用上面的数据构造一个RGB图片
import tensorflow as tf
from torchvision import transforms
from torch.utils.tensorboard import SummaryWriter
import numpy as npwriter SummaryWriter(logs)# width 6 and height 2
img_row [0.5, 1.1, 1.3, 2.2, 2.9, 2.5]
img_r [img_row, img_row]
img_g [img_row, img_row]
img_b [img_row, img_row]
img [img_r, img_g, img_b]ans np.array(img, dtypefloat)to_tensor transforms.ToTensor()
ans to_tensor(ans)writer.add_histogram(test histogram sample of img, ans)writer.close()得到的直方图如下 其中x和y的对应关系为
x ?y ?0.546.000.620.000.940.001.023.031.12.971.180.001.263.891.342.111.420.002.060.002.140.4772.222.222.32.222.382.122.462.022.542.022.620.9332.70.002.780.002.860.00
说明虽然直方图看起来是连续的但是鼠标移动时只显示这这几对数据每组数据之间直线连接。
1.1.3 数据计算
显示在tensorboard时默认将数据分为30个区间每个区间的长度为(max-min)/30即(2.9-05)/300.08。而每组xi取区间的中点比如第一组区间为[0.5, 0.58]则x10.54同理第二组x20.62。
但是显示和实际数值是有区别的实际上区间并不是等分的而是从0开始区间长度是首项为0.1×10-12、公比为1.1的等比数列且最后一个区间的长度需要进行截取满足右端点经截取后保证不超过max。它使用指数分布来产生区间越接近零区间分得越密越大的数区间的长度越宽。我们将这些区间称为bin。
区间划分的规则清楚后学习实际的数据(x’i, y’i)与显示数据(xj, yj)之间的对应关系。公式为 比如显示区间[2.50, 2.58]对应的中点x2.54。 计算实际区间根据等比数列可知第300个区间为[2.3791, 2.617]经四舍五入后交集长度为2.58-2.500.08区间大小为2.617-2.37910.2379。因为在数列[0.5, 1.1, 1.3, 2.2, 2.9, 2.5]中只有2.5在[2.3791, 2.617]范围内而且我构造的图片是6个这样的数列组成的张量所以区间所含元素个数为1×66。 则当x2.54时y0.08÷0.2379×62.0176对照上表2.0176≈2.02。
附求实际区间按照等比数列求和公式Sn已知首项和公比第n个区间的端点为[Sn-1, Sn]。
验证1显示数据为(1.02, 3.03)对应实际区间第291个区间[1.009, 1.1099]数据正确。
验证2显示数据为(2.14, 0.477)对应实际区间第298个区间[1.9662, 2.1628]或第299个区间[2.1628, 2.3791]因为第298个区间里没有数据所以对照第299个区间数据正确。
1.1.4 OVERLAY和OFFSET
上一小节没有引入时间的概念数据范围和数量已经构成了二维图像那么随时间的变化如何表示呢直方图有两种模式OVERLAY和OFFSET。
OVERLAY 横轴表示bin值纵轴表示数量每个切片显示一个直方图切片按步骤步数或时间排列。旧的切片较暗新的切片颜色较浅。如图可以看到在第393步时以4.91为中心的bin中有161个元素。 另外直方图切片并不总是按步数或时间均匀分布而是通过水塘抽样/reservoir sampling来抽取所有直方图的一个子集以节省内存 OVERLAY 同样横轴表示bin值纵轴表示数量。但是OVERLAY模式下各个直方图切片不再展开而是全部绘制在相同的y轴上不同的线表示不同的步骤步数或时间。如图可以看到在第5步时以0.11为中心的bin中有183个元素。 OVERLAY模式用于直接比较不同直方图的计数 1.1.5 应用
利用tf.summary.histogram可视化梯度、权重或特定层的输出分布可传入的张量包括但不限于网络输出特征act_summary)、训练结果score_summary)、需要训练的变量train_summary)。根据代码为不同直方图设置标签可生成多个直方图。
act_summary
tf.summary.histogram(ACT/ tensor.op.name /activations, tensor)传入的张量tensor [net, rpn]其中net.shape [1, w/16, h/16, 512]rpn.shape [1, w/16, h/16, 512]显示神经网络两次特征的输出net、rpn的特征值分布。
score_summary
tf.summary.histogram(SCORE/ tensor.op.name / key /scores, tensor)传入的张量生成多个不同功能的分布直方图例如网络输出、预测分数、预测概率、预测偏移、预测框坐标等。
train_summary
tf.summary.histogram(TRAIN/ var.op.name, var)传入的张量包括需要训练的变量的值。 var.op.name是指每个变量在创立时的操作的名字也即为变量申请内存时的那个操作的名字。而var.name是Tensor名字Tensor是操作的输出也就是在创立变量的这个操作的输出就是所创立的变量。 我是这样理解的python在使用变量的时候像指针一样指来指去的最外面的那个是var.name最里面的那个是var.op.name。
参考来源
TensorBoardX histogram查看说明 等比数列的前n项和公式是什么 TensorFlow学习Program1——4.TensorBoard可视化数据流图 TensorFlow学习tf.summary.histogram与直方图仪表板/tensorboard_histograms 【Tensorflow_DL_Note17】TensorFlow可视化学习4_tf.summary模块的详解 Tensorfow基础知识点操作 Tensorflow-tf.nn.zero_fraction()详解
