免费做网站通栏广告,连云港网站建设多少钱,网站建设培训四川,南京搜必应网站优化一、简介#xff1a;
数据是深度学习的基础#xff0c;高质量的数据输入将在整个深度神经网络中起到积极作用。有一种说法是模型最终训练的结果#xff0c;10%受到算法影响#xff0c;剩下的90%都是由训练的数据质量决定。#xff08;doge#xff09;
MindSpore提供基于…
一、简介
数据是深度学习的基础高质量的数据输入将在整个深度神经网络中起到积极作用。有一种说法是模型最终训练的结果10%受到算法影响剩下的90%都是由训练的数据质量决定。doge
MindSpore提供基于Pipeline的数据引擎通过数据集Dataset和数据变换Transforms实现高效的数据预处理。其中Dataset是Pipeline的起始用于加载原始数据。MindSpore自带的mindspore.dataset方法提供了内置的文本、图像、音频等数据集加载接口并提供了自定义数据集加载接口。此外MindSpore的领域开发库也提供了大量的预加载数据集可以使用API一键下载使用。
下面开始我们的实践打卡吧
二、环境准备
在开始之前我们先导入下面数据集处理所需的相关依赖包
import numpy as np
import time
from mindspore.dataset import vision
from mindspore.dataset import MnistDataset, GeneratorDataset
import matplotlib.pyplot as plt
如果没有下载Mindspore包的宝子可以看我的昇思25天学习打卡营第1天|快速入门-CSDN博客按照我的过程走一遍和pytorch的下载几乎一样。
三、数据集准备
1、数据集下载
使用download方法从开源数据集上下载mnist数据集并保存在本地的notebook/datasets/目录下
from download import downloadurl https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/ \notebook/datasets/MNIST_Data.zip
path download(url, ./, kindzip, replaceTrue)print(time.strftime(%Y-%m-%d %H:%M:%S, time.localtime(time.time())), VertexGeek) 2、数据集迭代
数据集加载后一般以迭代方式获取数据然后送入神经网络中进行训练。我们可以使用create_tuple_iterator元组和create_dict_iterator字典接口创建数据迭代器迭代访问数据。访问的数据类型默认为Tensor若设置output_numpyTure访问的数据类型为Numpy。
# 使用matplotlib构建一个可视化的画布
def visualize(dataset):figure plt.figure(figsize(4, 4))cols, rows 3, 3plt.subplots_adjust(wspace0.5, hspace0.5)for idx, (image, label) in enumerate(dataset.create_tuple_iterator()):figure.add_subplot(rows, cols, idx 1)plt.title(int(label))plt.axis(off)plt.imshow(image.asnumpy().squeeze(), cmapgray)if idx cols * rows - 1:breakplt.show()visualize(train_dataset)
print(time.strftime(%Y-%m-%d %H:%M:%S, time.localtime(time.time())), VertexGeek) figure plt.figure(figsize(4, 4)) 这行创建了一个新的图形对象 figure并设置了图形的大小为 4x4 英寸。
cols, rows 3, 3 这行设置了图形中的列数和行数为 3这意味着函数将显示一个 3x3 的图像网格。
plt.subplots_adjust(wspace0.5, hspace0.5) 这行设置了子图之间的水平和垂直间距分别为0.5。
plt.axis(off)这行关闭了子图的坐标轴以便只显示图像。plt.imshow(image.asnumpy().squeeze(), cmapgray)这行将图像数据 image 显示在子图上。asnumpy() 可能是一个方法用于将图像数据转换为 NumPy 数组以便 Matplotlib 可以处理它。squeeze() 用于移除数组中的单一维度。cmapgray 指定了使用灰度颜色映射来显示图像。 3、常用操作
对数据集进行处理以适应深度学习模型的训练和测试要求 1Shuffle:
shuffle用于打乱数据集中的元素排列以消除数据排列造成的分布不均问题。
mindspore.dataset()提供了在加载数据集中shuffle数据的快捷方法
train_dataset train_dataset.shuffle(buffer_size64)visualize(train_dataset)print(time.strftime(%Y-%m-%d %H:%M:%S, time.localtime(time.time())), VertexGeek) 2Map
map是数据处理的关键操作之一可以针对数据集指定的列当然也可以不指定进行数据变换并将数据变换应用于该列数据的每个元素并返回包含变换后元素的新数据集。
image, label next(train_dataset.create_tuple_iterator())
print(image.shape, image.dtype)# 对Mnist数据集做数据缩放处理将图像统一除以255数据类型由uint8转为了float32
train_dataset train_dataset.map(vision.Rescale(1.0 / 255.0, 0), input_columnsimage)image, label next(train_dataset.create_tuple_iterator())
print(image.shape, image.dtype)print(time.strftime(%Y-%m-%d %H:%M:%S, time.localtime(time.time())), VertexGeek) 3) Batch:
这是在算力有限的情况下将数据集进行划分成数个批次每次只训练一个批次以节约硬件资源和提升硬件使用效率。
train_dataset train_dataset.batch(batch_size32)image, label next(train_dataset.create_tuple_iterator())
print(image.shape, image.dtype)print(time.strftime(%Y-%m-%d %H:%M:%S, time.localtime(time.time())), VertexGeek) 四、自定义数据集 mindspore.dataset()提供了一些常用的公开数据集和标准数据集的加载APIMindSpore暂时不支持直接加载数据集可以构造自定义数据加载类或自定义数据集生成函数的方式来生成数据集然后通过GeneratorDataset接口实现自定义方式的数据集加载(比pytorch略显复杂)。GeneratorDataset支持通过可随机访问数据集对象、可迭代数据集对象和生成器(generator)构造自定义数据集。
1、可随机访问数据集
可随机访问数据集是指实现了__getitem__和__len__方法的数据集即可以通过索引/键直接访问对应位置的数据样本。
# 生成一个可随机访问数据集以便下面的实践
class RandomAccessDataset:def __init__(self):self._data np.ones((5, 2))self._label np.zeros((5, 1))def __getitem__(self, index):return self._data[index], self._label[index]def __len__(self):return len(self._data)loader RandomAccessDataset()
dataset GeneratorDataset(sourceloader, column_names[data, label])for data in dataset:print(data)
# 支持其他类型的数据
loader [np.array(0), np.array(1), np.array(2)]
dataset GeneratorDataset(sourceloader, column_names[data])for data in dataset:print(data)print(time.strftime(%Y-%m-%d %H:%M:%S, time.localtime(time.time())), VertexGeek) __getitem__ 方法使得类的实例可以被索引。当对象被当作函数调用并且传入一个索引 index 时这个方法返回对应索引的数据和标签。在机器学习中这通常用于获取单个数据样本及其对应的标签。 __len__方法用于返回数据的长度。 2、可迭代数据集对象
可迭代的数据集是实现了__iter__和__next__方法的数据集表示可以通过迭代的方式逐步获取数据样本。这种类型的数据集特别适用于随机访问成本太高或者不可行的情况。
class IterableDataset():def __init__(self, start, end):init the class object to hold the dataself.start startself.end enddef __next__(self):iter one data and returnreturn next(self.data)def __iter__(self):reset the iterself.data iter(range(self.start, self.end))return self
loader IterableDataset(1, 4)
dataset GeneratorDataset(sourceloader, column_names[data])for data in dataset:print(data)print(time.strftime(%Y-%m-%d %H:%M:%S, time.localtime(time.time())), VertexGeek) 3、生成器
生成器也属于可迭代的数据集类型其直接依赖Python的生成器类型generator返回数据直至生成器抛出StopIteration异常。
def my_generator(start, end):for i in range(start, end):yield idataset GeneratorDataset(sourcelambda: my_generator(3, 6), column_names[data])for d in dataset:print(d)print(time.strftime(%Y-%m-%d %H:%M:%S, time.localtime(time.time())), VertexGeek)
