建电子商城网站,wordpress上传都图片不显示,购物网站的排版,网站建设费用高低有什么区别文章目录 Dataset 类DataLoader 类 Dataset 类
概念#xff1a;
Dataset 是一个抽象类#xff0c;用于表示数据集。它定义了如何获取数据集中的单个样本和标签。
作用#xff1a;
为数据集提供统一的接口#xff0c;便于数据的读取、预处理和管理。
关键方法#xff… 文章目录 Dataset 类DataLoader 类 Dataset 类
概念
Dataset 是一个抽象类用于表示数据集。它定义了如何获取数据集中的单个样本和标签。
作用
为数据集提供统一的接口便于数据的读取、预处理和管理。
关键方法
__len__(self): 返回数据集的大小样本数量。__getitem__(self, index): 根据索引 index 返回对应的样本和标签。
自定义 Dataset
需要继承 torch.utils.data.Dataset并实现上述两个方法。
示例PyTorch
import torch
from torch.utils.data import Datasetclass Dataset(Dataset):def __init__(self, datas, labels):self.datas datas # 数据文件路径列表self.labels labels # 标签列表def __len__(self):return len(self.data)def __getitem__(self, idx):# 加载数据例如读取图像文件data self.data[idx]label self.labels[idx]# 一系列的处理return data, labelDataLoader 类
概念
DataLoader 是一个数据迭代器用于包装 Dataset以便于批量batch加载数据。
作用
提供批量数据、数据打乱shuffle、并行加载多线程/多进程等功能提高数据加载的效率。
关键参数
dataset: 要加载的数据集Dataset 实例。batch_size: 每个批次的样本数量。shuffle: 是否在每个 epoch 开始时打乱数据。num_workers: 使用多少子进程来加载数据0 表示不使用多进程。collate_fn: 指定如何将一批样本组合成一个批次。
工作流程
从 Dataset 中按索引取出样本。使用 collate_fn 将多个样本组合成一个批次。迭代返回批量数据供模型训练或评估。
示例PyTorch
from torch.utils.data import DataLoader# 创建 Dataset 实例
dataset MyDataset(datas, labels)# 创建 DataLoader 实例
dataloader DataLoader(dataset, batch_size32, shuffleTrue, num_workers4)
