恒信在线做彩票的是什么样的网站,wordpress地图,大连网站设计策划,手机软件下载大全最近放假在超星总部河北燕郊园区实习#xff0c;本来是搞前后端开发岗位的#xff0c;然后带我的副总老大哥比较关照我#xff0c;了解我的情况后得知我大三选的方向是大数据#xff0c;于是建议我学学python、Hadoop#xff0c;Hadoop我看了一下内容比较多#xff0c;而… 最近放假在超星总部河北燕郊园区实习本来是搞前后端开发岗位的然后带我的副总老大哥比较关照我了解我的情况后得知我大三选的方向是大数据于是建议我学学python、HadoopHadoop我看了一下内容比较多而且我现在大二暑假不着急这么快学完公司暂时也没这个项目可以给我学于是我就先学了两天python把基础python学完了。 然后副总老大哥来问我学完了Python是吧直接给我一个项目好好了解一下然后我看了这个项目的文档PyTorch是啥 这给我搞迷糊了他跟我解释这是一个ai深度学习的框架语言于是我又开始了新的学习这里以这篇文章开始记录我对PyTorch的学习。 一、PyTorch是啥
本人语言能力较差也只是小白所以这里直接用权威的百度百科简单介绍
简单来说就是基于Python语言编写的深度学习框架现如今学习人工智能就是学深度学习而深度学习单纯用python来写要写巨海量的代码我们这些小卡拉米根本没这个能力所以就需要一个深度学习框架帮我们省去很多代码就像前端后端都需要框架语言一样下面是百度百科 二、安装与配置
1、安装ANACONDA
ANACONDA是一个工具库里面有很多我们后面学习需要的工具包就像你的java后端maven里可以下载大量依赖包、pycharm可以下载大量依赖包一样ANACONDA就是这么个玩意。 最新版下载官方地址不能选版本Anaconda | The Operating System for AI 可选旧版本的下载地址Anaconda Installers and Packages 1第一个最新版下载地址的下载步骤
下载步骤是当然这个版本不太稳定但是没办法我本人已经安装了最新版python......只好对应安装最新版anaconda 2可选旧版本的下载步骤
当然有的人用的是旧版本的Python可能旧版本的Python就需要旧的的anaconda支持所以你们需要根据自己的python版本来找对应的anaconda版本
查看python版本可以直接cmd输入python 下面是一些对应关系的表
Anaconda版本与Python版本对应关系_conda22.9.0是什么版本-CSDN博客 然后下载步骤 也可以直接点这个网址Index of / 然后选择你要的版本点击下载 3安装步骤 ......省略后面一直next就行了 然后弹出这个爽当然我这是最新版的安装就版本大差不差基本就是你只要改一下默认安装路径然后其他的就直接点【next】【skip】【finish】一直往下就ok了全都默认就行 这里他还提醒我还有一个新版本可以更新我现在只想用它就懒得更新了直接No然后开始使用吧 最后检查安装点击桌面【开始】看看有没有Anaconda Prompt这个应用点击只会正常弹出黑框就大功告成 最后最后进去应用里登陆一下就行没账号的就先注册这个Anaconda就先告一段落 2、可选非必选安装英伟达NVIDIA
这个玩意吧就是加快机器深度学习效率的显卡打游戏的屌丝们肯定不陌生那么不安装也不影响深度学习自己看着来吧我是拯救者r8000电脑自带NVIDIA所以我这就懒得再做安装演示了 如何检查自己有没有NVIDIA驱动 打开任务管理器——性能——GPU能看到NVIDIA就ok 3、利用conda管理、切换Python、PyTorch版本
就跟我们前端的NVM一样conda来自于Anaconda工具包它的作用就是控制管理我们多个Python、PyTorch版本之间的切换。如果你不这样弄你如果有一个项目需要用python 1.2而你的是别的版本那只能在本地环境中卸载原版本再安装python 1.2很麻烦
原理就是你的电脑依旧有两个版本的Python或者PyTorch但是也对应存在了两个环境默认本地的原环境是【base】当你要切换到比如Python 1.0版本那么我们直接切换一个环境到适用于这个版本的一个环境。
打比方你娶了两个妻子但正房跟二房两个水火不容、争风吃醋那你今晚想跟1号妻子睡你就到她住的那个房子里睡明晚你想跟2号妻子睡你就换到她的房子里睡...... 那么前面我也说了公司里的老大哥给我的项目就需要python 3.8而我的是3.12虽然都版本3但是我还是尽量按照他的要求来切换成python 3.8的
点击打开Anaconda Prompt / 输入conda create -n 这个版本的环境别名 python要切换的版本号 。 然后会问你是否安装以上依赖默认输入【y】表示确认 。 然后安装完毕会询问你“是否想激活切换到这个版本” 是的话我们输入【conda activate 刚刚给这个版本起的环境别名】 然后就能发现环境以及切换了 4、安装PyTorch
输入【pip list】可以看到我们这个Python环境下Python安装的所有依赖包 那么可以发现我们并没有PyTorch那么终于来到这一步安装PyTorch PyTorch安装官网PyTorch 依旧是两种安装
1新版本安装 如果你没有特别要求那么你安装新版本就行了 进入官网往下拉找到这个地方 如果下载安装得很慢的话可以去这个链接下载这两个程序 https://pan.baidu.com/s/1CvTIjuXT4tMonG0WltF-vQ?pwdjnnp 提取码: jnnp 复制粘贴到anacondas的安装路径下的pkgs这个路径 然后再重新执行刚才的安装命令就会变快了 最后输入【pip list】检查是否存在【torch】这个依赖包有就成功了没有就重新安装一遍 / 最后最后最后 输入【python】切换到python环境然后输入【import torch】如果没有报错就无敌成功完美 2旧版本安装
还是得选老版本因为我要符合老大哥的环境要求 还是这个地方找到上面一段文字里红色的链接选旧版本就点他 / 然后找到你要的版本按照图片这样选择要执行的命令复制到Anaconda Prompt执行 最后输入【pip list】检查是否存在【torch】这个依赖包有就成功了没有就重新安装一遍 / 最后最后最后 输入【python】切换到python环境然后输入【import torch】如果没有报错就无敌成功完美 另外输入【torch.cuda.is_available()】显示True的话就说明PyTorch可以使用我们电脑的GPU 5、Python编辑器安装
你得有这个你才能写代码那么我不打算将这一块因为我是先学的python再学PyTorch而且这玩意安装简直是小脑瘫、唐人都可以无脑安装的你甚至进了官网点下载然后安装一直乱点下去都能安装好那我就不讲了自己查。 三、创建适合PyTorch环境的Python项目
我这里用的是PyCharm这款编译器那么这个最新版的PyCharm来创建配置Condas环境的python项目各种各样方法很多可以参考下面这两个也可以跟着我的文章来都行。 其他博主的最新版配置教学视频【2024最新版】保姆级Anaconda安装PyCharm安装和基本使用Python编程环境安装_哔哩哔哩_bilibili
最新版配置教学文章Pycharm配置conda环境(解决新版本无法识别可执行文件问题)_conda可执行文件-CSDN博客 1、那么下面是我的个人安装步骤 我之前用它写过一些代码用的是python 3.12版本没有PyTorch的那么就要切换到我们配置了PyTorch的Python环境中点击左上角【文件】点击【新建项目】重新新建一个项目 。 如果是新用户刚刚第一次打开也是一样点击【新建项目】 。 给你的项目定一个路径切记不可以有中文或奇怪符号 。 然后第一次用的用户【解析器类型】这选择【基础condas】然后会有个黄色提示点击在这个提示右边的【选择路径】 然后这里选择我们刚刚【用Anacondas管理安装的含有PyTorch的这个Python.exe程序】。 具体路径在【你安装Anacondas的路径的 \ envs \ 你起的python环境别名的包 \ python.exe】 。 然后就进入到项目界面到这还没完你会发现你的项目是个空文件夹连展开的那个小箭头都没有这里是因为我们还需要手动导入【系统解释器】相当于我们spring boot项目需要导入maven管理、JSP要引入web一样你有这玩意他才知道 “噢你是condas老大的罩的python”不然就会把你这个python项目当成 “没人理的流浪汉”。 点击右上角的【文件】点击【设置】 。 然后选中【项目:xxxx...】版本控制下面—【Python解释器】 然后点击【添加解释器】 / 这里有两种路径来配置这个condas的环境 1第一种选择【Conda环境】然后导入Anacondas安装路径下的【Scripts】的【condas.exe】 我没试过我用的是第二种 给 2第二种选择【系统解释器】不是上一个“Condas环境” 然后手动还是把刚刚新建项目时我们导入的Anacondas安装路径下的envs的“环境别名”的python.exe / 然后返回【设置】点【应用】【确定】OK等待配置扫描安装...... 2、终端验证项目是否成功的报错解决方案
然后我们就可以打开右下角的终端检查这个condas环境的python项目搭建好了没
但当时我一打开给我报了这么个错如果有遇到相同情况的朋友跟着我做包不会错很简单 看了别的博主文章才知道是因为我们之前装java的环境的时候java的环境变量在path的配置那里有误【%JAVA_HOME%\bin】和【%JAVA_HOME%\jre\bin】不能两个两个连起来写要分开 conda 启动报错 Invoke-Expression_windows10 conda invoke-expression : 所在位置 行:1 字符: 1-CSDN博客 切记切记修改完系统变量后PyCharm这边是不会自动更新的要整个软件关掉、再打开否则你再试个一百遍都是报错 关掉之后再打开终端显示正常了 3、最终验证是否成功
最后我们到终端上两个也就是第一个按钮【Python 控制台】
再输入一次【import torch】【torch.cuda.is_available()】都没报错的话就大功告成完美 输入一些python语法也正常运行 四、什么是数据集以及初始Dataset
1、数据集
看了别的文章是这么说 这是一篇较详细的文章什么是数据集-CSDN博客
那么鄙人的粗浅见识认为就是一堆给机器学习用的数据的集合把人比做机器那么数据集就是我们从出生到老死一直在听的、看的、吃的的一切的一切我们看到蓝天知道天空是蓝色我们闻到屎知道屎是香的我们吃过老八秘制小汉堡才知道这玩意贼好吃......这一切的一切都叫数据集是这一切让我们有了我们人类的一套思考逻辑、判断逻辑、理解逻辑...当然这些还可以细分成各个领域比如情感认知、学术知识、游戏体验...... 那么这里提供一个数据集文件以供我们后面学习用大家可以自行下载 链接: https://pan.baidu.com/s/1JHnA4d0EU77r2ljeZlkCow?pwdhrd4 提取码: hrd4 那么看这个文件下就能大概知道这是干啥的 就是一些根据图片、文本label来“喂”给机器学习的数据集一些资料 2、Dataset简单解释
那么Dataset又是什么
我们把上面那个文件夹的文件当成你刚从毕业学长学姐那捡回来的一堆书、或者你从夸克上下载的一万部小电影nei叫一个爽但是你也不是什么都学、什么都看吧那堆书里有《厚黑学》、《圣经》、《c语言》、《计算机组成原理》.......夸克磁盘里有“猎奇”、“户外”、“直播录屏”、“兽..”、“欧美”...你不能一锅乱炖乱看吧总得分个类吧
那么Dataset就是这么个工具帮机器把这对杂乱无章的数据分类整理获取每个数据的label并告诉机器一共有多少数据。 另外我刚刚例子里说的那些《厚黑学》、《圣经》、《c语言》、《计算机组成原理》.......“猎奇”、“户外”、“直播录屏”、“兽..”、“欧美”......这些就是数据集对应的【label】 五、初用Dataset
1、准备好数据集
把刚刚数据集里的【hymenopter_data.zip】解压 然后复制这个文件夹直接粘贴到你的PyTorch的python项目里去最好再新建一个目录叫“dataset”专门用来放你的数据集的 2、学会python的获取图片资源
接下来我们简单了解一下python怎么获取图片使用图片
1首先要用到Image这个工具包导入Image包
# 首先导入Image包
from PIL import Image
2然后用一个变量获取某个图片的路径绝对路径、相对路径都行看你喜欢
# 然后用一个变量代替图片路径
imgPath 你的图片路径 这里可以直接右键复制文件的路径 别忘了粘贴时这个【/】符号可能会自动变错我们自己手动调回来 3然后调用Image这个工具的open函数里面传入图片路径的作为参数就可以用这个图片了
# 然后调用Image的open函数把图片解析比用一个变量接收
img Image.open(imgPath)
4我们可以利用这个图片变量调用它的属性、函数
比如打印大小 显示图片 5另外如果我们不知道它有哪些属性、函数可以调用那么我们可以在【Python控制台】将刚才的python代码再写一遍右边可以显示对应的属性、函数方便我们查看
我有写import PIL import Image只是控制台隐藏了 完整代码
# 首先导入Image包
from PIL import Image# 然后用一个变量代替图片路径
imgPath F:/MyPythonProject/PyTrochProject1/dataset/train/ants/0013035.jpg# 然后调用Image的open函数把图片解析比用一个变量接收
img Image.open(imgPath)print(img.size)
img.show() 3、利用os库工具获取所有图片
当然刚刚的Image只能对一个图片进行专门的处理而要想获取所有图片资源就得用到os这个工具包
1、导入os包
# 导入os包获取存放所有图片的这个包
import os
2、用一个变量接收【存放所有图片的这个包】的【路径】绝对相对都行这里我用相对
# 用一个变量接收存放所有图片的这个包的路径
imgListPath 你放所有图片的包的路径 3、然后调用os的listdir函数解析获取这个包并把存放所有图片的包的路径作为参数传入
# 然后调用os的listdir函数解析获取这个包
imgList os.listdir(imgListPath)
4、如果我们把代码写到【python控制台】就能看到获取到所有图片变成一个列表数据 完整代码
# 导入os包获取存放所有图片的这个包
import os# 用一个变量接收存放所有图片的这个包的路径
imgListPath dataset/train/ants# 然后调用os的listdir函数解析获取这个包
imgList os.listdir(imgListPath)print(imgList)
print(type(imgList)) 4、利用Dataset把所有图片整合成一个数据集并分类
1在这之前补充一下几个知识点
python的类里面可以不用定义成员变量在函数里想用到的时候【self.成员变量】就自动加上了
class myClass:def createName(self):# 并没有定义name这个变量但是我直接在函数里加一个self.name KOBEclassA myClass()
print(classA.name) #照样打印出来 然后【__init__】是构造函数
# 构造方法
def __init__(self, nameNone, ageNone, sexNone, phoneNone):self.name nameself.age ageself.sex sexself.phone phoneif name is not None and age is not None and sex is not None and phone is not None:print(构建一个完整对象完毕\n)else:print(构建一个空对象完毕\n)
【__setitem__函数】、【__getitem__函数】
【__setitem__函数】允许外界根据【索引】设置构造函数里【数据容器】类型成员变量的值
【__getitem__函数】提供索引允许外界根据【索引】或【切片】形式获取【数据容器】类型成员变量的某个位置值
class myClass:# 构造函数并没有传参也即是一个空参函数# 而items也并不是在函数外定义的一个类的成员变量而且是【数据容器】类型列表、元组、字典...# 那就没有办法根据索引给这个items某个位值设置值def __init__(self):self.items []my_class myClass()
my_class.items [1, 2, 3, 4, 5]
my_class.items[1] 23 # 报错不允许根据索引设置构造函数里设置的成员变量list#####################################################
class myClass:def __init__(self):self.items []def __getitem__(self, index):return self.items[index]# 利用__setitem__方法提供给外界允许根据【索引】设置构造函数里定义的【数据容器】值的权限def __setitem__(self, index, value):self.items[index] valuemy_class myClass()
my_class.items [1, 2, 3, 4, 5]# 使用索引方式设置元素
my_class.items[1] 10 # 成功
print(my_list.items) # 输出: [1, 10, 3, 4, 5]【__len__】是魔法函数里的求长度函数
# __len__魔术方法返回长度
def __len__(self):return len(self.name) 2正式写Dataset代码
首先导入Dataset的包
from torch.utils.data import Dataset
然后别忘了导入Image和os包获取图片
# 导入Image包
from PIL import Image
# 导入os包获取存放所有图片的这个包
import os
然后现在我们就可以创建一个专门管理数据集的类了只需要在创建普通类的基础上加一个括号里面传入Dataset这个参数这就是一个Dataset的类了 接下来我们细细分析一下我们所需要的东西 【获取所有文件的路径】 。 【其中这两个文件夹名字就是我们要的label】 一个表示“蚂蚁”一个表示“蜜蜂” ‘ 【我们确切要拿到的每一个数据】 那么我们就可以理清一下思路
1、首先我们要获取到存放所有文件的目录的路径
2、这个路径还不能直接直接固定死要分开因为我们要单独取出装有两类不同文件的文件夹的名字作为数据集的【label】
3、我们要把“蚂蚁”、“蜜蜂”这两个数据分类里的所有文件分别存到两个数据列表然后在外界我们可以根据索引单独取出列表中的其中一个图片资源
4、最后我们要把两个数据分类整合成一个数据集交由Dataset来管理即可
那么第一步就是创建一个Dataset类然后在类里面处理好获取所有数据的逻辑然后一个代表【蚂蚁】一个代表【蜜蜂】在外界根据传入不同的路径参数来获取不同的数据最后整合到一起。
ok来写代码
完整代码
#导入Dataset
from torch.utils.data import Dataset
# 导入Image包
from PIL import Image
# 导入os包获取存放所有图片的这个包
import osclass myData(Dataset):def __init__(self, rootPath, labelPath):# 用变量接收外界传入的路径参数其中labelPath是对应【蚂蚁】或【蜜蜂】self.rootPath rootPathself.labelPath labelPath# 利用os的.path.join()函数把路径拼接起来比如xxx和aaa会自动在中间加一个/变“xxx/aaa”self.path os.path.join(self.rootPath, self.labelPath)# 最后利用os的listdir解析这个包路径下所有文件并用一个数据列表接收self.imgListPath os.listdir(self.path)print(self.imgListPath) #输出对应label路径下的所有图片的list# 根据索引获取到单独某个图片资源、图片名、图片labeldef __getitem__(self, index):# 获取当前index位置的图片名、以及解析图片资源# 这里注意完整的图片路径是【存放所有图片的包路径rootPath labelPath】【单个图片的路径】imgName self.imgListPath[index]# imgPath self.imgListPath[index]imgPath os.path.join(self.rootPath, self.labelPath, imgName)img Image.open(imgPath)# 取出它属于哪个labellabel self.labelPathreturn img, label# 利用__len__函数返回当前这个label分类的图片列表一共有多少条数据def __len__(self):return len(self.imgListPath)rootPath dataset/train
labelPath1 ants
labelPath2 bees
# 传入不同的label的路径获取创建两个数据集【蚂蚁】和【蜜蜂】
ants_dataset myData(rootPath, labelPath1)
bees_dataset myData(rootPath, labelPath2)
# 用多返回值就用多变量接收
ant_img, ant_label ants_dataset[1]
bee_img, bee_label bees_dataset[1]
# 调用测试一下能不能显示一张蚂蚁和一张蜜蜂的照片
ant_img.show()
bee_img.show()# 最后Dataset的整合数据集的大绝招两个数据集Dataset类相加
train_dataset ants_dataset bees_dataset
# 验证一下分别输出两个数据集有几条数据再看一下整个数据集有几个数据
print(len(ants_dataset)) # 124
print(len(bees_dataset)) # 121
print(len(train_dataset)) # 245 124 121
这里我感觉我的注释足够清晰我觉得我再多余写过多的文字反而不如看代码来得清晰所以我在过多阐述......
那么到这我们就算完成了初步的一个用Dataset整合机器学习所需要的数据集了 那么其实通常情况下我们还会专门区分图片是图片label是label专门有一个label文件夹里面存放所有对应每一张图片名的txt文件而里面的内容就是它这个数据所归属的label名 这种形式的数据集又需要重新编写代码请各位自己写我累了...
下一篇讲TensorBoard
