电影网站织梦模版,外贸都是在哪些网站做,响应式网站对seo,嵌入式软件开发公司start DL from stratch #xff08;2#xff09;!!! 一、CPU and GPUcpuGPU安培架构爱达洛夫莱斯架构 二、使用conda创建一个新的虚拟环境三、autodl操作先知Linux复习目录文件和数据上传对于整个镜像的操作守护进程Tips 四、autodl租用创建实例big没有所需要的版本的… start DL from stratch 2!!! 一、CPU and GPUcpuGPU安培架构爱达·洛夫莱斯架构 二、使用conda创建一个新的虚拟环境三、autodl操作先知Linux复习目录文件和数据上传对于整个镜像的操作守护进程Tips 四、autodl租用创建实例big没有所需要的版本的话big连接pycharm配置环境GitHub上项目开具发票 五、ssh和sftp六、性能nvidia-smi -l 1如果发现GPU利用率较低时可以按下述方法排查瓶颈numpy其余经验 主要解决DL入门关于相关软件的配置问题使用autodl远程使用实例。
续前节 Start DL from stratch1 !!!
一、CPU and GPU
参考 CPU-GPU
cpu
CPU非常重要尽管CPU并不直接参与深度学习模型计算但CPU需要提供大于模型训练吞吐的数据处理能力。比如一台8卡NVIDIA V100的DGX服务器训练ResNet-50 ImageNet图像分类的吞吐就达到8000张图像/秒而扩展到16卡V100的DGX2服务器却没达到2倍的吞吐说明这台DGX2服务器的CPU已经成为性能瓶颈了。 理想情况下模型计算吞吐随GPU数量线性增长单GPU的合理CPU逻辑核心数分配可以直接线性扩展到多GPU上。每块GPU应配备至少4~8核心的CPU以满足多线程的异步数据读取。
GPU
我们建议在实例上启用深度学习框架的混合精度训练来加速模型计算。 相较于单精度训练混合精度训练通常能够提供2倍以上的训练加速。
GPU的数量选择与训练任务有关。一般我们认为模型的一次训练应当在24小时内完成这样隔天就能训练改进之后的模型。以下是选择多GPU的一些建议
1块GPU。适合一些数据集较小的训练任务如Pascal VOC等。 2块GPU。同单块GPU但是你可以一次跑两组参数或者把Batchsize扩大。 4块GPU。适合一些中等数据集的训练任务如MS COCO等。 8块GPU。经典永流传的配置适合各种训练任务也非常方便复现论文结果。 我要更多用于训练大参数模型、大规模调参或超快地完成模型训练。
内存和CPU配置的分配逻辑为按GPU的数量成倍数分配比如在主机上看到的CPU和内存分配规则为32GB/GPU、8核/GPU那么租用1块GPU时实例的配置为1卡GPU; 8核CPU; 32GB内存租用2块GPU时实例的配置为2卡GPU; 16核CPU; 64GB内存依此类推。 安培架构
NVIDIA Ampere 架构 安培架构是继图灵Turing架构之后的下一代架构 用于其 RTX 30 系列显卡如 RTX 3090、RTX 3080、RTX 3070 等。
爱达·洛夫莱斯架构
NVIDIA Ada Lovelace架构 是继安培架构之后推出的下一代 GPU 架构命名来源于 19 世纪数学家 Ada Lovelace她被认为是世界上第一位计算机程序员 RTX 40 系列
二、使用conda创建一个新的虚拟环境 三、autodl操作先知
Linux复习
在AutoDL租用实例的系统默认为Linux Ubuntu发行版因此熟悉使用基本的Linux命令对于训练模型非常有必要 Linux操作系统中几乎所有的东西都以文件夹或文件形式存在这些文件夹/文件有一个共同的根目录/。如果我们在某块磁盘A上无其他分区安装了Linux操作系统后那么根目录下将会有此类默认的系统目录
$ ls /
bin etc lib mnt proc run tmp var boot dev home root srv sys usr具体命令如下
目录 在AutoDL实例中安装的系统软件以及用内置的miniconda安装的python依赖都是安装在了**系统盘中。 系统盘 即系统环境 数据盘 temp 可存放读写IO要求高的数据 所以叫做数据盘但是不能保存至镜像中以及进行实例迁移。
文件存储会挂载文件存储至实例**/root/autodl-fs** 平台内置的所有镜像都安装了Miniconda安装路径为/root/miniconda3/
JupyerLab的工作路径是/root数据盘、网盘、公共数据目录都在/root目录下因此进入JupyterLab后可直接看到这些平台默认创建的目录
题外话JupyterLab在关闭终端/Notebook选项卡后默认不会终止仍然在运行 所以右键复制路径之后没有带root的所以需要自己手动加上/root/
文件和数据上传
公网网盘直接使用阿里云盘、百度网盘上传下载数据一般推荐 阿里云盘在2024年7月左右对三方应用进行了限制需要购买三方权益包才能获得良好的上传下载速度 百度网盘由于规则调整不再支持个人认证及个人创建应用功能需要企业认证才可开通应用JupyterLab上传和网盘类似优点简单但是只支持文件不支持文件夹 推荐scp命令支持文件和文件夹上传下载由于是命令行执行上手难度稍高FileZilla软件支持文件和文件夹拖拉拽即可上传下载推荐使用免费、全平台(Mac、Linux、Windows)XShell软件支持管理SSH连接而且集成了xftp支持拖拉拽上传下载文件夹/文件但是付费版软件啊啊啊AutoDL文件存储 上传数据优点简单而且不用开实例缺点是网页不支持上传文件夹 当只是需要上传一个zip压缩包时或者其他类型的单个文件时建议直接进入到文件存储中上传。因为这样可以少了连接到Xftp这个步骤以及可以少费点钱。 上传数据的时候选择无卡开机模式可以减少费用
对于整个镜像的操作
您在一个实例中配置好了环境等在更换主机以及开新的实例时希望复用该环境以及长期留存该环境以备日后使用那么保存镜像将是最好的选择还支持共享镜像给其他用户之后的保存镜像请在我的镜像菜单中查看
重置系统-更换镜像都是系统盘清空数据盘不动
克隆实例把整个都给复制一份 点击克隆实例后在创建实例页面选择一台新主机创建实例即可。
Tips如果您在克隆时忘了勾选同时拷贝数据盘那么可以在新实例创建完成后在原实例的更多操作中点击【跨实例拷贝数据】再对数据盘进行拷贝
守护进程
远程执行程序时那么请注意开守护进程来执行程序避免因为SSH连接中断导致程序终止 最简单的方式是通过jupyterlab的终端来执行只要jupyterlab不出现重启几乎不会jupyterlab的终端就会一直运行无论是本地主机断网还是关机
Tips
可以在pycharm 中调试好 然后再 jupyterlab的终端 执行这样页面可以关闭去做其他事情按量计费实例在关机后会释放GPU给其他用户租用如果想一直占有GPU可选择变更计费方式为包年包月有时候抢不到服务器可以提前租用多个实例等到15天快结束的时候开机一会又可以延时了
四、autodl租用
更多详细参考- Autodl
创建实例
首先平台镜像中有没有您需要的Torch、TensorFlow等框架的相应版本如果有首选平台内置的镜像 如果平台中没有合适的Torch、TensorFlow等框架版本那么查询自己的框架需要什么CUDA版本比如PyTorch1.9.0需要CUDA11.1那么可以选择Miniconda/CUDA11.1的平台镜像然后在镜像内安装自己需要的框架免去安装cudatoolkit的麻烦。平台内置的CUDA均带.h头文件如有二次编译代码的需求更方便
没有所需要的版本的话 安装其他版本的Python 参考 安装其他版本的CUDA 参考 安装PyTorch 参考 安装TensorFlow 参考 方法一可随便挑选一个Miniconda镜像在开机后自行安装相关框架、CUDA、甚至其他版本的Python。miniconda镜像即内部未安装任何深度学习框架保持运行环境干净
方法二在连接ssl的时候选择conda 环境 这个就相当于你
conda create -n Untrack python3.7 # 构建一个虚拟环境
conda init bash source /root/.bashrc # 更新bashrc中的环境变量
conda activate Untrack # 切换到创建的虚拟环境注意创建位置/envs里面此外 在编译器这里就是用的他的环境如下 但是在termial中还是显示的base环境root目录的 综上所以说开始不选miniconda也是可以的就是新建一个环境但是在克隆实例保存镜像什么的时候会很大的相当与有两份了 那python interpreter 怎么换到base里面呢还是在ssl配置那里选择已有的base conda环境就可以了注意路径就是图中的 /root/miniconda3
那怎么Notebook环境切换呢 –参考–
# 创建Conda新的虚拟环境如已创建请忽略
conda create -n tf python3.7 # 构建一个虚拟环境名为tf
conda init bash source /root/.bashrc # 更新bashrc中的环境变量# 将新的Conda虚拟环境加入jupyterlab中
conda activate tf # 切换到创建的虚拟环境tf
conda install ipykernel
ipython kernel install --user --nametf # 设置kernel--user表示当前用户tf为虚拟环境名称具体例子参考我的另一篇-
连接pycharm
选择File—Settings点击Add interpreter----On SSH即可。
或者 Tools - Deployment - Configuration点击…进入SSH Configurations 检验
配置环境
在PyCharm中进入终端或者在通过JupyterLab进入终端------编辑文件刷新使得能使用conda的一些其他命令比如conda activate 环境以进行后续的环境配置 否则报错 怎么办呢
输入vim ~/.bashrc
开始进行编辑输入i
光标移动到文件的最后一行插入source /root/miniconda3/etc/profile.d/conda.sh
保存文件并退出按Esc键输入:wq再回车
输入bash重启终端即刷新一下 重新输入命令 进来啦
参考AutoDL Autodl
GitHub上项目
记得下面两个文件加上目录就可以直接install如果项目提供了 requirements.txt你可以直接使用以下命令安装依赖
pip install -r requirements.txt使用 conda 若项目有 environment.yml 文件可以用以下命令创建 conda 环境
conda env create -f environment.yml开具发票
发票抬头请填写真实姓名统一社会信用代码请填写身份证号之后会发送到邮箱电子版的 单次开票金额满10元可开票 autod开具的都是具有增值税的没有 普通的个人发票貌似嘞
五、ssh和sftp
SSH (Secure Shell) 作用SSH 是一种安全的远程登录协议主要用于通过不安全的网络例如互联网安全地访问和管理远程计算机。它允许用户通过命令行界面CLI连接到远程服务器执行命令、管理文件和执行其他管理任务。 加密SSH 使用加密技术如对称加密、非对称加密、哈希算法等来确保数据传输的安全性因此它比传统的 Telnet 或 FTP 更加安全。 主要功能 远程登录使用终端在远程服务器上执行命令。 安全的文件传输SSH 本身并不直接用于文件传输但它可以与 SCP 或 SFTP 一起使用。SFTP (Secure File Transfer Protocol) 作用SFTP 是一种通过 SSH 提供的安全文件传输协议。它用于通过安全的加密通道在远程计算机和本地计算机之间传输文件。与 FTP 相比SFTP 是加密的因此数据在传输过程中不会被窃取或篡改。 加密SFTP 使用 SSH 协议进行加密确保传输过程中的文件和命令的保密性和完整性。
六、性能
nvidia-smi -l 1
NVIDIA System Management Interface -l 1是该工具的一个参数表示以每秒 1 次的loop刷新输出
GPU 信息 GPU表示 GPU 的编号。例如GPU 0、GPU 1 等这个编号通常是按照设备的插槽顺序分配的。 GPU-Name显示 GPU 的具体型号例如 Tesla T4、GeForce RTX 3090 等。 Bus-Id表示 GPU 在系统中的 PCI 总线地址例如 00000000:00:1E.0可以帮助区分不同的 GPU。 Disp.A表示是否有显示器连接到该 GPU。如果显示器连接通常显示 On如果没有显示器连接显示 Off。GPU 使用情况 GPU-Util表示 GPU 的当前计算利用率范围从 0% 到 100%。显示 GPU 在进行计算时的负载情况。如果 GPU 没有进行计算或处于空闲状态值通常为 0%。 Memory-Usage显示 GPU 显存的使用情况。格式通常为 XMiB / YMiB其中 X 是已用的显存Y 是总显存大小。例如 100MiB / 8192MiB 表示已用显存为 100MiB总显存为 8GB。 GPU Temp表示 GPU 当前的温度单位是摄氏度°C。GPU 温度过高可能会影响性能并且可能会自动降低性能以避免过热。 Power-Usage显示 GPU 当前的功耗单位为瓦特W。这表明 GPU 在运行时的功率消耗情况。 Fan Speed表示 GPU 风扇的转速单位是 RPM转/分钟。如果 GPU 温度过高风扇转速通常会增大以提供更多的冷却。计算进程Processes PID (Process ID)显示正在使用 GPU 的进程的 ID。每个正在运行的程序都会有一个唯一的进程 ID。 User显示启动该进程的用户。例如root 或 user。 GPU Memory Usage显示该进程使用的 GPU 显存大小。例如100MiB 表示该进程已使用了 100MB 显存。 Type显示该进程是计算任务C还是显示任务G。例如C 表示该进程在执行计算任务G 表示该进程用于显示或渲染图形。 Process Name显示该进程的名称通常是启动该进程的应用程序的名称如 python、tensorflow 等。 Memory-Usage显示该进程占用的显存量。如果该值较高表示该进程正在进行大型计算任务。驱动与 CUDA 版本 Driver Version显示当前系统安装的 NVIDIA 驱动版本。例如460.39 表示安装了 NVIDIA 460.39 版本的驱动。 CUDA Version显示当前系统支持的 CUDA 版本。
如果发现GPU利用率较低时可以按下述方法排查瓶颈
如果GPU占用率为0说明代码可能没有使用GPU需检查代码。
如果GPU占用率忽高忽低、占用率峰值在50%以下那么可能是数据预处理跟不上GPU的处理速度 数据处理和CPU挂钩
如果CPU占用率远没有达到N00%的说明您的代码没有把CPU的算力压榨出来一般可以通过修改Torch Dataloader中的worker_num提高CPU负载经验值num_worker 略小于核心数量最好测试不同worker num值对性能的影响。
numpy
NumPy会使用OpenBlas或MKL做计算加速。Intel的CPU支持MKLAMD CPU仅支持OpenBlas。
如果使用Intel的CPUMKL会比OpenBlas有几倍的性能提升部分矩阵计算对最终的性能影响非常大。一般来说AMD CPU使用OpenBlas会比Intel的CPU使用OpenBlas更快因此不用过份担心AMD CPU使用OpenBlas的性能差。 在使用清华等国内的Conda源时安装NumPy时默认会使用OpenBlas的加速方案 我的设备是 所以不用修改了 修改的话参考Pref
# 第一步卸载当前的NumPy
pip uninstall numpy (如果是conda安装的 conda uninstall numpy)
# 第二步删除国内的Conda源
echo /root/.condarc
# 第三步重新安装NumPy
conda install numpy其余经验
如果您在使用单机多卡并行并且使用了PyTorch框架那么一般将torch.nn.DataParallel (DP)更换为torch.nn.DistributedDataParallel (DDP) 能提升性能。官方原文是DistributedDataParallel offers much better performance and scaling to multiple-GPUs.
