如何建双注册网站,博达站群网站建设教程,橙 网站,线上推广的方式本文使用到的 Jupyter Notebook 可在GitHub仓库002文件夹找到#xff0c;别忘了给仓库点个小心心~~~ https://github.com/LFF8888/FF-Studio-Resources 在自然语言处理领域#xff0c;使用Hugging Face的Transformers库进行模型训练已经成为主流。然而#xff0c;随着模型复… 本文使用到的 Jupyter Notebook 可在GitHub仓库002文件夹找到别忘了给仓库点个小心心~~~ https://github.com/LFF8888/FF-Studio-Resources 在自然语言处理领域使用Hugging Face的Transformers库进行模型训练已经成为主流。然而随着模型复杂度的增加和实验次数的增多如何高效地跟踪和管理每一次实验的结果变得尤为重要。传统的日志记录方法往往繁琐且不够直观难以满足快速迭代的需求。幸运的是Weights BiasesWB提供了一种轻量级的解决方案能够无缝集成到Hugging Face的工作流程中帮助开发者自动跟踪实验数据、可视化模型性能并轻松比较不同架构和超参数设置的效果。本文将详细介绍如何利用这一强大组合让每一次实验都清晰可溯每一次优化都有据可依。
Hugging Face WB
通过无缝的 WB 集成快速可视化你的 Hugging Face 模型性能。 比较超参数、输出指标以及系统统计数据如 GPU 利用率。 为什么我应该使用 WB 统一仪表盘所有模型指标和预测的中央存储库轻量级无需代码更改即可与 Hugging Face 集成可访问个人和学术团队免费使用安全所有项目默认私有可信被 OpenAI、Toyota、Lyft 等机器学习团队使用
将 WB 视为机器学习模型的 GitHub——将机器学习实验保存到你的私有托管仪表盘。快速实验确保所有模型版本都已保存无论你在哪里运行脚本。 WB 的轻量级集成适用于任何 Python 脚本你只需注册一个免费的 WB 账户即可开始跟踪和可视化你的模型。
在 Hugging Face Transformers 仓库中我们已将 Trainer 配置为在每个日志步骤自动将训练和评估指标记录到 WB。 以下是集成工作原理的深入分析Hugging Face WB 报告。 安装、导入和登录
安装 Hugging Face 和 Weights Biases 库以及本教程的 GLUE 数据集和训练脚本。
Hugging Face Transformers自然语言模型和数据集Weights Biases实验跟踪和可视化GLUE 数据集语言理解基准数据集GLUE 脚本用于序列分类的模型训练脚本
!pip install datasets wandb evaluate accelerate -qU
!wget https://raw.githubusercontent.com/huggingface/transformers/master/examples/pytorch/text-classification/run_glue.py# run_glue.py 脚本需要 transformers dev 版本
!pip install -q githttps://github.com/huggingface/transformers️ 注册免费账户 → 输入你的 API 密钥
注册后运行下一个单元格并点击链接获取你的 API 密钥以验证此笔记本。
import wandbwandb.login()可选地我们可以设置环境变量以自定义 WB 日志记录。查看 文档。
# 可选记录梯度和参数
%env WANDB_WATCHall训练模型
接下来调用下载的训练脚本 run_glue.py并查看训练自动跟踪到 Weights Biases 仪表盘。该脚本在 Microsoft Research Paraphrase Corpus 上微调 BERT——包含人类标注的句子对指示它们是否语义等价。
%env WANDB_PROJECThuggingface-demo
%env TASK_NAMEMRPC!python run_glue.py \--model_name_or_path bert-base-uncased \--task_name $TASK_NAME \--do_train \--do_eval \--max_seq_length 256 \--per_device_train_batch_size 32 \--learning_rate 2e-4 \--num_train_epochs 3 \--output_dir /tmp/$TASK_NAME/ \--overwrite_output_dir \--logging_steps 50在仪表盘中可视化结果
点击上面打印的链接或访问 wandb.ai 查看你的结果实时流入。浏览器中查看你的运行的链接将在所有依赖项加载后出现——查找以下输出“wandb: View run at [URL to your unique run]”
可视化模型性能 轻松查看数十个实验放大有趣的发现并可视化高维数据。 比较架构 这是一个比较 BERT vs DistilBERT 的示例——通过自动折线图可视化可以轻松查看不同架构如何影响训练期间的评估准确性。 默认情况下轻松跟踪关键信息
Weights Biases 为每个实验保存一个新的运行。以下是默认保存的信息
超参数模型设置保存在 Config 中模型指标流式传输的指标时间序列数据保存在 Log 中终端日志命令行输出保存在选项卡中系统指标GPU 和 CPU 利用率、内存、温度等 了解更多
文档Weights Biases 和 Hugging Face 集成的文档视频教程、与从业者的访谈等请访问我们的 YouTube 频道联系我们如有问题请发送邮件至 contactwandb.com
