网站开发需要的所有技术,戒赌网站怎么做,知识库管理系统功能,工伤保险网站SWIFT介绍和学习 SWIFT功能介绍SWIFT快速使用LLM及LLM最佳实践#xff08;LLM系列文章#xff09;部署指南 vllm非官方介绍资料 项目地址#xff1a;https://github.com/modelscope/swift 任何有疑惑的地方#xff0c;参考项目首页readme寻求答案 SWIFT功能介绍
SWIFTLLM系列文章部署指南 vllm非官方介绍资料 项目地址https://github.com/modelscope/swift 任何有疑惑的地方参考项目首页readme寻求答案 SWIFT功能介绍
SWIFT可扩展的轻量级微调基础设施是一个可扩展的框架旨在促进轻量级模型的微调和推理。它通过采用参数高效、内存高效和时间高效的方法集成了各种高效微调方法的实现。SWIFT无缝集成到ModelScope生态系统中并提供微调各种模型的能力主要侧重于LLM和视觉模型。此外SWIFT与PEFT完全兼容使用户能够利用熟悉的PEFT接口来微调ModelScope模型。
可以支持的微调方法及具体使用指导
LoRA: LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS LoRA: LoRA: Efficient Low Rank Adaptation of Large Models LLaMA PRO: LLAMA PRO: Progressive LLaMA with Block Expansion SCEdit: SCEdit: Efficient and Controllable Image Diffusion Generation via Skip Connection Editing arXiv | Project Page NEFTune: Noisy Embeddings Improve Instruction Finetuning QA-LoRA:Quantization-Aware Low-Rank Adaptation of Large Language Models. LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models ROME: Rank-One Editing of Encoder-Decoder Models Adapter: Parameter-Efficient Transfer Learning for NLP Prompt Tuning: Visual Prompt Tuning Side: Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks Res-Tuning: Res-Tuning: A Flexible and Efficient Tuning Paradigm via Unbinding Tuner from Backbone arXiv | Project Page | Usage All tuners offered on PEFT, like IA3, AdaLoRA
Swift是一个提供LLM模型轻量级训练和推理的开源框架。Swift提供的主要能力是efficient tuners和开箱即用的训练推理能力。tuners是运行时动态加载到模型上的额外结构在训练时将原模型的参数冻结只训练tuner部分这样可以达到快速训练、降低显存使用的目的。比如最常用的tuner是LoRA。
总之在这个框架中提供了以下特性
具备SOTA特性的Efficient Tuners用于结合大模型实现轻量级在商业级显卡上如RTX3080、RTX3090、RTX4090等训练和推理并取得较好效果 使用ModelScope Hub的Trainer基于transformers trainer提供支持LLM模型的训练并支持将训练后的模型上传到ModelScope Hub中 可运行的模型Examples针对热门大模型提供的训练脚本和推理脚本并针对热门开源数据集提供了预处理逻辑可直接运行使用
SWIFT快速使用
在本章节会介绍如何快速安装swift并设定好运行环境并跑通一个用例。
安装swift的方式非常简单用户只需要在python3.8环境中运行
# 全量能力
pip install ms-swift[all] -U
# 仅使用LLM
pip install ms-swift[llm] -U
# 仅使用AIGC
pip install ms-swift[aigc] -U
# 仅使用adapters
pip install ms-swift -U源代码安装
git clone https://github.com/modelscope/swift.git
cd swift
pip install -e .[all]SWIFT库提供了LLMAIGC模型的训练推理脚手架支持LLaMA、QWen、ChatGLM、Stable Diffusion等多种模型的直接训练和推理并且集成了SWIFT库提供的tuners开发者可以直接使用。它们的位置在https://github.com/modelscope/swift/tree/main/examples/pytorch/llm
LLM训练和推理可以查看: LLM系列文档 AIGC训练和推理可以查看: 文生图微调文档
SWIFT支持界面化训练和推理只需要在执行上述的安装后启动web-ui即可
swift web-ui使用指导参考
LLM及LLM最佳实践LLM系列文章
如果您想了解更多关于LLM或多模式LLM的最佳实践或者如果您对LLM的推理、微调、量化和部署教程感兴趣可以参考https://github.com/modelscope/swift/blob/main/docs/source/LLM/index.md
部署指南 vllm
这里
非官方介绍资料
https://zhuanlan.zhihu.com/p/657668033 这个内容很全面最下面还有视频介绍。
