网站开发有哪些课程,备案信息网站被注册,关于友谊的连接,wordpress xml插件多模态模型的训练llamafactory也可以训练#xff0c;但是总的来说#xff0c;llamafactory对多模态模型的支持还是不太多#xff0c;ms-swift支持的多模态模型更多#xff0c;因此有时候去找框架是否够支持相应的模型时会有所困难#xff0c;所以对这些框架的代码也要稍微…多模态模型的训练llamafactory也可以训练但是总的来说llamafactory对多模态模型的支持还是不太多ms-swift支持的多模态模型更多因此有时候去找框架是否够支持相应的模型时会有所困难所以对这些框架的代码也要稍微熟悉一些。
1.model_type
模型支持在swift/llm/utils/model.py中目前能够支持的多模态模型还是很多这对我们做一些实验室相对方便的直接我记得我sft qwenvl时还有bs不能大于1的bug不知道目前解决了没有目前我实验的llava和internvl2都没有bs1的限制了。目前llama-vision只能在最新的swift的main分支中还有合并进最新版本不过问题也不大。
2.swift对数据的支持包括两种
一种是data.jsonl中添加这和llamafactory一致的
另一种直接加载相应的转换格式的jsonl或者json文件。
3.template_type
swift中的参数基本都是一致的没有太多需要调的空间唯一需要调整的也就是model_type和template_type了swift/llm/utils/template.py其实这种框架本质上都是依赖hf的transformer和peft等库进行训练的当然trainer基本都是自家封装的但是训练这块基本都是相似的transformer的模式因此其实更多的还是数据转换一些预处理之类的东西有所区别。
4.参数
swift/llm/utils/argument.py中主要关注的就是SftArguments了。
