主要用于对 chatglm, internlm, llama 等模型的微调(SFT),其底层基于 hugging-face 的 Trainer,分布式性能优化有两种可选: 1、hugging-face 的 accelerate 2、DeepSpeed 他们通过配置文件生效,也可以通过对应的启动工具启动,配置文件在 config/ 目录下。
-
Notifications
You must be signed in to change notification settings - Fork 0
zhiguoxu/model_factory
About
Model lora finetune framework.
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published