LlamaFactory 支持多种调优算法,包括: Full Parameter Fine-tuning 、 Freeze 、 LoRA 、 Galore 、 BAdam 。
Full Parameter Fine-tuning
全参微调指的是在训练过程中对于预训练模型的所有权重都进行更新,但其对显存的要求是巨大的。
如果您需要进行全参微调,请将 finetuning_type 设置为 full 。 下面是一个例子:
finetuning_type
full
### examples/train_full/qwen3_full_sft.yaml # ... finetuning_type: full # ... #deepspeed: deepspeed: examples/deepspeed/ds_z3_config.json
Freeze
Freeze(冻结微调)指的是在训练过程中只对模型的小部分权重进行更新,这样可以降低对显存的要求。
如果您需要进行冻结微调,请将 finetuning_type 设置为 freeze 并且设置相关参数, 例如冻结的层数 freeze_trainable_layers 、可训练的模块名称 freeze_trainable_modules 等。
freeze
freeze_trainable_layers
freeze_trainable_modules
以下是一个例子:
... ### method stage: sft do_train: true finetuning_type: freeze freeze_trainable_layers: 8 freeze_trainable_modules: all ...
表:FreezeArguments
2
all
None
LoRA
如果您需要进行 LoRA 微调,请将 finetuning_type 设置为 lora 并且设置相关参数。 下面是一个例子:
lora
... ### method stage: sft do_train: true finetuning_type: lora lora_target: all lora_rank: 8 lora_alpha: 16 lora_dropout: 0.1 ...
表:LoraArguments
0
r
8
λ = ηB/ηA
ηA, ηB
1e-6
False
-1
16
LoRA+
在LoRA中,适配器矩阵 A 和 B 的学习率相同。您可以通过设置 loraplus_lr_ratio 来调整学习率比例。在 LoRA+ 中,适配器矩阵 A 的学习率 ηA 即为优化器学习率。适配器矩阵 B 的学习率 ηB 为 λ * ηA。 其中 λ 为 loraplus_lr_ratio 的值。
loraplus_lr_ratio
ηA
ηB
λ * ηA
λ
rsLoRA
LoRA 通过添加低秩适配器进行微调,然而 lora_rank 的增大往往会导致梯度塌陷,使得训练变得不稳定。这使得在使用较大的 lora_rank 进行 LoRA 微调时较难取得令人满意的效果。rsLoRA(Rank-Stabilized LoRA) 通过修改缩放因子使得模型训练更加稳定。 使用 rsLoRA 时, 您只需要将 use_rslora 设置为 True 并设置所需的 lora_rank。
lora_rank
use_rslora
True
DoRA
DoRA (Weight-Decomposed Low-Rank Adaptation)提出尽管 LoRA 大幅降低了推理成本,但这种方式取得的性能与全量微调之间仍有差距。
DoRA 将权重矩阵分解为大小与单位方向矩阵的乘积,并进一步微调二者(对方向矩阵则进一步使用 LoRA 分解),从而实现 LoRA 与 Full Fine-tuning 之间的平衡。
如果您需要使用 DoRA,请将 use_dora 设置为 True 。
use_dora
PiSSA
在 LoRA 中,适配器矩阵 A 由 kaiming_uniform 初始化,而适配器矩阵 B 则全初始化为0。这导致一开始的输入并不会改变模型输出并且使得梯度较小,收敛较慢。 PiSSA 通过奇异值分解直接分解原权重矩阵进行初始化,其优势在于它可以更快更好地收敛。
如果您需要使用 PiSSA,请将 pissa_init 设置为 True 。
pissa_init
Galore
当您需要在训练中使用 GaLore(Gradient Low-Rank Projection)算法时,可以通过设置 GaloreArguments 中的参数进行配置。
GaloreArguments
下面是一个例子:
... ### method stage: sft do_train: true finetuning_type: full use_galore: true galore_layerwise: true galore_target: mlp,self_attn galore_rank: 128 galore_scale: 2.0 ...
警告
galore_layerwise
true
gradient_accumulation
表:GaLoreArguments
200
0.25
std
reverse_std
right
left
BAdam
BAdam 是一种内存高效的全参优化方法,您通过配置 BAdamArgument 中的参数可以对其进行详细设置。 下面是一个例子:
BAdamArgument
### model ... ### method stage: sft do_train: true finetuning_type: full use_badam: true badam_mode: layer badam_switch_mode: ascending badam_switch_interval: 50 badam_verbose: 2 pure_bf16: true ...
pure_bf16
badam_mode = layer
badam_mode = ratio
表:BAdamArgument
layer
ratio
ascending
descending
random
fixed
50
0.05
adjacent
scatter