AIGC｜FineTune工程之LoRa微调：用小资源打造大成就

引言

随着深度学习和自然语言处理技术的快速发展，大型预训练语言模型（如GPT、Vicuna、Alpaca、Llama、ChatGLM等）在各种应用场景中取得了显著的成果。然而，从零开始训练这些模型需要大量的计算资源和时间，这对于许多研究者和开发者来说是不现实的。因此，FineTune工程就显得格外重要，它允许我们在预训练模型的基础上进行定制化调整，以适应下游的任务和场景。本文将介绍LoRa的微调技术，并详细阐述如何使用LoRa微调大型预训练语言模型（以下统称为LLM）。

LoRa的定义及原理

LoRa（Low-Rank Adaptation）是一种基于低秩适应的微调技术。它通过在LLM的权重矩阵上应用分解低秩矩阵，将模型的参数量大幅减少，从而降低计算复杂度和内存需求。这使得LoRa在保持模型性能的同时，能够在有限的计算资源下进行高效的微调。

LoRa如何工作

图1

图2

图3

假设权重的更新在适应过程中也具有较低的“内在秩”。对于一个预训练的权重矩阵W0 ∈ Rd×k，我们通过低秩分解W0 + ∆W = W0 + BA来表示其更新，其中B ∈ Rd×r，A ∈ Rr×k，且秩r ≤ min(d，k)。在训练过程中，W0被冻结，不接收梯度更新，而A和B包含可训练参数。需要注意的是，W0和∆W = BA都与相同的输入进行乘法运算，它们各自的输出向量在坐标上求和。前向传播公式如下：

h = W0x + ∆Wx = W0x + BAx

在图3中我们对A使用随机高斯随机分布初始化，对B使用零初始化，因此在训练开始时∆W = BA为零。然后，通过αr对∆Wx进行缩放，其中α是r中的一个常数。在使用Adam优化时，适当地缩放初始化，调整α的过程与调整学习率大致相同。因此，只需将α设置为我们尝试的第一个r，并且不对其进行调整。这种缩放有助于在改变r时减少重新调整超参数的需求。

LoRa微调ChatGLM-6B

图4

• 准备数据集

我们要准备的数据集是具有针对性的，例如你是谁？你叫什么？谁是你的设计者？等等有关目标身份的问题，答案则按照我们的需求进行设计，这里列举一个例子

• 设置参数进行微调

CUDA_VISIBLE_DEVICES=0 python ../src/train_sft.py \
    --do_train \
    --dataset self \
    --dataset_dir ../data \
    --finetuning_type lora \
    --output_dir path_to_sft_checkpoint \
    --overwrite_cache \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 4 \
    --lr_scheduler_type cosine \
    --logging_steps 10 \
    --save_steps 1000 \
    --learning_rate 5e-5 \
    --num_train_epochs 3.0 \
    --plot_loss \
    --fp16

影响模型训练效果的参数主要有下面几个
lora_rank(int,optional): LoRA 微调中的秩大小。这里并不是越大越好，对于小型数据集如果r=1就可以达到很不错的效果，即便增加r得到的结果也没有太大差别。
lora_alpha(float,optional): LoRA 微调中的缩放系数。
lora_dropout(float,optional): LoRA 微调中的 Dropout 系数。
learning_rate(float,optional): AdamW 优化器的初始学习率。如果设置过大会出现loss值无法收敛或过拟合现象即过度适应训练集而丧失泛化能力，对非训练集中的数据失去原本的计算能力。
num_train_epochs(float,optional): 训练轮数，如果loss值没有收敛到理想值可以增加训练轮数或适当降低学习率。

• 微调评估

我们再次询问模型身份

图5

图6

总结

参考文献：

LoRA: Low-Rank Adaptation of Large Language Models