uiuc(比LoRA还快50%！一张3090超越全参调优，UIUC联合LMFlow提出LISA)

比LoRA还快50%！一张3090跨越全参调优，UIUC团结LMFlow提出LISA

机器之心专栏

机器之心编纂部

2022 年底，随着 ChatGPT 的爆火，人类正式进入了大模子年代。但是，练习大模子必要的时空斲丧仍然居高不下，给大模子的普及和提高带来了宏大困难。面临这一挑唆，原先在盘算机视觉范畴盛行的 LoRA 武艺告捷转型大模子 [1][2]，带来了接近 2 倍的时间增速和实际最高 8 倍的空间紧缩，将微调武艺带进千家万户。

但 LoRA 武艺仍存在一定的挑唆。一是 LoRA 武艺在很多职责上还没有凌驾正常的全参数微调 [2][3][4]，二是 LoRA 的实际实质分析比力困难，给其进一步的研讨带来了拦阻。

UIUC 团结 LMFlow 团队成员对 LoRA 的实行实质举行了分析，不测发觉 LoRA 十分侧重 LLM 的底层和顶层的权重。使用这一特性，LMFlow 团队提出一个极度简便的算法：Layerwise Importance Sampled AdamW（LISA）。

• 论文链接：https://arxiv.org/abs/2403.17919
• 开源地点：https://github.com/OptimalScale/LMFlow

LISA 先容

LISA 算法的中心在于：

- 一直更新底层 embedding 和顶层 linear head；

- 随机更新少数正中的 self-attention 层，好比 2-4 层。

出乎意料的是，实行发觉该算法在指令微调职责上凌驾 LoRA 乃至全参数微调。

更紧张的是，其空间斲丧和 LoRA 相当乃至更低。70B 的总空间斲丧低落到了 80G*4，而 7B 则直接降到了单卡 24G 以下！

进一步的，由于 LISA 每次正中只会激活一小局部参数，算法对更深的网络，以及梯度反省点武艺（Gradient Checkpointing）也很友好，可以带来更大的空间节流。

在指令微调职责上，LISA 的收敛实质比 LoRA 有很大提升，到达了全参数调治的水平。

并且，由于不必要像 LoRA 一样引入分外的 adapter 布局，LISA 的盘算量小于 LoRA，速率比 LoRA 快将近 50%。

实际实质上，LISA 也比 LoRA 更容易分析，Gradient Sparsification、Importance Sampling、Randomized Block-Coordinate Descent 等现有优化范畴的数学东西都可以用于分析 LISA 及其变种的收敛实质。

一键使用 LISA

为了奉献大模子开源社区，LMFlow 现已集成 LISA，安装完成后只需一条指令就可以使用 LISA 举行微调：

假如必要进一步变小大模子微调的空间斲丧，LMFlow 也以前支持一系列最新武艺：

假如在使用历程中遇就职何成绩，可经过 github issue 或 github 主页的微信群接洽作者团队。LMFlow 将持续维护并集成最新武艺。

总结

在大模子比赛的趋向下，LMFlow 中的 LISA 为一切人提供了 LoRA 以外的第二个选项，让大大多平凡玩家可以经过这些武艺到场到这场使用和研讨大模子的海潮中来。正如团队标语所表达的：让每一局部都能训得起大模子（Large Language Model for All）。

[1] Hu, Edward J., et al. "Lora: Low-rank adaptation of large language models." ICLR 2022.

[2] Dettmers, Tim, et al. "Qlora: Efficient finetuning of quantized llms." Advances in Neural Information Processing Systems 36 (2024).

[3] Ding, Ning, et al. "Delta tuning: A comprehensive study of parameter efficient methods for pre-trained language models." arXiv preprint arXiv:2203.06904 (2022).

[4] Lialin, Vladislav, et al. "Stack more layers differently: High-rank training through low-rank updates." arXiv preprint arXiv:2307.05695 (2023).