《论文阅读》LORA:LOW-RANKADAPTATIONOFLARGELAN-GUAGEMODELS前言简介现有方法模型架构优点前言今天为大家带来的是《LORA:LOW-RANKADAPTATIONOFLARGELAN-GUAGEMODELS》出版：时间：2021年10月16日类型：大语言模型的微调方法关键词：作者：EdwardHu,YelongShen等第一作者机构：MicrosoftCorporationgithub：https://github.com/microsoft/LoRA简介为了降低现有模型在下游任务上的计算成本和时间成本，本文提出一种利用低秩的矩阵的方法，将高维空间映射到低

前言StableDiffusionwebui，除了依靠文生图（即靠提示词生成图片），图生图（即靠图片+提示词生成图片）外，这两种方式还不能满足我们所有的绘图需求，于是就有了Embeddings（词嵌入）、LoRa（低秩适应模型）、Hypernetwork（超网络）。Embeddings模型模型非常小，常常用于放在反向提示词里，让图像不出现生么，当然也可与用于正向提示词，生成我们想要的LoRa模型模型几十到几百MB，更多用于画特定人物，比如游戏/动漫的人物。平台上lora模型比较多。Hypernetwork模型大小和作用都和LoRa模型差不多，平台上Hypernetwork模型比较少。你只需要在

论文链接：https://arxiv.org/abs/2307.05695代码仓库：https://github.com/guitaricet/peft_pretraining一段时间以来，大模型（LLMs）社区的研究人员开始关注于如何降低训练、微调和推理LLMs所需要的庞大算力，这对于继续推动LLMs在更多的垂直领域中发展和落地具有非常重要的意义。目前这一方向也有很多先驱工作，例如从模型结构上创新的RWKV，直接替换计算量较大的Transformer架构，改用基于RNN范式的新架构。还有一些方法从模型微调阶段入手，例如在原有LLMs中加入参数量较小的Adapter模块来进行微调。还有微软提出

0、前言在读论文时，通道会提到一个“低秩”的概念，于是在粗略研究后记下该篇。1、矩阵与秩我们在线性代数中学习过矩阵的秩，说白了就是非相关性，比如有方程组：{2x+3y=133x+4y=186x+8y=36\begin{cases}2x+3y=13\\3x+4y=18\\6x+8y=36\\\end{cases}⎩⎨⎧​2x+3y=133x+4y=186x+8y=36​我们解方程组的时候就发现，通过方程1和2就能解出来，并且方程3和方程2就是一回事，通过方程2就能表示方程3，所以方程2和3存在相关性，而真正能描述这个方程组的就只有方程1和2。如果用线性代数的矩阵来解方程，将系数写成矩阵，那么矩阵