东锡 NLP 后训练系列第三篇:LoRA 与 QLoRA
后训练文章系列第三篇,关于 LoRA 和 QLoRA
AI 导读
东锡 NLP 后训练文章系列第三篇聚焦 LoRA 和 QLoRA,围绕 rank 秩、low-rank approximation 低秩近似、quantization 量化三个基本概念展开。作者指出这三个概念可以用同一个概念串起来,即矩阵中的 pattern 模式。
查看原帖https://t.co/rXRTou2oBs
查看原文
https://t.co/rXRTou2oBs
正文
后训练文章系列第三篇,关于 LoRA 和 QLoRA
三个重要的基本概念: rank 秩 low-rank approximation 低秩近似 quantization 量化
它们可以用同一个概念串起来,即矩阵中的 pattern模式。 https://t.co/U3dK7Ew3OJ