←新闻详情

马东锡 NLP更新于 10月25日 23:41

东锡 NLP 后训练系列第三篇:LoRA 与 QLoRA

后训练文章系列第三篇,关于 LoRA 和 QLoRA

AI 导读

东锡 NLP 后训练文章系列第三篇聚焦 LoRA 和 QLoRA,围绕 rank 秩、low-rank approximation 低秩近似、quantization 量化三个基本概念展开。作者指出这三个概念可以用同一个概念串起来,即矩阵中的 pattern 模式。

引用

Dongxi 东锡 NLP

@dongxi_nlp

https://t.co/rXRTou2oBs

查看原文

https://t.co/rXRTou2oBs

查看原帖

正文

后训练文章系列第三篇,关于 LoRA 和 QLoRA

三个重要的基本概念: rank 秩 low-rank approximation 低秩近似 quantization 量化

它们可以用同一个概念串起来,即矩阵中的 pattern模式。 https://t.co/U3dK7Ew3OJ

来源

马东锡 NLP