←新闻详情

Unsloth更新于 10月17日 08:29

Unsloth 适配 NVIDIA RTX Spark,可在笔记本本地运行和训练 120B+ 参数模型

You can now run and train 120B+ parameter models locally on a laptop! NVIDIA RTX Spark is here. 💚

AI 导读

Unsloth 宣布适配 NVIDIA RTX Spark,可在笔记本上本地运行和训练 120B+ 参数模型。借助针对 ARM 平台 CUDA 优化的 kernel 和二进制文件,训练扩散模型、决策模型和多模态模型的速度提升约 2.7 倍,全部在本地完成,统一内存最高 128GB。

推荐理由

精选AI 评分 67

Unsloth 与 NVIDIA RTX Spark 的适配给出了本地训练大模型的显存上限和加速幅度,可据此判断笔记本端侧训练的实际边界。

主题

标签

引用

NVIDIA RTX Spark

@NVIDIARTXSpark

NVIDIA RTX Spark is here. Build AI locally, bring your creative ideas to life, and take your favorite games along. A new beginning for @Windows PCs starts today. https://t.co/AnHwfLIedb

查看原帖

正文

当前显示原文,中文全文译文尚未就绪。

You can now run and train 120B+ parameter models locally on a laptop! NVIDIA RTX Spark is here. 💚

With Unsloth and RTX Spark, train diffusion, decision, multimodal models ~2.7× faster with optimized kernels and binaries for CUDA on ARM. All local with up to 128GB unified memory https://t.co/fgk5uiHL5h

来源

Unsloth