如何运行 Underdog Saluki 27B:2-bit Qwen3.8-27B 工具调用指南
Underdog Saluki 27B 是 Qwen3.8-27B 的 7.9 GB 量化版本,据其开发者称在约 2 bit 每权重下仍保持工具调用能力,并在其自建的 120 项基准上略胜完整的 54 GB 模型。教程将 Saluki 与 ISTA-DASLab 的 GSQ-RCO 量化版并排放入原生 llama.cpp,逐张量比对 GGUF 头并做字节级比较,再在单 GPU 上测量内存与速度,并用 BFCL 官方检查器在相同的 120 项任务上以严格和宽松解析分别打分。
assert ok return f"llama.cpp {LLAMA TAG};Saluki 7.90 GB 和 ISTA IQ2 XS 8.42 GB 已通过 SHA-256 验证" download step() 我们下载 llama.cpp b11565 的 CUDA 构建、两个 2-bit 文件以及 BFCL 数据,并逐字节对照其固定值进行校验。Hugging Face 的下载支持断点续传,哈希采用固定修订版本下 Hub 自身的 LFS 摘要,因此若文件被悄悄替换,笔记本会直接停止,而不会改变其结果。BFCL 的任务文件、答案文件和检查器代码均来自同一个 gorilla 提交。该单元格会打印下载耗时,这是 Colab 上整个运行中最慢的部分。 复制代码已复制使用其他浏览器 GGML TYPES = {0: ("F32", 1, 4), 1: ("F16", 1, 2), 8: ("Q8 0", 32, 34), 10: ("Q2 K", 256, 84), 12: ("Q4 K", 256, 144), 16: ("IQ2 XXS", 256, 66), 17: ("IQ2
匹配字段正文



