llama.cpp 现已支持决策模型
Decision models in llama.cpp are now available
AI 导读
llama.cpp 中的决策模型现已可用 最新的 llama 构建中已提供 `/v1/systemone` 端点。用它可以在本地高效、私密地进行 Jev 风格推理。已支持多个开放模型，后续还会有更多。
正文
当前显示原文，中文全文译文尚未就绪。
Decision models in llama.cpp are now available
The `/v1/systemone` endpoint is available in the latest llama builds. Use it to do Jev-style inference locally, efficiently and privately. Multiple open models are supported with more to come.