先了解这件事
AI 综述
Intel于10月16日发布Intel Inference Microservice,这是一款面向Xeon服务器CPU的容器化AI推理软件,目标是最大化CPU上的AI推理性能,并可快速为CPU优化大语言模型。报道称,该软件启动时会检测Intel处理器并套用预先验证调优的推理设置,默认推理引擎为开源vLLM,同时支持OpenAI SDK、LangChain、LlamaIndex、LiteLLM和Haystack等框架。Intel还计划将支持扩展到其全部GPU产品线,包括面向AI推理的D系列GPU。目前该事件仅有上述发布信息,尚无后续进展的合格事实证据。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：The Elec
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月18日
The Elec
Intel 发布面向 Xeon CPU 的 AI 推理软件 Intel Inference Microservice
Intel 于 10 月 16 日发布 Intel Inference Microservice，这款容器化软件用于在 Xeon 服务器 CPU 上最大化 AI 推理性能，可快速为 CPU 优化 LLM。软件启动时会检测 Intel 处理器并套用预先验证调优的推理设置，默认推理引擎为开源 vLLM，并支持 OpenAI SDK、LangChain、LlamaIndex、LiteLLM 和 Haystack 等框架。Intel 计划将支持扩展到其全部 GPU 产品线，包括面向 AI 推理的 D 系列 GPU。