←News detail

China.com TechnologyUpdated Oct 30 16:34

MacroSAN Showcases at the 2026 Data Storage Industry Conference: Alpha700 Accelerates Large Model Inference with KV Cache Offloading

English text is being prepared.

AI summary

At the 2026 Data Storage Industry Conference, MacroSAN showcased Alpha700 AI-dedicated storage, which alleviates the GPU HBM memory bottleneck through two tiered KV offloading modes: L3.5 low-latency and L4 high-throughput. In real-world testing on the agent platform of a large manufacturing enterprise, the L3.5 solution raised the global KV token hit rate from 38% to 79%, reduced TTFT P50 from 1,200 milliseconds to 520 milliseconds, and cut Agent response time by more than 40%. MacroSAN also participated as a core co-drafting unit in the formulation of two AI storage group standards, including "Artificial Intelligence Storage System Capability Requirements."

Body

10月28日至29日,由中国电子工业标准化技术协会主办、中国电子工业标准化技术协会数据存储专业委员会承办的2026数据存储产业大会在郑州举行。宏杉科技作为专委会2026年度优秀成员单位、AI存储领军企业受邀参会,与政产学研用各界共话AI存储技术创新与产业协同。

标准共建:专项成果集中亮相

当前,AI驱动存储迈入超长周期,产业核心矛盾已从“算力够不够”转向“数据能不能喂饱”,GPU集群因数据等待造成的算力空转问题愈发凸显。

面向新的发展阶段,大会正式发布Future Storage(未来存储)专项研究成果——《AI存储产业高质量发展行动倡议》,系统梳理并呈现AI存储领域的前瞻研究结论与发展路径。

此外,大会重磅发布AI存储领域两项团体标准:《人工智能存储系统能力要求》《大模型推理存储系统技术要求》,并同步启动相关国家标准研制工作,填补了国内AI存储标准体系的空白。

作为核心参编单位,宏杉科技立足大量实践经验,将KV Cache卸载、分级存力、国产算力适配等一线实践反馈至标准编制工作中,助力行业统一技术规范,推动产业兼容互通,为各行业智算基础设施建设提供标准指引。

大会分享:KV卸载突破AI推理显存瓶颈

随着大模型Agent、长上下文业务规模化落地,KV Cache快速挤占GPU HBM显存,形成制约推理并发、拉高业务时延的关键瓶颈。仅靠扩容HBM难以兼顾容量、成本与效率,外部存储由此成为释放推理效能的关键一环。

针对这一难题,宏杉科技AI存储产品总监单东来作《外部存储在KV卸载中的应用实践》主题演讲,分享宏杉Alpha700 AI专用存储加速大模型推理的创新实践。

其核心思路是通过分级KV卸载,让外部存储从“容量承载者”走向“推理加速器”。作为这一思路的落地产品,宏杉Alpha700 AI专用存储可同时支持L3.5低时延卸载与L4高吞吐共享卸载两种模式:前者以DPU、NVMe-oF over RoCE和数据直通实现低时延缓存复用,服务多Agent、多轮调用;后者通过并行文件系统、GDS和RDMA构建共享KV资源池,支撑长上下文AI编程等高吞吐场景。

实践数据显示,在某大型制造企业智能体平台应用中,L3.5方案使全局KV Token命中率由38%提升至79%,TTFT P50由1200毫秒降至520毫秒,Agent响应时间降低40%+;L4方案使命中率由22%提升至91%,代码生成时间降低45%+,引发现场参会嘉宾热烈探讨。

在技术路径创新的基础上,宏杉科技面向国产智算生态持续拓展,携手海光信息打造 “Alpha700+海光DCU加速卡”AI存储解决方案:Alpha700依托内置并行文件系统与MSCache KV缓存调度能力,搭建PB级共享缓存池,有效提升缓存命中率,减少重复计算;海光DCU凭借大显存、高吞吐算力支撑推理算力负载。二者协同优化,可显著降低首Token时延,大幅提升推理并发与吞吐效率。

该联合方案深度适配DeepSeek、通义千问等主流大模型,开箱即用,可为智算平台、智能风控、智能客服等场景提供自主可控、极致稳定的存力底座,支撑各行业AI应用高效落地。

从产品创新到标准共建,宏杉科技持续深化产业影响力。未来,宏杉科技将继续携手产业链上下游伙伴,加速推进存算深度融合,助力千行百业迈向数智共生的崭新未来。

Source

China.com Technology