AMD Completes Acquisition of AI Inference Chip Company Taalas
English text is being prepared.
AMD announced that it has completed its acquisition of Canadian AI inference chip company Taalas and plans to integrate its technology into its accelerator roadmap, developing system-level solutions alongside AMD Instinct GPUs. Taalas seeks to turn AI models into circuitry embedded within chips. Its HC1, released in February this year, is hardware-optimized for Meta's Llama 3.1 8B and, according to the company, can deliver throughput of 17,000 tokens per second for a single user. The architecture trades versatility in adapting to different models for greater inference efficiency.
Why read this
AI score 71
The acquisition brings model-specific hardware into AMD's accelerator roadmap, highlighting chipmakers' trade-off between inference efficiency and versatility.
Topics
Body
芯东西11月18日报道,昨日,AMD宣布完成收购加拿大AI推理芯片公司Taalas。
AMD计划将Taalas的技术整合到其加速器路线图中,并围绕AMD Instinct GPU共同开发系统级解决方案,同时与其更广泛的产品组合形成协同,包括AMD EPYC CPU、AMD ROCm软件以及AMD Helios机架级解决方案。
Taalas成立于2023年,总部在加拿大多伦多,是一家专注做AI推理芯片的半导体企业,与传统GPU通过存储器读取模型权重、再执行计算的方式不同,该公司试图将AI模型直接转化为芯片内部的硬件电路,使模型本身成为计算硬件的一部分。
Taalas联合创始人兼CEO Ljubisa Bajic具备多年的芯片设计经验。2003年至2006年,他任职于加拿大GPU设计公司ATI Technologies,从事芯片设计。2006年ATI Technologies被AMD收购,Ljubisa Bajic随之进入AMD,先后担任ASIC设计经理、IC设计架构师。
2013年,他就职于英伟达,担任高级架构师。在英伟达工作一年之后,Ljubisa Bajic又重新回到AMD。2016年,他创立了美国AI芯片公司Tenstorrent。该公司2023年由知名芯片架构师Jim Keller继任CEO。同年,Ljubisa Bajic创办Taalas。
▲Taalas联合创始人兼CEO Ljubisa Bajic
Taalas的核心产品HC1 Technology Demonstrator于今年2月发布,该芯片采用台积电6nm工艺制造,专门针对Meta的Llama 3.1 8B模型进行硬件优化。
▲Taalas的核心产品HC1 Technology Demonstrator
据该公司披露,HC1在Llama 3.1 8B模型上实现了单用户每秒1.7万个token的处理吞吐量,约是英伟达H200的74倍,约是B200的48倍。
▲多款芯片在Llama 3.1 8B模型上的吞吐数据,图源:Taalas
值得注意的是,AMD在近期已经完成两笔围绕AI产业链的交易,此前,该公司宣布完成对李飞飞创立的World Labs的收购。
Taalas的HC1芯片展现了专用化架构在AI推理领域的性能潜力,但高吞吐量的背后也存在一定局限:其性能优势高度依赖特定模型,难以像通用GPU一样灵活适配不同模型和计算任务。也就是说,Taalas选择以牺牲通用性为代价,换取极致的推理效率。
AMD此次收购Taalas,将其技术纳入自身加速器产品路线图,也表明专用化计算架构正在获得主流芯片厂商的关注。随着大模型持续迭代,AI应用场景不断细分,市场对芯片的需求也不再局限于单一的算力提升,而是进一步延伸至推理速度、能效、部署成本及模型适配能力。
AI Trends