←News detail

36Kr · AIUpdated Nov 3 08:52

From Nvidia to Pika, Why Silicon Valley Companies Build on MiniMax H3

English text is being prepared.

AI summary

After MiniMax opened the weights of its multimodal model H3 in August this year, Nvidia's research team released Open-H3-Regenerate-2K based on H3, Pika launched the post-trained version H3 Flex on October 29, and fal trained H3 Max. The article states that within one month of H3's open-sourcing, downloads exceeded 24 million, spawning more than 300 public models, and in September it ranked first on the Arena image-to-video leaderboard with a score of 1495. The author argues that open weights turn partners into nodes through which model vendors enter more industries, and cites the H3 community license agreement, noting that commercial products or services with annual revenue exceeding $20 million must obtain prior written authorization from MiniMax.

Why read this

AI score 59

Starting from teams such as Nvidia and Pika building on H3, this article examines how open-weight models become the foundation for enterprise customization and commercialization.

Topics

Tags

Body

一家中国 AI 公司,用英伟达的 GPU、参考硅谷的技术路线,训练出了自己的视频大模型,恐怕没有多少人会感到意外。

但如果反过来呢?

全球领先的 GPU 巨头英伟达研究团队少见地选择了一家中国公司的开源多模态模型,投入人力、时间,开发一个视频生成模型。这就有点意思了。

从创业公司到英伟达, H3 为何被选中?

今年 8 月,MiniMax 开放了多模态模型 H3 的权重。这款模型能统一理解文字、图片、音频、视频等多种类型的素材,并兼顾生成质量、速度和成本。从技术生态角度看,开放模型权重使外部团队能够直接参与后训练、蒸馏和推理优化,拓展了其参与模型研发的方式。开源一个月内,H3 下载量超过 2400 万次,有 300 多个基于它开发的公开衍生模型。

最先被吸引的是视频生成公司。它们的客户大多用视频生成模型做广告、营销素材,在乎生成速度、产品和人物的一致性。技术演示再绚烂,到了商业生产现场,客户关心的往往是更现实的问题:商品包装上的字会不会变形?同一个角色换了镜头还能不能保持原样?修改一段广告,是否需要重新生成整条视频?如果要批量制作上千条短视频,时间和成本能否承受?这些问题决定了 AI 视频究竟是一项令人惊叹的技术,还是一门真正能够规模化运转的生意。

行业竞争激烈,这些视频生成公司有动力按照客户需求更针对性调整模型。

生成式媒体基础设施公司 fal 从这些需求出发,以 MiniMax H3 为基础训练 H3 Max,并围绕模型优化推理系统,目标是生成速度更快。视频生成公司 Pika 希望更符合平台上的专业创作者的需求,10 月 29 日,它发布基于 H3 后训练的 H3 Flex,压缩了生成步骤。

有些令人意外的是,和这些垂直行业中的公司不同,英伟达正基于 H3 再开发视频生成模型。 10 月下旬,英伟达相关研究团队基于 H3 发布 Open-H3-Regenerate-2K,先用 H3 生成低分辨率的草稿,再通过额外训练的精修模块和三步去噪重生成高分辨率视频。项目保留了 H3 的原始权重。

英伟达极少在多模态模型上投入如此多的资源,但对 H3 进行了系统性开发。

此前,他们推出 StreamRender-H3 流媒体视频渲染方案和快速视频解码器,分别探索交互式生成和解码加速;推理优化项目则在保持 H3 模型权重、提示词及生成配置不变的情况下,改进生成流程。

视频生成公司和英伟达这类全球巨头对模型的应用场景不同,但选择基座模型的标准都很高:既能处理复杂的多模态输入和视频生成任务,也开放权重,允许研究人员在本地运行模型、增加精修模块或改造推理流程。一个模型即便完全开放,如果生成质量不够好、架构难以扩展,或者无法适应新的训练任务,也很难成为继续研发的基础。

符合这一标准的多模态模型并不多,H3 的性能和延展性让它屡被选择。今年 9 月,H3 在 Arena 图生视频榜单中以 1495 分位列第一,累计获得超过 5.7 万次评测投票。

但英伟达的目标可能不止于此。它擅长并敢于在新技术初期投入并培育生态,例子之一是 CUDA :通过资源倾斜和商务手段,让开发者围绕英伟达 GPU 构建应用,形成了高壁垒的软件生态。

多模态模型领域也许是下一个 CUDA 类的机会:围绕 H3 做推理加速和生成应用,让更多视频模型和开发者进入 NVIDIA 技术栈。英伟达看好的不只是视频生成市场,也包括它背后的生态和算力需求。

开源生态中,合作方也是进入更大市场的“节点”

头部企业把视频模型接进生产流程,面对的要求各不相同,同一家企业也会随业务变化提出新需求。模型厂商如果逐一满足这些要求,还要持续维护和更新,成本会不断增加。

视频生成平台 Runway 调研发现,一些企业客户希望直接拥有模型权重,在自己的环境里部署模型,再用自有数据微调。风险投资机构 a16z 对企业 AI 负责人的访谈也提到,控制权和针对具体业务定制是企业选择开放模型的重要原因。它在报告中也指出,企业越来越重视开放模型,不仅是因为价格,还因为它们可以根据自身数据进行微调。

开放权重的模型提供了一种新的解法。开放权重让头部企业有条件把模型放进自己的生产系统。它们可以围绕已有客户需求调整模型,再通过自己的平台、产品和服务将能力交付出去。

这指向的是远超一家公司能服务的广阔市场。这些合作方各自连接着客户、平台和工作流。对 MiniMax 等模型和产品厂商来说,合作方可能成为进入更多行业的节点。当 H3 随合作方的产品进入更多客户和场景,MiniMax 也能持续拓展自身的行业应用,让更多熟悉垂直场景的技术团队参与进来,在 H3 已有能力的基础上进行针对性优化,共同推动视频生成技术在不同领域的落地。

这也是开源生态中特有的商业化方式。MiniMax 可以借助这些作为“节点”的重要公司,通过授权、部署支持或联合开发等方式扩大收入来源。

这是已经被多个行业验证过的商业路径。智能驾驶芯片与算法公司地平线开放 BPU 芯片 IP 和感知算法授权,也提供芯片、工具链、解决方案及联合开发,车企和合作伙伴可以据此构建差异化产品,这不仅扩大了这家公司的“朋友圈”和影响力,也直接支撑了它的商业化。

根据《MiniMax H3 Community License Agreement》,协议在适用地域内授予免版税的有限许可,允许用户按条款使用、修改模型并开发衍生模型;若使用 H3 的商业产品或服务年收入超过 2000 万美元,须事先取得 MiniMax 的书面授权。

随着生态进一步活跃,MiniMax H3 的商业化也正快速发展。

当视频生成从偶尔尝试的创作工具变成企业生产链上的新环节,广告、电商、影视、游戏和教育等直接相关行业和更广阔的领域,会各自催生新的工具与服务。开放权重让 H3 成为这些团队共同改造的底座,也让 MiniMax 有机会沿着合作方的产品进入更多行业。

这呼应了 MiniMax 一直讲的那句使命“Intelligence with Everyone”:AI 的发展不只是少数模型公司持续推出更强的版本,更多开发者、更多公司也会是这场技术创新浪潮的节点,每个人都是新技术的使用者,也是浪潮的推动者。

对一家商业公司来说,更重要的是市场或许会重新评估一个开源模型的商业价值:除了 API 收入,当一个模型能成为企业定制、部署和产品开发的底座,进入更多行业的工作流,带动授权、技术服务和联合开发等收入,它的商业潜力也许比想象中更大。

本文来自微信公众号“AI前线”(ID:ai-front),作者:冬梅,36氪经授权发布。

Source

36Kr · AI