Mistral OCR:面向复杂文档理解的多语言多模态 OCR
Mistral AI 的 Mistral OCR 可解析图像和 PDF 中的文本、图片、表格及公式,但该模型现已停止维护,并由更强的新款 OCR 模型取代。其 API 曾以 mistral-ocr-latest 提供,价格为每美元 1000 页,单节点处理速度最高可达每分钟 2000 页,并支持结构化输出及选择性自托管。

#模型发布#多模态#RAG
Mistral AI 的 Mistral OCR 可解析图像和 PDF 中的文本、图片、表格及公式,但该模型现已停止维护,并由更强的新款 OCR 模型取代。其 API 曾以 mistral-ocr-latest 提供,价格为每美元 1000 页,单节点处理速度最高可达每分钟 2000 页,并支持结构化输出及选择性自托管。

#模型发布#多模态#RAG
Cartesia 发布 Llamba-1B、3B、8B 模型,采用 MOHAWK 架构蒸馏方法将 Llama-3.X 转换为 Mamba-2 架构,训练数据量比从头预训练少 1000 倍。Llamba-8B 在 NVIDIA H100 上生成 8192 tokens 时吞吐量比 Llama-3.1-8B 高 12 倍,并已针对 Apple Silicon 和 MLX 框架优化。

#模型发布#开源/仓库#端侧
Anthropic 发布 Claude 3.7 Sonnet,这是其首个混合推理模型,可在标准模式与扩展思考模式间切换,API 用户可控制思考 token 预算。模型定价与上一代相同,为每百万输入 token 3 美元、每百万输出 token 15 美元(含思考 token),已在所有 Claude 套餐及 Amazon Bedrock、Google Cloud Vertex AI 上线。同时推出终端智能编码工具 Claude Code 研究预览版,可搜索和阅读代码、编辑文件、运行测试并提交到 GitHub。
#模型发布#推理#编码
Mistral AI 发布 24B 参数区域语言模型 Mistral Saba,面向中东和南亚,支持阿拉伯语及多种印度语言,尤其擅长泰米尔语。该模型可通过 API 使用,也可在客户安全环境内以单 GPU 本地部署,响应速度超过 150 tokens per second。Mistral AI 称其回答比参数量超过其 5 倍的模型更准确、更相关,同时速度更快、成本更低。

#模型发布#数据/训练#部署/工程
Zyphra 发布 Zonos-v0.1 beta,包含两款 1.6B 文本转语音模型,分别为 transformer 和 SSM hybrid,均以 Apache 2.0 许可开源,权重已上线 Hugging Face,推理示例代码在 GitHub。模型基于约 20 万小时语音数据训练,支持 5 至 30 秒音频的高保真语音克隆,可调节语速、音高、音质和情绪,原生输出 44KHz 音频。Zyphra 称其生成质量可媲美或超过领先的闭源 TTS 模型,并给出 API 每分钟 0.02 美元的定价。

#模型发布#语音#开源生态
Mistral AI 发布延迟优化的 24B 参数模型 Mistral Small 3,并以 Apache 2.0 许可开放预训练和指令微调检查点。官方称其 MMLU 准确率超过 81%、推理速度达 150 tokens/s,与 Llama 3.3 70B instruct 表现相当且在同一硬件上快 3x 以上。量化后可在单张 RTX 4090 或配备 32GB RAM 的 Macbook 上本地运行,并已通过 la Plateforme 及合作平台提供。

#模型发布#部署/工程#开源生态
Gemini 2.0 Flash Thinking 根据用户建议进行了一次实验性更新。原文未说明更新内容、可用性或具体变化。
#产品更新#推理
#产品更新#推理#多模态
USC、Prime Intellect 与 Nucleic Acid Observatory 合作发布 7B 参数自回归 Transformer 宏基因组基础模型 METAGENE-1,在超过 1.5 万亿碱基对的污水宏基因组 DNA 与 RNA 序列上预训练,用于疫情监测、病原体检测和新兴健康威胁的早期发现。模型采用针对宏基因组序列的 BPE 分词,在病原体检测和宏基因组嵌入基准上取得 SOTA,并演示了病原体与异常检测场景。团队称其 512 token 上下文长度限制了复杂序列设计任务,当前版本风险较低,但未来更大模型开源前需严格安全评估。

#模型发布#数据/训练#开源生态
Answer.AI 与 LightOn 发布 ModernBERT,一个编码器专用模型系列,提供 base(149M 参数)和 large(395M 参数)两个版本,可作为 BERT 类模型的直接替换。它把上下文长度从多数编码器的 512 提升到 8192 token,并首次在编码器训练数据中加入大量代码,在检索、自然语言理解和代码检索任务上整体优于主流模型,速度最高可达 DeBERTa 的 4 倍。模型将随 transformers v4.48.0 发布,在此之前需从 main 分支安装,官方建议搭配 Flash Attention 2 使用。

#模型发布#开源生态#数据/训练
Prime Intellect 发布 INTELLECT-1,称其为首个在全球范围内协作训练的 10B 参数语言模型,规模是此前研究的 10 倍。该模型基于 Llama-3 架构,在 5 个国家、3 大洲的最多 112 张 H100 上训练 1T token,跨洲算力利用率 83%,全美范围内为 96%。团队同时开源基础模型、中间 checkpoint、后训练模型、预训练数据集以及 PRIME 分布式训练框架。

#模型发布#数据/训练#开源生态
Cartesia 发布 Voice Changer 模型,可将任意音频片段的声音替换为其他音色,同时保留原始的语气、情感和韵律。用户可从其录音棚级音色库中选择,或克隆自己的声音,并控制发声、情感和韵律等细节。该模型基于 Cartesia 在状态空间模型(SSM,如 S4 和 Mamba)上的工作,已在 playground 上线,可通过上传文件、选择音色、生成音频三步使用。

#产品更新#语音#模型发布
Zyphra 发布 7B 规模小语言模型 Zamba2-7B,采用 Mamba2 与两个共享注意力块交替的混合架构,并以 Apache 2.0 开源权重。官方称其在评测基准上超过 Mistral-7B、Gemma-7B 和 Llama3-8B,首 token 时间快 25%、每秒 token 数提升 20%,内存占用也明显降低。模型基于 3 万亿 token 预训练数据,并在 128 张 H100 上训练约 50 天。

#模型发布#开源生态#推理
Cartesia 宣布端侧智能首个里程碑,发布开源库 Edge、1.3B 参数 SSM 语言模型 Rene,以及支持低延迟实时流式生成的 Sonic On-Device 私有测试版。Rene 采用 Mamba-2 混合架构,在多项基准上表现与同级 SOTA 小模型相当,Edge 已支持 Apple MLX 和量化推理。

#产品更新#开源/仓库#端侧
Zyphra 发布 1.2B 小语言模型 Zamba2-mini,称其达到 Llama2 7B 级别的性能,4bit 量化下内存占用不足 700MB,并以 Apache 2.0 协议开源模型权重。该模型采用 Mamba2 与共享注意力层交替的混合架构,相比 Phi1.5-1.3B 首 token 时间快 1.67 倍、内存开销降低 23.3%。模型在约 3T token 的 Zyda 及公开数据集上预训练,并在 100B 高质量 token 上退火,已提供 Hugging Face 集成与纯 PyTorch 实现。

#模型发布#开源生态#端侧
Zyphra 发布 Zamba2-small,一个面向端侧应用的 2.7B 小语言模型,权重以 Apache 2.0 开源。该模型将 Zamba-7B 的 Mamba1 块替换为 Mamba2 块,并采用两个 ABAB 交错共享注意力块,对每个共享 MLP 块应用 LoRA projector。相比 Phi3-3.8B,其首 token 时间快 2 倍、内存开销降低 27%、生成延迟低 1.29 倍,并保持 3-4B 稠密 Transformer 的质量而只需 1-2B 的推理算力与内存。

#模型发布#端侧#开源生态
Google Gemma 2 已在 Ollama 上线,提供 2B、9B 和 27B 三个参数尺寸,采用全新架构。Ollama 给出的运行命令为 ollama run gemma2:2b、ollama run gemma2 和 ollama run gemma2:27b,并可与 LangChain、LlamaIndex 等工具配合使用。原文称 27B 版本在基准测试中性能超过参数量两倍于它的模型。
#模型发布#Google#开源生态
Anthropic 发布 Claude 3.5 Sonnet,在 GPQA、MMLU、HumanEval 等基准上超越 Claude 3 Opus,速度提升 2 倍,并推出 Artifacts 功能。

#模型发布#Anthropic#OpenAI
Cartesia 发布低延迟语音模型 Sonic,模型延迟为 135ms,可生成逼真语音。该模型基于状态空间模型架构,在实验中相比 Transformer 实现将时间到首音频延迟降低 1.5 倍、实时因子降低 2 倍、吞吐量提高 4 倍,并提供 Web playground 和低延迟 API。

#模型发布#语音#多模态
OpenAI 将 GPT-4o 免费提供给 ChatGPT 用户,并推出具有人类级响应速度和表现力的新语音及视频模式。Sam Altman 表示,这种交互快速、自然且实用,未来还将加入可选的个性化、信息访问和代用户执行操作等能力。
#模型发布#多模态#语音