先了解这件事
AI 综述
Property Finder 在 Amazon Bedrock 上选用 Llama 4 Maverick 17B Instruct。AWS Machine Learning 发布的文章披露,Property Finder 发现其评估标签中 96.8% 直接来自现有视觉语言模型的预测而非人工核验,导致任何替代模型在对比中结构性吃亏。团队重新人工标注 356 张 UAE 图片并改用多标签分类,再通过 v0 到 v27 的提示词迭代优化在 Amazon Bedrock 上选型,最终实现准确率提升且成本降低 86%。
AI 根据公开报道生成
最新进展 · 正式报道
修复评估偏差,在 Amazon Bedrock 上选出更好的模型事件进展
1 个已确认进展
- 来源:AWS Machine Learning
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
10月28日
AWS Machine Learning一手
修复评估偏差,在 Amazon Bedrock 上选出更好的模型
Property Finder 发现其评估标签中 96.8% 直接来自现有视觉语言模型的预测而非人工核验,导致任何替代模型在对比中结构性吃亏。团队重新人工标注 356 张 UAE 图片并改用多标签分类,再通过 v0 到 v27 的提示词迭代优化在 Amazon Bedrock 上选型,最终实现准确率提升且成本降低 86%。