Property Finder 修正评测偏差,在 Bedrock 选出成本降 86% 的模型
先了解这件事
房地产平台 Property Finder 发现,其模型评估所用的标签中有 96.8% 直接沿用了现有视觉语言模型的预测,并未经过人工核验,这使任何替代模型在比较中都结构性处于劣势。团队随后改由具备房地产领域知识的专家独立标注 356 张阿联酋图片,并将单标签分类改为多标签分类,以消除人为歧义。 在标注数据中,前 256 张作为调优开发集。团队通过从 v0 到 v27 的提示词优化循环,用 Micro F1 对这批专家标注数据评分,并做错误分析来迭代提示词。最终在 Amazon Bedrock 上选出的方案准确率更高,成本降低 86%。 Property Finder 每天处理中东和北非地区数万张房产图片,每张图片评估水印检测、房间分类、装修状态、照片质量和施工迹象等 11 项质量属性。另有 230 张埃及图片用于跨区域检查,其结果未在报道中给出。86% 的成本降幅是截至 2025 年 12 月美国东部(俄亥俄)区域的估算值。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- AWS Machine Learning BlogProperty Finder 如何修复评估偏差,在 Amazon Bedrock 上选出更优模型
Property Finder 发现其评估标签中 96.8% 直接沿用了现有视觉语言模型的预测而非人工核验,导致任何替代模型在比较中结构性处于劣势。团队改为由具备房地产领域知识的专家独立标注 356 张 UAE 图片,其中前 256 张作为调优开发集,并将单标签分类改为多标签分类以消除人为歧义。随后通过从 v0 到 v27 的提示词优化循环,以 Micro F1 对 256 张专家标注开发集评分并做错误分析迭代提示词。最终在 Amazon Bedrock 上选出更高准确率且成本降低 86% 的方案。Property Finder 每天处理中东和北非地区数万张房产图片,每张评估水印检测、房间分类、装修状态、照片质量和施工迹象等 11 项质量属性。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。