InspectMind测模型:Opus漏检,Fable 5.2检出

美国AI审图公司InspectMind AI联创兼CEO Aakash Prasad在领英披露模型对比:加州住宅项目的抗震问题躲过设计方、城市审图员和施工方三双眼睛,盖到一半才发现。Opus漏检,Fable 5.2检出。他的判断:好人也会漏看,发现时机决定代价,模型迭代太快,要先在真实工程上做基准。

美国AI审图公司InspectMind AI的联创兼CEO Aakash Prasad在领英上拿一个真实项目做模型对比。加州一个住宅项目的抗震问题,躲过了三双眼睛。

领英原帖中文译文
领英原帖中文截图,中文为领英自动翻译。图源:LinkedIn

领英原帖中文译文
领英原帖中文截图,中文为领英自动翻译。图源:LinkedIn

领英原帖中文译文
领英原帖中文截图,中文为领英自动翻译。图源:LinkedIn

躲过的是设计它的工程公司,批图纸的城市审图员,还有施工方——施工方直到房子盖到一半才发现。

一道已知答案的基准题

Prasad说,他们一直在拿真实项目测新出的AI模型。抗震问题这个案例特别适合当基准,因为正确答案已经知道了。

结果分成两半:Opus漏检,Fable 5.2检出来了。

两个模型,一个漏一个抓,本身就是结论。更值得看的是为什么这件事能测。答案已知、缺陷真实、代价已经付过了——这是个难得的干净样本。

好人也会漏看,时机决定代价

他的第一点判断是,好人也会漏看。那位工程师和审图员未必粗心,他们在截止日期的压力下审复杂图纸,总有一些问题会滑过去。

这句话值得多说一句。审图在国内也一样,一套图几百张,一个项目能出几千条意见,漏一条的代价又不小。漏看通常不是能力问题,是时间问题。

第二点是时机。设计阶段抓到,就是一条红线;盖到一半才抓到,可能是拆改、返工和被拖长的工期。同样一条抗震问题,红线改的是一行纸,工地里挖开的可能已经浇好的构件。

多一双眼

第三点跟模型迭代速度有关。Prasad说模型进步快得离谱,一个模型漏掉的,另一个可能就抓得住,所以新模型交给客户之前,他们先拿真实工程项目做基准测试。

他最后说,AI不会替代工程师和审图员,它只是多一双眼,在问题变成昂贵错误之前把它抓住。

国内做审图AI的团队常被问到一个问题:模型和审图员比,到底谁更靠谱。这条帖子给的答案不算终极,但它把问题从准不准挪到了准不准加上早晚。设计阶段漏一条和施工阶段漏一条,同样是漏,代价差着量级。所以模型评测光看召回不够,还得看它在项目的哪个阶段出手。接下来我会盯两件事:这类真实工程缺陷的基准集会不会被公开,以及国产模型在同题上的表现。

资料来源

本文为 AI4ELAB 编辑或原创,作者:Connor 秦明。转载请注明出处:https://ai4elab.com/13277.html

赞 (0)
Connor 秦明的头像Connor 秦明

发表回复

登录后才能评论
联系我们
加入社群