大界与同济让AI认出钢结构节点里的每个构件,准确率84.1%

大界机器人与同济大学赵宪忠团队在《Automation in Construction》发表研究:用多视角识别加图神经网络,从钢结构节点三维模型中识别独立构件并建立连接关系,在覆盖101类节点族、1058个参数化模型、20类构件的数据集上,构件级识别准确率84.1%,宏平均F1为79.7%。

大界机器人前瞻团队与同济大学赵宪忠教授团队合作的一项研究,发表在建筑自动化领域期刊《Automation in Construction》上。研究提出一种结合多视角识别与图神经网络的方法,从钢结构节点的三维模型里自动认出每一个独立构件,并建立构件之间的连接关系。在论文的测试设置下,构件级识别准确率为84.1%。

这件事要解决的是机器人「看懂」加工对象的问题。一个钢结构梁柱节点里有梁、柱、连接板、加劲肋等多个零件,它们紧贴在一起、互相遮挡,有些薄板外形还很相似。传统三维模型记录了形状,却不一定标注每个构件是什么、和谁相连。大界的比喻是,有了零件的「合影」,缺一份说明「谁是谁、谁与谁相连」的结构档案。对焊接机器人自主规划、结构检索和自动设计来说,这些关系信息是前提。

先认构件,再读关系

方法分三步:多视角识别、三维映射、图关系编码。

第一步,让算法从不同角度观察同一个节点,利用表面法线等几何信息,在图像里识别梁、柱和板件。正面被挡住的部位,从侧面可能看得清。第二步,把各个视角的识别结果映射回三维表面,综合判断后恢复出独立构件。

从原始几何、多视角分割到三维构件识别
从原始几何、多视角分割到三维构件识别。图源:论文Fig. 9,经大界机器人公众号

第三步,把每个构件当作图里的一个节点,把接触、连接、相对位置和姿态当作边,孤立的几何零件就组织成一张结构关系网。图神经网络再利用相邻构件之间的关系,修正一部分容易混淆的小型板件。

利用构件关系优化初步识别结果
利用构件关系图修正初步识别结果。图源:论文Fig. 11,经大界机器人公众号

数据集与结果

为了验证方法,团队建了一个钢结构节点数据集,覆盖101类节点族、1058个参数化设计模型,构件分为20类。

钢结构节点数据集及20类构件示例
研究构建的钢结构节点数据集及20类构件示例。图源:论文Fig. 3,经大界机器人公众号

只用多视角识别时,构件级识别准确率是82.8%;加入包含几何与连接属性的图关系优化后,提高到84.1%,宏平均F1值从78.0%升到79.7%。论文还演示了三种用法:基于构件关系图检索相似的设计案例、预测装配连接,以及在模拟扫描场景里识别构件。

大界为什么做这个

大界把这项研究归入它的「金属世界模型」方向:让机器理解金属构件的几何结构、连接关系、材料特性和加工工艺,为工艺规划和机器人自主作业打基础。它的主业是钢结构焊接机器人,今年4月官网发布过与振华重工合作的小组件柔性焊接机器人投产消息。

焊接机器人作业场景
钢结构焊接作业场景。图源:大界机器人公众号

大界在文中也提到了边界:识别构件和关系只是起点,金属世界模型还要融合材料特性和物理规律,钢板厚度、装配间隙、焊接热变形都会影响最终质量。84.1%是在参数化模型数据集上的测试结果,放到真实工厂的扫描数据上表现如何,还要看后续的应用。

资料来源

本文为 AI4ELAB 编辑或原创,作者:秦明。转载请注明出处:https://ai4elab.com/11224.html

赞 (0)
秦明的头像秦明

发表回复

登录后才能评论
联系我们
加入社群