大界机器人前瞻团队与同济大学赵宪忠教授团队合作的一项研究,发表在建筑自动化领域期刊《Automation in Construction》上。研究提出一种结合多视角识别与图神经网络的方法,从钢结构节点的三维模型里自动认出每一个独立构件,并建立构件之间的连接关系。在论文的测试设置下,构件级识别准确率为84.1%。
这件事要解决的是机器人「看懂」加工对象的问题。一个钢结构梁柱节点里有梁、柱、连接板、加劲肋等多个零件,它们紧贴在一起、互相遮挡,有些薄板外形还很相似。传统三维模型记录了形状,却不一定标注每个构件是什么、和谁相连。大界的比喻是,有了零件的「合影」,缺一份说明「谁是谁、谁与谁相连」的结构档案。对焊接机器人自主规划、结构检索和自动设计来说,这些关系信息是前提。
先认构件,再读关系
方法分三步:多视角识别、三维映射、图关系编码。
第一步,让算法从不同角度观察同一个节点,利用表面法线等几何信息,在图像里识别梁、柱和板件。正面被挡住的部位,从侧面可能看得清。第二步,把各个视角的识别结果映射回三维表面,综合判断后恢复出独立构件。

第三步,把每个构件当作图里的一个节点,把接触、连接、相对位置和姿态当作边,孤立的几何零件就组织成一张结构关系网。图神经网络再利用相邻构件之间的关系,修正一部分容易混淆的小型板件。

数据集与结果
为了验证方法,团队建了一个钢结构节点数据集,覆盖101类节点族、1058个参数化设计模型,构件分为20类。

只用多视角识别时,构件级识别准确率是82.8%;加入包含几何与连接属性的图关系优化后,提高到84.1%,宏平均F1值从78.0%升到79.7%。论文还演示了三种用法:基于构件关系图检索相似的设计案例、预测装配连接,以及在模拟扫描场景里识别构件。
大界为什么做这个
大界把这项研究归入它的「金属世界模型」方向:让机器理解金属构件的几何结构、连接关系、材料特性和加工工艺,为工艺规划和机器人自主作业打基础。它的主业是钢结构焊接机器人,今年4月官网发布过与振华重工合作的小组件柔性焊接机器人投产消息。

大界在文中也提到了边界:识别构件和关系只是起点,金属世界模型还要融合材料特性和物理规律,钢板厚度、装配间隙、焊接热变形都会影响最终质量。84.1%是在参数化模型数据集上的测试结果,放到真实工厂的扫描数据上表现如何,还要看后续的应用。
资料来源
本文为 AI4ELAB 编辑或原创,作者:秦明。转载请注明出处:https://ai4elab.com/11224.html