使用自适应手指和合成数据训练的对象检测来抓取杂乱的食物

食品包装行业对自动化的需求不断增长;然而，由于所处理食品类型的显着多样性以及形状和大小的显着差异，阻碍了这一进展。arXiv.org最近的一项研究建议使用模拟中生成的合成数据，使用真实食物的高度逼真的3D模型来训练实例分割模型。

研究人员应用sim2real和域随机化的思想，使经过合成数据训练的模型无需额外训练即可转移到现实世界。这能够避免收集注释的成本和困难。

研究人员还处理食品易碎的问题。他们提出了一种新的自适应手指机制，当它遇到食物表面时会被动缩回，并提出了一种抓取过滤启发式方法，可以过滤可能损坏邻近食物的危险抓取候选物。

食品包装行业处理种类繁多、形状和尺寸各异的食品，即使是在一种食品中也是如此。菜单也多种多样且经常变化，使得拾取和放置的自动化变得困难。一种流行的分箱方法是首先使用实例分割方法识别托盘中的每一块食物。然而，训练这些方法的人工注释是不可靠且容易出错的，因为食物被紧密包装在一起，边界不明确，视觉相似性使得碎片难以分离。为了解决这个问题，我们提出了一种方法，该方法完全基于合成数据进行训练，并使用sim2real方法成功转移到现实世界，方法是使用高质量的真实食物3d模型为训练实例分割模型创建填充食物托盘的数据集。另一个问题是食物在抓取过程中很容易损坏。我们通过引入两种额外的方法来解决这个问题——一种新的自适应手指机制，当发生碰撞时被动缩回，以及一种过滤在抓取过程中可能对相邻食物块造成损坏的抓取的方法。我们证明了所提出的方法在几种真实食物上的有效性。