多眼ビジョンによるトラッキング

multivision1

食肉のカット作業では,ロボットツールにナイフを把持させ,骨と肉の間に沿って切断を行います.

このような複雑な加工工程を実現するためには,加工前にワークを撮像・センシングし,外形および内部構造の情報を正確に把握する必要があります.

一方で,加工中にはロボットアームがワークに接近するため、大きな死角が生じ、安定した撮像が困難になります.

multivision02

本研究では,複数の3D/2Dカメラを用いて異なる方向からワークの撮像を行う撮像系を構築しました.

複数視点から得られた情報を統合することで,ロボットアームによって生じる死角を相互に補完し,より完全な視覚情報の取得を可能にします.

multivision02

さらに,取得したデータから肉領域の点群のみを抽出し,ワークを模した物理モデルを観測点群に合わせこむことで,欠損部の補完を行います.
これにより,ワークの姿勢および形状を高精度に推定することが可能となります.

骨モデルを用いた位置姿勢形状推定

bonemodel01

前川製作所で開発している自動除骨システムでは,エックス線画像や三次元外形データを取得することにより,個体差のある豚肉の除骨作業を自動化していますが,さらなる処理精度の向上のため,立体的かつ高精度な骨位置認識技術が求められています.

bonemodel02

そこで,本研究では,複数の豚肉のCTデータの解析によって得られた特徴的な個体差に基づいて変形する,三次元標準⾻モデルを作成しました.

bonemodel02

そして,実際の豚肉のエックス線画像と,コンピュータ上で生成した三次元標準骨モデルの擬似エックス線画像との類似度が最大になるよう,最適化手法を用いて三次元標準骨モデルの位置・姿勢・形状を更新することにより,実際の骨の三次元位置を高精度に推定します.