多眼ビジョンロボット

近年,未知環境において作業する知能ロボットの開発が進んでいるが,作業速度については人間に比較すると非常に遅い。これは視覚認識が不十分であるためである。図1-1(a)は双腕作業の例であるが、上部のカメラだけでは,ロボットの身体によって覆い隠されてしまう自己オクルージョンが発生する。これを回避するためには、カメラの位置を移動するか、ロボットをいったん視野外に避ける必要があるが、作業速度が大幅に遅れてしまう。 人間には皮膚や関節の柔らかさがあるので衝突の衝撃を吸収できるが、金属部品が多くて重く、機械的コンプライアンスが低いロボットでは衝突の危険性が格段に大きい。近年,ソフトロボットの研究が進んではいるが,高速高精度ロボットでは重量と剛性はいまだに大きい。以上より、高速作業では、接触する前に周辺の環境認識をいかに行うかがカギとなる。 そこで本研究では,図1-1(b)に示すように,周辺環境に加えて、ロボット全身に小型カメラを多数配置する多眼ロボットシステムを提案する。本課題における学術的「問い」は,「多眼システムに適したロボットビジョンアルゴリズムとはどのようなものか」である。これは従来の、少数のカメラを前提としたロボットビジョンとは全く異なる新しい問題設定であり,新しいシステム理論が必要となる。
本研究の目的は,ロボット全身に小型高速カメラを高密度で配置し,カメラ間を遅延の少ないネットワークと処理ノードで接続した多眼ロボットのための,新しいロボットビジョンシステムを構築する。特に,ロボットの多眼視覚能力を最大限に活用し,リアルタイムに「無死角」に周囲の環境を認識するための3次元環境認識アルゴリズムと,それに基づく運動計画手法に焦点を当て,様々なタイプのロボットにおいて多眼システムを活用するための一般化された多眼システム開発手法を確立する。

システム開発

多眼カメラによる視覚認識

多眼視覚フィードバック制御

多眼視覚ハンドの開発

近年,視覚センサの小型化,低価格化により多数のカメラの実装が容易となり,GPU などの並列計算機の普及により実時間での視覚情報の処理が可能となってきている.本研究では,多数のカメラをロボットハンド上に配置して外部の固定高速ビジョンからの視覚情報と統合することで,視野角を広げて死角をなくした高速・高精度でのマニピュレーションを実現した.

  1. Masaki Sato, Akira Takahasi, and Akio Namiki, High-Speed Catching by Multi-Vision Robot Hand, 2020 IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, 2020
  2. 佐藤将貴、高橋 晃、並木 明夫, 多眼高速ビジョンを備えたロボットハンドによる高速キャッチング, 日本機械学会ロボティクス・メカトロニクス講演会2020(ROBOMECH2020), 2020
  3. 佐藤将貴、高橋 晃、並木 明夫, 多眼高速視覚を備えたロボットハンドによる視覚フィードバック制御, SI2019(第20回計測自動制御学会システムインテグレーション部門講演会), 2C4-13, 2019

多眼視覚ハンドアームの開発

近年,視覚センサの小型化,低価格化により多数のカメラの実装が容易となり,GPU などの並列計算機の普及により実時間での視覚情報の処理が可能となってきている.本研究では,多数のカメラをロボットハンド上に配置して外部の固定高速ビジョンからの視覚情報と統合することで,視野角を広げて死角をなくした高速・高精度でのマニピュレーションを実現した.
  1. Koki TERAKADO, Koki HIBINO, Cheng JU,Tianyi ZHANG, Yanwen ZHANG, Zejing ZHAO, and Akio NAMIKI, High-Speed Manipulation by Multi-Eye Vision Robot, Agile Robotics: From Perception to Dynamic Action @ ICRA2024.
  2. 寺門 宏規, 並木 明夫, 多眼視覚を備えたハンドアームによる移動物体の運動推定, 第24回計測自動制御学会SI部門講演会(SI2023, 12/13-15, 新潟朱鷺メッセ),1G1-12, 2023
  3. 寺門宏規、並木明夫, 多眼視覚を備えたハンドアームによる環境地図作成, 日本機械学会ロボティクス・メカトロニクス講演会2023(ROBOMECH2023), 1P1-H05, 2023

多眼視覚キャリブレーション

多眼視覚ロボットにおいては,カメラキャリブレーションが困難であるという課題がある.カメラのキャリブレーションの精度が低いと,視覚情報をロボットの動作制御に用いるのが困難になる.特に,ロボット自身にカメラが取り付けられた構成においては,カメラ自体の取り付け誤差やロボットの関節角度の誤差も視覚計測に大きな影響を及ぼす.しかし,これらのキャリブレーションを視野の異なる複数台のカメラすべてに対して個別に適用するのは多大な工程を要し,効率が悪い. 本研究ではロボット体表面上に多数のカメラが配置されたモデルに対し,カメラの設置誤差およびロボットの関節角の原点ずれを同時に推定する手法を提案する.ロボット体表面に取り付けらたカメラはそれぞれ視野が異なり,同じ対象を撮影するのが困難だが,提案手法では複数枚のチェッカーボードを使用することで視野の違いを解決した.また,複数のチェッカーボードの全ての位置姿勢を事前に知ることは困難であるため,一枚のチェッカーボードのみ座標を既知とし,それ以外を推定することで作業工程を簡略化した.また,チェッカーボードを観測する際にロボットに与える軌道の生成についても提案している.
  1. 佐藤 将貴, 並木 明夫, 多眼視覚キャリブレーション, 日本機械学会年次大会2021

多眼視覚のキャッチング制御への応用

開発したシステムをボールキャッチングに適用し,多眼視覚による視覚サーボによりキャッチ位置のリアルタイム補正を行い成功率を向上させた.多眼視覚ハンドで計測したボール推定位置を多眼視覚ハンドに投影した,画像上での位置に到達させるように視覚サーボ制御を行うことで成功率を向上させる.
  1. Masaki Sato, Akira Takahasi, and Akio Namiki, High-Speed Catching by Multi-Vision Robot Hand, 2020 IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, 2020
  2. 佐藤将貴、高橋 晃、並木 明夫, 多眼高速ビジョンを備えたロボットハンドによる高速キャッチング, 日本機械学会ロボティクス・メカトロニクス講演会2020(ROBOMECH2020), 2020
  3. 佐藤将貴、高橋 晃、並木 明夫, 多眼高速視覚を備えたロボットハンドによる視覚フィードバック制御, SI2019(第20回計測自動制御学会システムインテグレーション部門講演会), 2C4-13, 2019

多眼視覚ハンドアームによる移動物体の運動推定

本論文では、視覚認識における死角をなくすために、ハンドアームロボットの全身に小型高速度カメラを多数搭載した「多眼視覚ハンドアーム」を提案する。また、多眼視覚ハンドアームの各高速カメラからの非同期視覚情報と非線形カルマンフィルタを用いて移動物体の軌跡を推定する手法を提案する。ボールトラッキングとボールキャッチを例として,数値シミュレーションと実機実験を行い,提案システムの有効性を示した。
  1. Koki TERAKADO, Koki HIBINO, Cheng JU, and Akio NAMIKI, Target Motion Estimation by Multi-Eye Vision Hand-Arm, IEEE Int. Conf. Cyborg and Bionic Systems (CBS 2024), 2024.
  2. 寺門宏規,日比野晃己,大谷治弥,並木明夫, 多眼視覚を備えたハンドアームのカメラキャリブレーション, 第25回計測自動制御学会SI部門講演会(SI2024, 12/18-20, 岩手), 2024.
  3. 日比野晃己, 寺門宏規, 並木明夫, 多眼視覚を備えたロボットマニピュレータによる物体追従, 日本機械学会ロボティクス・メカトロニクス講演会2024(ROBOMECH2024), 1P2-S06

Speed-FairMOT: 実時間多クラス・多物体トラッキング

本論文ではリアルタイムの多クラス多物体追跡手法であるSpeed-FairMOTを提案する。Speed-FairMOTでは,オリジナルのFairMOTで使用されていたエンコーダ・デコーダネットワークを、バックボーンとネック結合構造の組み合わせに置き換えた。バックボーンにはShuffleNetV2と呼ばれる軽量ネットワークを利用した。ネック部には、拡張DLA34ネットワークから派生した反復深層集約法であるDLAFusionを実装した。 結果として,Speed-FairMOTは追跡精度を維持しながら、推論速度を向上することができた。 多眼ロボットハンドにSpeed-FairMOTを導入し,その有効性を示した.
  1. Cheng JU, Koki TERAKADO, and Akio NAMIKI, Speed-FairMOT: Real-time Multi-Class Multi-Object Tracking, IEEE Sesnsors Journal, submitted.