高速ビジョン・リアルタイム画像処理

高速ビジョンとは，画像センサによる画像取得から画像処理，画像認識までを人間をはるかに超える500Hz～1kHzレベルで高速度に行うことができる統合システムである。工業計測装置やエンターテイメント制作に用いられる記録用高速カメラと異なり，リアルタイムに画像処理結果を出力できるので，ロボットなどの自動制御機器への組み込むことで，その視覚フィードバック制御性能を顕著に向上させることが可能となる。 本研究の目的は，高速ビジョンにおける画像処理，ロボットビジョンの理論を体系化し，新たなシステム理論を構築し，任意の画像処理・ロボットビジョンアルゴリズムを，高速ビジョンに適した形に変換するための必要条件の導出と，高速ビジョンアルゴリズムへの変換手法の一般化である。その達成のために，従来のコンピュータビジョン，ロボット工学だけでなく，計測工学，数理最適化，制御工学等のこれまでの知見を総合し，「高速ビジョン」学の確立を目指す。

高速物体追跡

深層学習

アクティブビジョン

プロジェクタカメラシステム

フォーカルスイープに基づく高倍率物体トラッキング

アクティブビジョンシステム（AVS）は、対象物の高解像度画像を得るために広く使用されている。しかし、被写界深度が浅く、視野が狭いため、高倍率のシーンで小さな物体を追跡することは困難である。この問題に対処するため、ダイナミックレンジの広い焦点掃引と高フレームレート（HFR）フレームバイフレーム追跡パイプラインに基づく連続オートフォーカス（C-AF）アプローチによる新しい高速AVSを紹介する。我々のAVSは、ガルバノミラーに基づく超高速パンチルト機構を活用し、高頻度の視野方向調整を可能にしている。具体的には、提案するC-AFアプローチでは、500fpsの高速カメラと、正弦波で動作する焦点調整可能な液体レンズを使用し、対象物の最適焦点付近で50Hzの焦点掃引を行います。各フォーカス掃引の間に、フォーカスの異なる10枚の画像がキャプチャされ、最もフォーカス値の高いものが選択され、その結果、50fpsでフォーカスの合った画像が安定的に出力される。同時に、焦点深度から被写体の深度を測定するDFF（Depth-From-Focus）技術により、焦点掃引範囲をダイナミックに調整できる。重要なのは、残りの画像はわずかに焦点が合っていないだけなので、500fpsの画像は全て物体追跡に利用できることである。提案するトラッキングパイプラインは、ディープラーニングに基づく物体検出、K-meansカラークラスタリング、カラーフィルタリングに基づくHFRトラッキングを組み合わせ、500fpsのフレーム毎のトラッキングを実現する。実験結果は、提案するC-AFアプローチの有効性と、拡大物体追跡のための高速AVSの高度な能力を実証している。
  1. Zhang T, Shimasaki K, Ishii I, Namiki A. High-Magnification Object Tracking with Ultra-Fast View Adjustment and Continuous Autofocus Based on Dynamic-Range Focal Sweep. Sensors. 2024; 24(12):4019. web
  2. Tianyi Zhang, Kohei Shimasaki, Idaku Ishii, Akio Namiki, Dynamic-Range Focal Sweep: Seamless Continuous Autofocus Based on High-Speed Vision for Magnified Object Tracking, 2024 IEEE/RSJ Int. Conf. on Intelligent Robot and Systems (IROS), 2024
  3. Tianyi Zhang, Kohei Shimasaki, Idaku Ishii, Akio Namiki, Adaptive Short-Range Focal Sweep: Continuous Autofocus for Magnified Object Tracking Based on High-Speed Vision, 2024 IEEE Int. Conf. on Robotics and Automation (ICRA), 2024.

水中画像強調のためのデュアルブランチに基づく冗長特徴処理モジュール

光の散乱と吸収のため、水中画像は色かぶり、低コントラスト、ぼやけなどの課題に直面する。既存の深層学習ベースの水中画像強調（UIE）アルゴリズムは、タスク要件、強化された画質、および計算速度のバランスをとるのに苦労することが多い。これらの問題に対処するために、本稿では、水中シーンの同時強調と超解像に適したタスクフレンドリーなフレームワークを提案する。まず、水中画像の照度を分類し、機能分解によってネットワークの負担を軽減し、ネットワーク性能を向上させる。次に、水中画像の特徴に合わせて設計されたデュアルブランチに基づく冗長特徴処理モジュール（RFMD）を導入し、冗長特徴を再処理するための潜在コードを生成する外部ネットワークを採用する。RFMDは、異なるタスク間でテクスチャ、色、コントラスト、彩度を効果的にバランスさせる。第三に、デュアルブランチに基づくスパース冗長特徴処理モジュール（SRFMD）を提案し、ネットワークの汎化能力と計算速度を大幅に向上させる。実験データは、RFMDとSRFMDが、色、彩度、コントラスト、テクスチャ情報のバランスにおいて、従来の手法（IBLAとRGHS）と学習ベースの手法（Ucolor、FUnIE-GAN、FSRCNN、SRResNet、WDSR、ESRGAN、URSCT-SESR）を凌駕することを、定性的・定量的評価の両方から示している。
  1. Yanwen Zhang, Ziran Li, and Akio Namiki, Redundant Feature-processing Module Based on Dual-branch for Underwater Image Enhancement, IEEE Transactions on Instrumentation and Measurement, 2024, web

マルチカメラによる高速移動回転物体の位置姿勢追跡

本論文では，Fast-PWP3Dを複数台のカメラに拡張したマルチカメラ Fast-PWP3D を提案する． 本手法ではカメラを複数台活用しているが，ステレオ法による計測は行っておらず，複数台のカメラからの映像と既知のモデルを適切に組み合わせることで推定を実現している．そのため，高速かつ高精度での推定が可能となった． また，どれかのカメラの視野に入っていれば推定が継続できるので，計測範囲が広がった． さらに，１台のカメラで対象となる物体が遮られてしまった場合でも，別のカメラで物体をとらえられていれば，位置姿勢推定が可能となった．
  1. 水野裕太，並木明夫, マルチカメラによるFast-PWP3Dを用いた三次元物体の位置・姿勢推定, 日本ロボット学会学術講演会（9/12-14, 仙台国際センター）, 3D4-07, 2023

単眼カメラによる高速移動回転物体の位置姿勢追跡

本研究の目的は、単眼アクティブビジョンシステムによるターゲットの位置と姿勢の両方を高速に追跡することである。高速ターゲット追跡と姿勢推定にはPWP3Dアルゴリズムを採用する。単眼RGBカメラによりターゲットの姿勢軌跡を400[Hz]で推定し、その結果をリアルタイム制御マシンにフィードバックしてターゲットを能動的に追跡する。システム全体の動作速度は非同期で500[Hz]である。実験結果から、我々の手法は、単眼ベースのターゲット追跡の性能を、収束速度と頑健性の両面で、先行研究と比較して改善することが示された。
  1. Yang Liu and Akio Namiki, Articulated Object Tracking by High-Speed Monocular RGB Camera, IEEE Sensors Journal, 2020
  2. Yang Liu, Pansiyu Sun, and Akio Namiki, Target Tracking of Moving and Rotating Object by High-Speed Monocular Active Vision, IEEE Sensors Journal, vol. 20, no. 12, pp. 6727-6744, 2020

アクティブ３次元ビジョン

高速ビジョンによるトラッキング装置に高速パターン投影装置を統合したシステムを開発した． 空間パターンコード化手法を500Hzで実行するとともに，対象の追跡を行う． 結果として高速移動物体の３次元形状認識をリアルタイムで実現することが可能となった．
  1. A Namiki, K Shimada, Y Kin, I Ishii, Development of an Active High-Speed 3-D Vision Syste, Sensors , 19 (7), 1572, 2019

高速ビジョンシステム

高速ビジョンとは，画像センサによる画像取得から画像処理，画像認識までを高速度で行う統合システムである[1,2,3]。工業計測に用いられる記録用高速度カメラとは異なり，画像センサと画像処理装置が一体化しており，リアルタイムかつオンラインで画像処理結果を出力できる。そのため，視覚フィードバック制御に適している。 高速ビジョンを搭載した視線方向を制御するアクティブビジョンシステムを開発している。
  1. 並木, 石川, 高速ビジョンの応用展開, 日本ロボット学会誌, Vol.32, No.9, pp.766-768, 2014

分光高速ビジョン

本研究では，高速に制御が可能な分光投光器と高速ビジョンを統合することで， 対象に応じて投光波長をアクティブに変更することで高速な分光計測を可能にする． 通常のカラーカメラでは判別が難しい対象に対しても，分光情報を用いることで高速な判別を行うことが可能となった．
  1. 清水 貴悠，並木明夫, 分光計測が可能な高速ビジョンの開発, 日本機械学会ロボティクス・メカトロニクス講演会, 2A1-L11, 2011

ズームとフォーカス機構を有する高速アクティブビジョン

小型ＡＣアクチュエータを用いたズーム・フォーカスメカニズムを試作し，ズーム・フォーカスを連動させターゲットトラッキングを実現した．
  1. 金泰演, 並木明夫, ズームとフォーカス機構を有する高速アクティブビジョンを用いたトラッキング制御, 第16回ロボティクスシンポジア講演論文集, pp.56-61, 2011

視覚サーボを用いた移動・変形するスクリーンへの投影画像制御

高速ビジョンと高速プロジェクタからなる投影画像制御システムを提案した．本システムは，”対象の3 次元特徴量が不要”，”「見え方」に基づく視覚サーボ制御”，”高速ビジョンの使用”，という3 つの特徴を持ち，投影スクリーンがリアルタイムで変化する場合でも，任意の見え方に投影制御が可能となる．また，提案手法の有用性を検証するために実験を行い，移動，変形するスクリーン上の画像の制御が有効に行われていることを示した．
  1. 村上健一，並木明夫, 視覚サーボを用いた移動・変形するスクリーンへの投影画像制御, 日本機械学会論文集C編, Vol.79, No.808, pp.232-244, 2013