柔軟物体マニピュレーション

柔軟物のマニピュレーションは，ロボットにとって最も困難でチャレンジングなタスクの一つである。 柔軟物対象では，操作中に対象が変形していくので，「見る」ことと「操り」を同時に行う必要がある． 本研究プロジェクトでは，柔軟物対象の例として，特に「折り紙」を対象とする． 高精度紙操り技術に，紙の物理シミュレータと３次元形状計測を統合し，紙の変形の動作予測と紙の形状変化に対する視覚サーボ制御を行うことで，「折鶴」のような複雑な紙折りに対しても実現可能なロボットシステムを構築すること目標とする．

システム開発

紙の実時間形状推定

紙の実時間シミュレータの開発

柔軟物マニピュレーション

教示・模倣学習

マルチ深度カメラを用いた紙形状追跡システム

提案システムでは，5つの深度センサから実際の紙形状を点群情報として取得し，欠落している点群を考慮することで，安定した紙形状追跡を実現する．追跡は、点群レジストレーション法を用いて、点群を物理モデルの紙面形状にリアルタイムに反映させることで行う。紙モデルは弾塑性変形を考慮し、紙の折り畳まれた状態をよく表現するため、正確な紙形状追跡が可能である。実験では、実際の折り紙を用いて紙形状追跡を行い、高精度な形状追跡を実現した。
  1. Sena TAKAHASHI, Hiroto ARASAKI, and Akio Namiki, Paper Shape Tracking System using Point Cloud and Physical Model, IEEE Int. Conf. Cyborg and Bionic Systems (CBS 2024), 2024.
  2. 高橋聖奈，新崎広人，並木明夫, 領域分割に基づく紙の折り形状トラッキングシステム, 第25回計測自動制御学会SI部門講演会(SI2024, 12/18-20, 岩手), 2024．
  3. 高橋 聖奈, 清田 冬芽, 新崎 広人, 並木 明夫, マルチカメラを用いた紙の形状推定システムの開発, 第24回計測自動制御学会SI部門講演会(SI2023, 12/13-15, 新潟朱鷺メッセ),1G4-03, 2023.
  4. 高橋聖奈、並木明夫, 折り紙ロボットのための紙の形状推定システムの開発, 日本機械学会ロボティクス・メカトロニクス講演会2023（ROBOMECH2023）, 1P1-G22, 2023

ロボットハンドによる折り紙操作

紙の認識を３次元ビジョンにより行うとともに， オクルージョンによる視覚情報の欠落を補うために，紙の物理モデルを用いた形状推定を行っている．現状では４つ折りまでを高精度で行うことが可能である。
  1. A. Namiki and S. Yokosawa, Robotic Origami Folding with Dynamic Motion Primitives, IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, pp.5623-5628, 2015

多指ロボットハンドによる紙折り操作のシミュレーション

布や紐などの柔軟物の操作は物体の変形が伴うため，ロボットによる再現が難しく挑戦的な課題である．我々 の研究グループでは，ロボットによる紙折り操作を試みており，シミュレーションのため塑性変形を考慮した折り 紙シミュレータを開発したが，ロボットによる紙折り操作のシミュレーションの実現までには至っていない．よっ て本研究では，開発したシミュレータにロボットハンドを取り入れ，紙折り操作のシミュレーションを行った．そ の結果，紙折り操作において発生する緒現象が提案手法により再現可能であることを確認した．
  1. Hiroto ARASAKI, Sena TAKAHASHI, and Akio NAMIKI, Realtime Paper Shape Estimation for Origami Robot System, 4th Workshop on Representing and Manipulating Deformable Objects @ ICRA2024.
  2. 新崎広人, 高橋聖奈, 並木明夫, 多指ロボットハンドによる紙折り操作のシミュレーション, 日本ロボット学会学術講演会, 3I1-05, 2024
  3. 新崎広人、清田冬芽, 高橋聖奈, 並木明夫, 塑性変形を考慮した折り紙シミュレータによる紙のリアルタイム形状推定, 日本機械学会ロボティクス・メカトロニクス講演会2024（ROBOMECH2024）, P2-S05
  4. 新崎 広人, 清田 冬芽, 高橋 聖奈, 並木 明夫, ロボットによる紙折り操作のための折り紙シミュレータの構築, 第24回計測自動制御学会SI部門講演会(SI2023, 12/13-15, 新潟朱鷺メッセ), 3E5-03, 2023

DNNによる紙の形状推定および変形予測システムの開発

近年，ロボットが人間の代わりとして様々な作 業を行うことが増えてきている．しかし，柔軟物を扱うロボットの実用化は難しく，研究開発が進められている 本研究グループでは柔軟物の折り紙に対し研究が行われており，これまでに4 つ折りや袋折りに成功している． 現在，RGB D センサによって得られた点群と物理モデルとをマッチングさせることで形状の推定を行っているが，推定精度が不十分かつ未来の形状は予測できていないため，オンラインで軌道を生成することができない．そこでAR マーカーを用いて取得した3 次元点群から深層学習を用いて形状推定および変形予測を行うことが可能なネットワークを構築した．
  1. 清田冬芽，並木 明夫, 折り紙ロボットのための深層学習を用いた紙の形状推定, 日本ロボット学会学術講演会（9/12-14, 仙台国際センター), 3K3-07, 2023
  2. 清田 冬芽, 並木 明夫, 深層学習を用いた柔軟シートの形状推定, 第23回計測自動制御学会SI部門講演会(SI2022, 12/14-16, 幕張メッセ国際会議場), 3A2-G01

CPDによる紙の形状推定

近年、剛体物体を操作できるロボットは数多く存在するが、紙のような変形可能な物体を操作することは難しい。このようなロボットが変形物体を操作するためには、紙の形状をリアルタイムに計測することが重要である。我々の研究グループの先行研究では、視覚情報で観測された点群と物理モデルとのマッチングによって紙の形状を推定していた。しかし、折れ線による紙の剛性の変化やロボット自身によるオクルージョンによってマッチング誤差が生じるという問題があった。本論文では、物理モデル上の折れ線近傍のリンクの自然長を変化させることで、紙の剛性の変化を表現する。CPD(Coherent Point Drift)を用いて物理モデルと点群をマッチングさせることにより、剛性の変化やオクルージョンに対してロバストに紙の形状を推定することができる。ロボットによる二つ折り動作における紙の形状の推定実験により、提案手法の有効性を示す。
  1. 中村 亮裕, 山本 開, 並木 明夫, 折り紙ロボットのための紙の形状認識システムの開発, 日本機械学会年次大会2021
  2. 中村 亮裕，寺田 直人，並木 明夫, 折り目を考慮した紙と物理モデルの形状マッチング, SI2020（第21回計測自動制御学会システムインテグレーション部門講演会）, 2B2-13, 2020

多指ロボットハンドによる折り紙動作における衝突回避制御

近年，布や紙，紐などの柔軟物の操りのマニピュレーションの研究が盛んに進められている．本研究グループでも，双腕の多指ハンドによる折り紙動作の研究を行ってきた[3]．折り紙のような柔軟物の操りを行う場合，紙の変形を抑えるために複数点での拘束が必要となり，左右の指が入り組んだ配置となる．そのため，動作中のロボットの指同士の衝突が問題となっていた．また，折り紙のような柔軟物体を扱う場合，紙の位置姿勢や形状は試行ごとに異なるため，紙の形状変化に合わせてリアルタイムで軌道の計算を行う必要がある．そのため，衝突回避についてもリアルタイムで計算を行い軌道修正を行う必要がある．そこで本研究では，リアルタイム制御に適した計算コストの小さい衝突回避制御手法を提案する．具体的には，ロボットハンドをカプセル形状によって近似し，カプセル間距離と関節角度に関する逆運動学を最適化手法に基づき解くことで衝突回避動作を行う．さらに，未来の軌道を考慮して最適化することで，滑らかな動作軌道の生成を実現する．
  1. 山本開, 中村亮裕, 並木 明夫, 多指ロボットハンドによる折り紙動作における衝突回避制御, 第22回計測自動制御学会SI部門講演会(SI2021),1D5-06,12/14-16.

ロボットハンドによる紙のたわみ生成戦略

本研究グループでは，多指ロボットハンドによる折り紙 動作の研究を進めてきた．これまでに四つ折り動作 などを実現しているが，現状の問題点として，紙のしわや 繊維の方向によって動作の成功率が下がることが挙げられ る．そのため，一つ一つの折り動作はある程度の成功率で 実現できても，複数のシーケンスからなる折り紙動作では 成功率が非常に低くなってしまう．この問題を解決するためには，折りの達成度を計測により判定し，失敗した場合には「やり直す」動作が必要になる． 本論文では，たわみ生成動作を例として「やり直し」を 実現する．これは，図1 に示すように紙の一部を押さえな がら作業台と平行に動かすことで，紙をたわませて作業台 との間に隙間を作る動作である．作業台の上に置かれた紙 の下に指を差し込む前などの折り作業中に多用される動作 であるが，紙の状態による影響を受けやすく失敗しやすい． そこで，画像処理によって紙のたわみ部分を計測し，たわ み動作が成功しているかどうかを判定する．動作に失敗に した場合は，指の動作をリアルタイムで変更してやり直す 手法を提案する．
  1. 寺田 直人，中村 亮裕，並木 明夫, ロボットハンドによる紙のたわみ生成戦略, SI2020（第21回計測自動制御学会システムインテグレーション部門講演会）, 3D1-07, 2020

マスタスレーブを用いたロボットハンドの折り紙動作生成

近年ロボットハンドは剛体物を操る能力は向上して いるが，柔軟物を操る能力は未だに不十分である．本 研究グループでは柔軟物のうち，折り紙について取り 組んできた．現在四つ折りまで成功している． しかし，これ以上の動作を生成するためには，細か く複雑な動作が必要であり，直接動作を教示すること が困難である．そのため，ロボットハンドを直接遠隔 操作して，折り紙動作を行うシステムを作成した．こ れを実現するために，逆運動学の手法を改良して，特 異点付近のロボットの動作を安定化させた．また，紙 を押さえることなどのロボットに負荷のかかる作業を 簡単で安全に行えるようにした．システムを図1 に示 す．マスタ装置のTouch を用いて冗長自由度2 指ハン ド，フットペダルで左スライダを遠隔操作する．また， 3 指ハンドと右スライダは自律操作で紙を押さえる補 助的な動作を行う．作業の様子は左スライダ上方に固 定されたステレオカメラで撮影し，ヘッドマウントディ スプレイ(HMD) に表示される．
  1. 寺田 直人，末石 悟，並木 明夫, マスタスレーブを用いたロボットハンドの折り紙動作生成, 第37回日本ロボット学会学術講演会予稿集, 2A1-03 , 2019

点群マッチングを用いた紙の形状推定

  1. Ryo Minowa and Akio Namiki, Origami Operations by Multifingered Robot Hand with Realtime 3D Shape Estimation of Paper, 2016 IEEE/SICE International Symposium on System Integration, pp.729 - 734, 2016

把持対象の運動情報を入力とするロボットハンドの教示システム

多指ハンドを実際に使用するには人間がその動きを教示する必要があるが，多指ハンドはその関節の多さや 複数の指を連携させて動作させる必要があることから， 直接教示するのは難しい．そこで，把持対象の運動情報を入力として， その動きを操りで再現するハンドの動作を自動生成する教示システムを開発した．
  1. 小柳翔平, 横澤修一, 並木明夫, 接触座標の許容範囲を考慮した多指ハンド教示システム, 第19回ロボティクスシンポジア講演論文集, pp.203-208, 2014

片手紐結び

紐結びを，(1)輪の作成，(2)紐の入れ替え，(3)紐の引っ張り，の３段階のプロセスに分けて行うことで，紐結びを実現した．
  1. Yuji Yamakawa, Akio Namiki, Masatoshi Ishikawa and Makoto Shimojo:, Planning of Knotting Based on Manipulation Skills with Consideration of Robot Mechanism/Motion and Its Realization by a Robot Hand System, , Symmetry, Vol.9, No.9, Article No.194 , 2017