Motion Segmentation Based on Shape Space

       形状行列を用いた特徴選択に基づく動きの分割

 特徴対応データを用いる動きの分割は、与えられたデータをいくつかの部分集合に分ける組合わせ問題である。本研究では、各物体から分割を行うのに最低限必要なデータを選択し、組合わせ数を減少させる動きの分割方法を提案している。提案方法では、特徴選択を、複数の物体の形状を表す空間の基底の生成として行う。各基底を物体上の特徴と一対一に対応付けて生成することにより、``セグメンテーション情報がない状態''で、``各物体''から特徴を選択できる。選択した特徴を用いて形状空間への直交射影行列を生成し、それに基づきセグメンテーションを行う。特徴選択により組合わせ数が減少するため、処理に数値最適化を必要としない。また、縮退した形状を持つ物体の識別や物体数の推定も行える。

motion_trajectory.jpgselected_spmat.jpg

                                特徴点の運動軌跡                            形状空間への直交射影行列

 上記の例では、772個の特徴点から11個の特徴を選択した。そして、11x11の形状空間への直交射影行列を構成した。その直交射影行列の非零の要素を数えることで、セグメンテーションは行える。この選択した特徴のセグメンテーション結果を用いて、全特徴のセグメンテーションを行う。セグメンテーション結果より、各物体の形状を以下のように復元できる。

shape1.jpg

 

       形状空間への直交射影行列と判別分析を用いた動きの分割

 均一な運動をする物体の形状は、4次元の部分空間で表現される。よって、動きの分割は、複数物体の形状空間を部分空間の集合へ分解することにより行える。その分解に、形状空間への直交射影行列の要素の判別分析を用いる。1次元のデータの判別分析しか必要としないため、アルゴリズムは簡潔である。判別分析の結果に基づき動きの分割に有用な情報をもつデータのみを選択するため、雑音や外れ値を含むデータに対しても提案方法は適用できる。以下に処理例を示す。この例では、2台PCを使い、動きの分割と追跡を並列に実行した。小さな四角は追跡を行っている特徴点を表し、大きな四角は10画素以上の動きを持つグループの特徴点の重心を表している。動きの分割は30フレーム毎に行った。誤対応や動きのある領域と静止している領域の重なりに伴い、多くの外れ値が特徴対応データに含まれるにもかかわらず、背景と動く物体が分離されていると共に、物体の分離を検知していることがわかる。

  (MPEG 2.7MB)


【参考文献】

[1]  市村 直幸、富田 文明: ‘‘形状行列からの特徴選択に基づく動きの分割、’’信学論D-II、Vol.J81-D-II、 No.12、pp.2757-2766、1998 (ps.gz,pdf)

[2] 市村 直幸:‘‘形状空間への直交射影行列と判別基準を用いた複数運動の分割、’’信学論D-II、Vol.J84-D-II、 No.7、pp.1369-1377、2001 (ps.gz,pdf)

[3]  N. Ichimura:``Motion Segmentation Using Feature Selection and Subspace Method Based on Shape Space,'' Proc. Int. Conf. on Pattern Recognition (ICPR2000), Vol.III, pp.858-864, 2000 (ps.gz pdf)

[4]  N. Ichimura: ``Motion Segmentation based on Factorization Method and Discriminant Criterion,'' Proc. Int. Conf. on Computer Vision (ICCV99), Vol.I, pp.600-605, 1999 (ps.gz pdf)

[5]  N. Ichimura:``A Robust and Efficient Motion Segmentation Based on Orthogonal Projection Matrix of Shape Space,'' Proc. Int. Conf. on Computer Vision and Pattern Recognition (CVPR2000), Vol.2, pp.446-452, 2000 (ps.gz pdf)


[IEEE copyright notice]  © (2001) IEEE. Personal use of this material is permitted. However, permission to reprint/republish this material for advertising or promotional purposes or for creating new collective works for resale or redistribution to servers or lists, or to reuse any copyrighted component of this work in other works must be obtained from the IEEE