Image-Based Rendering by Virtual 1D Cameras
Image-based rendering(IBR) は，空間中に配置された複数のカメラによって撮像された画像より，新しい視点からの画像を生成するために用いられる．特に3 次元のplenoptic function に基づく方法は，画像入力が比較的簡便であるため利用しやすい．しかし，生成画像の画質に大きな影響を与えるアスペクトレシオ歪みを除去するためのスケーリングに関し，特定のカメラ配置に対する考察しかなされていない．本論文では，1 次元カメラの集合として，仮想カメラをモデル化することを提案する．そのモデル化に基づき，任意のカメラ配置に対するスケーリング係数を含むレンダリングアルゴリズムを示す．
以下の図は、提案手法によりビデオから任意視点映像を作成した結果を示す。まず、ビデオの各フレームに対し、それを撮像した際のカメラの位置と方向をstructure from motionにより推定する。図の推定結果より、カメラの運動軌跡が直線や円などのパラメトリックな曲線でないことがわかる。このカメラの運動軌跡とstructure from motionから得られるシーンのラフな3次元形状を使用し、仮想カメラに対応した任意視点映像を生成する。この実験では、提案したスケーリング方法の有効性を確認するために、シーンに対して奥行き変化が大きくなるような仮想カメラの運動を設定している。
次の2つの図に、任意視点映像の作成結果を示す。最初の図では、アスペクトレシオ歪みの除去を行っていないため激しい歪みが生じ、生成された映像は仮想カメラの運動を反映したものになっているとは言えない。それに対し、2番目の図に示す提案したスケーリング方法を有する結果では、歪みが除去され仮想カメラの運動をエミュレートするに十分な品質の任意視点映像が得られている。
この仮想カメラとシーンの間の距離が大きく変化する場合の実験結果から、提案手法は任意のカメラパスの下で、アスペクトレシオ歪みを補正することができると言える。
Rendering without scaling.
Rendering with the proposed scaling scheme.
