スポーツ自由視点映像の 生成技術 株式会社KDDI研究所／三功浩嗣、内藤 整 本稿では、サッカー等のスポーツ中継を対象とした自由視点映像を生成する目的から、放送等 で用いられるパン・チルト・ズームカメラを対象に動的キャリブレーション、オブジェクト抽出、 オブジェクト追跡に基づく合成手法を提案する。 1 とした背景差分法が適用できない点である。 はじめに また、ビルボード方式に基づく自由視点映像の 合成では、オブジェクトごとのテクスチャ抽出に 近年、視聴者が任意に選択する視点に合わせて ついて、ユーザが指定する仮想視点の最寄りの撮 3 次元の空間を表示することが可能な自由視点映 影カメラで取得されるテクスチャをマッピングす 像の合成技術が注目されている 。特に、サッカー る処理を基本とするため、各カメラ映像のフレー のような屋外大空間で撮影される映像を対象とし ムごとに各オブジェクトのテクスチャ領域を正確 た合成方式として、簡単化 3 次元モデルを用いる手 に抽出する必要がある。しかしながら、サッカー 法が提案されている 3 、4）。これらの手法では、3 次 等のスポーツ競技を対象とした場合、カメラ映像 元空間中の各オブジェクトをビルボードと呼ばれる 中で複数のオブジェクトが重なりあうオクルージョ 1 枚の長方形ポリゴンで近似し、ユーザが選択する ンという現象が頻繁に発生するため、オブジェク 1 、2） 視点位置に応じて、多視点画像から獲得したテクス トごとのテクスチャを切り分けて正確に抽出する チャ情報を適切にマッピングすることで、計算コス ことはきわめて難しい。特に、手前のオブジェク トを抑えた合成を実現している。フィールド平面上 トに遮られる奥のオブジェクトのテクスチャに欠 に存在する各選手の 3 次元世界座標に関しては、 損が生じることを避けられないため、当該オブ フィールド平面上 2 次元世界座標として扱うことが ジェクトのフィールド上 2 次元世界座標を適切に 可能であり、各カメラで取得されるテクスチャ領域 推定することができず、結果として合成精度が著 の足下点を平面射影行列により投影することで算 しく低下する課題があった。 出可能であるため、カメラの強校正は不要である。 筆者らは、これまでの研究において、非固定カ 一方で、テレビ放送をはじめとした実際のス メラ映像への対応を目的に、カメラ映像のフレー ポーツ映像への適用を考えた場合、中継現場で配 ムごとに射影行列を推定し、同行列を用いてオブ 置されるカメラが固定されていないということが ジェクト領域を抽出する手法を提案してきた 5）。 大きな課題として挙げられる。固定カメラではな しかしながら、オクルージョン領域に含まれるオ く非固定カメラを用いる場合に特有の課題は大き ブジェクトのテクスチャ、およびフィールド平面 く 2 つ存在する。1 つは、カメラパラメータ（射影 上の 2 次元世界座標を正しく取得できないため、 行列） がフレームごとに変化する点であり、もう一 自由視点映像の合成画質が劣化するという課題が 方は、人物等の前景オブジェクト （以下、オブジェ あった。そこで本稿では、既提案手法 5）を拡張す クト）抽出時に、背景領域が既知であることを前提 ることで、カメラパラメータ推定、およびオブジェ 72 ︱March 2014 eizojoho industrial
© Copyright 2024 Paperzz
