実写画像を用いた３Ｄ点群データ着色方式宮岡伸一郎東京工科大学メディア学部メディア学科〒192-0982 東京都八王子市片倉町 1404-1 Email: [email protected] あらましレーザーミラースキャナで取得した点群データに，実写画像を用いて着色を施す方法を提案する．まず，人手で実写画像上の特徴点（たとえば建物のコーナーなど）と点群データの特徴点の対応付けを行う．点群データの特徴点の視認を容易にするため，点群画像上でジャンプエッジとルーフエッジを可視化する．対応付け結果に基づき点群から実写画像への透視投影を求め，これを用いて点群の着色を行う．実用ツール化するため，着色範囲の指定機能，２次元射影変換を用いた着色機能なども実装した．実験の結果，概ね実用に耐えうる精度・作業効率で着色が行えることを確認した． Coloring Method for Point Cloud Data Based on Photographic Images Shinichiro MIYAOKA School of Media Science, Tokyo University of Technology Email: [email protected] Abstract For coloring point cloud data acquired by a laser mirror scanner, we propose a coloring method using photographic images. Firstly feature points in a photographic image are corresponded to feature points of point cloud data manually. To make visual recognition easy, jump edges and roof edges are detected in a point cloud image. Based on this correspondence, the perspective projection from the point cloud data to the photographic image is computed by DLT(Direct Linear Transform)． With the perspective projection, coloring for the point cloud data is carried out. As experimental results, the proposed method is confirmed to be effective in practical use. 1. はじめにレーザーミラースキャナは，数百メートルの範囲に及ぶ広大な空間の３次元計測を可能とし，これまで主に，土木・建築関係の測量や遺跡・文化財のアーカイブなどに用いられてきた．遺跡・文化財のアーカイブに関する研究の例としては，鎌倉の大仏を対象とした The Great Buddha Project１)がある．この研究では，距離画像から自動で，対象物の 3 次元的幾何・光学モデリングを行う方法を提案している．一方，コンピュータビジョンの技術をコンテンツ制作に活用する研究も試みられている． Photo Tourism２）では，インターネットで取得した大量の観光地画像からビジョン技術を用いて３次元座標を復元し，この３D 座標データ（以下点群データ）を，大量画像をブラウジングする際のインタフェースとして用いている．本研究では，レーザーミラースキャナで取得した高密度かつ正確な点群データをコンテンツ制作に活用することを試みる．たとえば，広大なキャンパス空間をウォークスルーできる３D キャンパスマップの制作である．これを実現するには，取得した点群データにメッシュ張りを施し３DCG モデルを作成するアプローチが一般的であるが，我々は点群の風合いを活かした点ベースのノンフォトリアリスティック（例えば３D 点描画風）なコンテンツ表現を目指している．このときまず，取得した点群に実物に近い着色を施す必要がある．レーザースキャナと同期して稼動する特殊なカメラを利用する方法３）もあるが，設備コストがかかることと，点群取 1 得時の条件に依存した着色となり，季節・時刻・天候など様々な条件変化に対応した着色ができずコンテンツ制作の際の自由度が少なくなるという難点がある．そこで，市販のデジタルカメラで撮影した画像を用いて点群データに着色する方法をとることとした．この方法を用いると，手間のかかる点群データの撮影を一度だけ行っておけば，様々な条件で撮影した画像を用いて着色することが可能となる．カラー画像とレンジデータの位置合わせを行う方法としては，カラー画像中のエッジとレーザー反射強度画像中のエッジの関係を利用する方法３），カラー画像から抽出したエッジを３次元幾何モデルに投影し，そこでの幾何学的整合性を利用する方法４）などが提案されている．本論文では，簡易で実用的な点群着色ツールの開発を目的に，画像と点群の間の人手による特徴点対応付けと，これから導かれる透視投影を利用した点群着色方式を提案する．対応付けのための点群特徴点の可視化，透視投影パラメータの算出法，実際の着色プロセス，実験結果について報告する． 2. 着色プロセスの概要 2.1 透視投影による点群着色利用するレーザーミラースキャナはリーグル社製 LMS-Z210i である．レーザーの飛行時間に基づき対象物までの距離を測定しこれから３次元座標を求めるもので，測定可能範囲：4 ∼400m，測定精度：25mm の性能を持つ．0.12 度刻みのパノラマスキャンを行うと 200 万点の点群データが取得できる．図 1 に建物の点群データを二つの角度から可視化した例を示す． v= p5 X + p 6Y + p 7 Z + p8 p 9 X + p10 Y + p11 Z + 1 （２）ここで，式（１）に含まれる p1∼p11 のパラメータが同定できれば，点群座標と実写画像座標の対応付けが可能となり，各点に実写画像の色を付与することできる．パラメータの数が 11 個なので，原理的には点群データと実写画像の間で 6 組以上の特徴点対応付けができれば，後述する DLT（Direct Linear Transform）などの手法を用いて p1∼p11 を求めることができる．しかし実際には，対応付けの精度が及ぼす影響，カメラのレンズ歪の影響，オクルージョンの影響などがあるので，着色精度については実験的に検証していく必要がある． 2.2 特徴点の対応付けインタフェース実写画像上の特徴点（例えば建物のコーナーなど）は，視認により容易に指定できる．一方対応する点群の特徴点については，３次元空間上で直接指定できないため，適切な角度に透視投影した画像上で指定する必要がある．対応付けを，図２に示すようなインタフェースで行う．点群を透視投影により画像化する際，点密度の高い場合や遠景の点群が投影画像上で近接して存在する場合，画像上の一つの画素に複数の点が投影される．実写画像と対応付けする点は最前面（視点から最短距離）の点とするのが妥当であるので，投影画像の画素配列と同じサイズの点群 ID マップを用意し，投影の際最前面の点の ID をここに記録する．投影画像上でマウスにより特徴点を指定し，ID マップから画像座標に対応する点 ID を読み出し，点の３D 座標を取得する．必要なだけ特徴点の対応付けを行った後，透視投影のパラメータを求め，式（１），（２）を用いて点群着色を行う．図 1 点群データ３次元点群空間の座標（X，Y，Z）と実写画像上の座標（u，v）の間には，座標系の平行移動，回転，透視変換を含む以下の透視投影の関係が近似的に成り立つ． u= p1 X + p 2 Y + p 3 Z + p 4 p 9 X + p10 Y + p11 Z + 1 （１）図２対応付けインタフェース 2 3. 特徴点の可視化 3.1 距離画像とジャンプエッジ点群画像（点群データを透視投影した画像）上で，特徴点を視認しやすいように可視化する必要がある．まず一つの方法は，距離情報の利用である．視点から各点までの距離を求め，近いほど明るく遠いほど暗くなるように，距離に応じて濃淡をつける．実際には，可視化範囲の最近距離と最遠距離を指定しておき，距離に比例して濃淡が変化するようにして画像化した．さらに建物の稜線や物体の輪郭などを明示するため，ジャンプエッジを求める．ジャンプエッジとは点群画像上の隣接点の間で距離に隔たりがある部分であり以下のようにして求めている．点群 ID マップを用い，点群画像上の注目画素及び，横方向・縦方向の隣接画素に投影された点の３次元座標を求める．注目点と隣接点の３次元的な距離を計算し，これが閾値以上のときジャンプエッジとして表示する．隣接画素に点が存在しない場合は，隣接の範囲を拡大して計算する．図３に距離画像にジャンプエッジを重畳したものを示す．平面当てはめの方法は以下の通りである．点群画像上で，点群 ID マップを用い注目画素の近傍 n×n の範囲に存在する点の３次元座標を取得する．3 個以上の点が存在する場合，次式により平面当てはめを行う． ∑ (aX 2 i + bYi + cZ i − 1) → min . （３） i 平面当てはめの際の近傍のサイズ n×n は，３ D 点群空間における当てはめの範囲がほぼ等しくなるように，視点と点群の距離に応じて定めている．平面当てはめの結果，正規化された法線ベクトル n は次式により求まる．（４） n = (a l , b l , c l ) T ここに l はベクトル（a，b，c）の長さである．図５に視点方向から光を当て，ルーフエッジを可視化した例を示す．図５ルーフエッジの可視化図３ジャンプエッジの可視化 3.2 ルーフエッジの可視化ジャンプエッジの可視化により，建物と遠景の境界，ジャンプエッジからなる稜線などは視認しやすくなるが，図に示すような建物領域の内部にある稜線，コーナーなどは視認が難しい．これらはルーフエッジと呼ばれる．そこで局所的な平面当てはめを行い，法線ベクトルを算出しこれを用いてルーフエッジの可視化を行う．図５に示すように，対象物までの距離がある程度以上であれば良好な結果が得られるが，対象物までの距離が近くなるとノイズの影響を受け安定した法線ベクトルが得られない．図６（ａ）が良い結果が得られなかった例である．そこで，点群の奥行方向の成分に対し点群画像上で最小値フィルタ処理を施しノイズ除去を行った．フィルタのサイズは平面当てはめの時と同じである．ノイズ除去後法線ベクトルを求め，ルーフエッジを可視化したものを図６（ｂ）に示す．図６（ａ）と比較して，より良好な可視化が行われていることが分かる．ルーフエッジ（ａ）改良前図４ルーフエッジ（ｂ）改良後図６ルーフエッジ可視化の改良 3 4. 実写色マッピング 4.1 DLT によるキャリブレーション実写画像上の指定点（ui，vi）と対応付けがなされた点群データ（Xi，Yi，Zi）から，DLT を用いて透視投影のパラメータ p1∼p11 を求める． p = ( A T A ) −1 A T q （５）ここに，  X 1 Y1  0 0 A =  X 2 Y2  0 0   Z1 1 0 0 0 0 − u1 X 1 − u1Y1 − u1Z1   0 0 X 1 Y1 Z1 1 − v1 X 1 − v1Y1 − v1Z1  （６） Z 2 1 0 0 0 0 − u 2 X 2 − u 2Y2 − u 2 Z 2   0 0 X 2 Y2 Z 2 1 − v2 X 2 − v2Y2 − v2 Z 2   L  u1  v   1 q = u 2    v 2  M   （７）である．特徴点を必要なだけ指定できない場合，直線拘束を利用する．すなわち，透視投影では直線は直線に変換される，という性質を利用するのである．たとえば道路の縁など，線としての対応付けはできるが，線上の特徴点を対応付けしにくいといった状況で有効である．実写画像上（u2，v2）により指の線を二つの点（u1，v1），定し，対応する点群空間の線もまた二つの点（X2，Y2，Z2）で指定する．（X1，（X1，Y1，Z1）， Y1，Z1），（X2，Y2，Z2）を透視投影したとき得られる実写画像上の二つの点が，（u1，v1），（u2，v2）から定まる直線（８） α u + β v =1 上にあるという条件を設定すれば，以下の拘束条件が追加される． w = max(α , β ) （10）で式（９）を除した後，式（６），（７）に繰り込む．求めたパラメータ p1∼p11 と式（２）から，各点に対応する実写画像上の点が求まり点群の着色が可能となる． 4.2 点群着色ツール実際の着色ツールには，これまで述べてきた基本手法に加え以下のような機能を持たせている．（１）着色範囲の指定隣接オブジェクトや重なって投影される遠景・近景への誤着色を防ぐために，着色範囲を指定する機能である．透視投影された点群画像上での矩形領域指定，正射影された平面図上での多角形領域指定，高さの範囲指定なの機能を持たせた．これにより特定範囲，特定オブジェクトのみ切り出し着色を行うことができる．（２）2 次元射影変換地面や建物の壁面など，あきらかに平面形状であることが分かっている場合，2 次元射影変換を用いた方が簡単かつ安定に着色できる場合がある．実写画像上で 4 点，点群画像上で対応する 4 点を指定し，これらから 2 次元射影変換を求める．求めた 2 次元射影変換により点群と実写画像の対応付を行い，実写色をマッピングする．この方法によれば広範囲の地面を着色する際，GoogleEarth の衛星画像を利用し簡単にラフな着色を行うこともできる．衛星画像と点群を正射影した平面図との間の 2 次元射影変換を求め，これを用いて対応付け・着色を行う． 5. 実験と評価 5.1 着色精度着色精度を検証するための実験を行った．対象としたのは，東京工科大学のキャンパス内にある，比較的複雑な形状をした建築物（図７：片柳研究所棟）である． α X i p1 + α Yi p 2 + α Z i p 3 + α p 4 + β X i p 5 + β Yi p 6 + β Z i p 7 + β p 8 （９） − X i p 9 − Yi p10 − Z i p11 = 1 ここに，i =1，2 である．式（９）を式（６），（７）に繰り込み直線拘束まで考慮した DLT 計算を行う．この時，式（９）をそのまま用いると，点拘束と直線拘束の間の数値的なオーダーの違いにより直線拘束がうまく機能しない．そこで点拘束と直線拘束の強さを調整する重み係数図７実験対象の建築物と特徴点 4 DLT によるキャリブレーションでは，一般的に指定した特徴点の数が多いほど高い精度が得られると考えられる．一方，人手による対応付けの負荷は，特徴点の数が少ないほど小さい．実験では，特徴点の数を最小の 6 点（図７の①∼⑥），さらに 11 点（同①∼⑪），16 点（① ∼⑯）の 3 ケースについて行った．これらを今後，学習点と呼ぶことにする．精度検証は，学習点とは別に設定した 9 個の検証点（図７の A∼I）により行う．その手順は以下の通りである．上記 3 ケースに関しキャリブレーションを行い，透視投影を求める．求めた透視投影で点群の検証点を実写画像上に投影し，実写画像上で指定された検証点との距離を求め誤差を評価する．結果を表１に示す．学習点の数が 6，11，16 のそれぞれに対し，平均誤差は 3.90，3.45 ， 2.85 であった．学習点の数を増やすと精度が向上することが確認できたが，最小 6 点の指定の場合でも平均 4 画素以下の精度が得られている．表１キャリブレーション精度ケース１（６点）ケース２（１１点）ケース３（１６点）から遠い地面の部分で歪みが大きくなり，縞状のパターンが発生している．これに対し図９のケース３では，図８の左輪郭部の誤着色は消え，地面の歪みも小さく抑えられていることが分かる．次に直線拘束の効果を検証する．対象としたのは図 10 に示す遠景の建物と広大な斜面からなる空間である．点群データは複数個所で撮影した結果をマージして作成している．学習点として①∼⑥を指定しキャリブレーションを行った後，着色した結果を図 11 に示す．学習点の近傍（遠景の建物の付近）ではほぼ正しく着色されているが，学習点から離れるにつれ歪が大きくなっていることが分かる．芝生領域が実際より狭い範囲に着色されているとともに，坂道の色が横方向にずれ芝生領域に食い込んでいる．平均誤差（画素）最大誤差（画素） 3.90 5.55 3.45 5.89 2.85 4.09 求めた透視投影により，点群に着色した結果を図８（ケース１），図９（ケース３）に示す．図８のケース１では，棟の左輪郭部に空の色が誤着色されているのが見られる．また，学習点図 10 直線拘束の実験対象図 11 直線拘束なし着色結果図８ケース１（6 点）着色結果図９ケース３（16 点）着色結果図 12 直線拘束あり着色結果 5 学習点①∼⑥に加え，直線拘束⑦，⑧（破線の部分）を追加した結果が図 12 である．直線拘束が良く働き，全域にわたってほぼ正しく着色されていることが確認できる．なお坂道の中央部がほとんど空白となっているのは，レーザーミラースキャナの死角となり点群が撮影できなかったためである． 5.2 着色結果と評価約 300ｍの範囲に及ぶ東京工科大学キャンパスの点群データ（約 120 万点）を，本方式を用いて着色した．点群データは 6 個所で撮影したものをマージして作成している．着色に要した作業時間は，画像の選択，作業のやり直しなども含め約４時間程度であった．まだ NPR 的効果は施していないが，リアルタイムでウォークスルーできる点群ベースコンテンツを試作している．結果の一例を図 13 に示す．なお図 13 で，空と地面の一部（点群の密度が低い部分）については，透視投影して画像化した後，人為的に点群を発生させそれらしい色を着色している．図 13 キャンパスの着色結果の一例最後に，4.2 で述べた着色範囲の指定や 2 次元射影変換などの付加機能も用いて着色した結果を図 14 に示す．銀杏並木のデータであるが，建築物などに比べ，特徴点が指定しにくく，また木の幹の部分と地面・遠景などの間で誤着色が発生しやすいケースである．着色範囲の指定機能を用い，銀杏と地面を分離したのち着色を行っている．銀杏並木部分については幹の最下部や梢の先端部分を特徴点として指定し，キャリブレーションの後着色している．地面については 2 次元射影変換を用いた．木の葉領域の一部に空の色が誤着色されるなどの問題もあるが，概ね良好な着色結果と考える．以上述べたように，提案した方式により実写画像を利用してほぼ実用に耐えうる精度・作業効率で，点群データの着色が行えることを確認した．図 14 銀杏並木の着色結果 6. おわりにレーザーミラーで取得した点群データに，実写画像を用いて着色を施す方法を提案した．まず，人手で実写画像上の特徴点（たとえば建物のコーナーなど）と点群データの特徴点の対応付けを行う．点群データの特徴点の視認を容易にするため，点群画像上でジャンプエッジとルーフエッジを可視化する．対応付け結果に基づき点群から実写画像への透視投影を求め，これを用いて点群の着色を行う．実用ツール化するため，着色範囲の指定機能，２次元射影変換を用いた着色機能なども実装した．実験の結果，概ね実用に耐えうる精度・作業効率で着色が行えることを確認した．今後は，着色した点群データに基づく NPR（たとえば点描画風）コンテンツ制作手法の開発を行っていく予定である．参考文献１）池内，倉爪，西野，佐川，大石，高瀬： The Great Buddha Project−大規模文化遺産のデジタルコンテンツ化−，日本バーチャルリアリティ学会論文誌，Vol.7，No.1，pp.103-113 （2002）２）N. Snavely, S. M. Seitz and R. Szeliski: Photo Tourism: Exploring Photo Collections in 3D, SIGGRAPH 2006, pp.835-846 ３）浅井，神原，横矢：全方位距離画像と全方位カラー画像の統合による屋外環境の三次元モデル化，画像電子学会誌，Vol. 34， No. 5， pp.529-538（2005）４）倉爪，西野，M.D. Wheler，池内：リフレクタンスと濃淡エッジを用いたテクスチャのアラインメント，電子情報通信学会論文誌 DⅡ，Vol.J85-D-Ⅱ，No.6，pp.1038-1046（2002）５）椛島，原，倉爪，岩下，長谷川：幾何学的整合性に基づくレンジデータとカラー画像の位置合わせ，情報処理学会研究報告， 2006-CVIM-153-5，pp. 25-32（2006） 6