UAVに搭載されたデジタルカメラを用いた 高精細3次元点群やDSM

UAVに搭載されたデジタルカメラを用いた
高精細3次元点群やDSM・オルソの検証
地理空間基盤技術部 兼 技術管理部 UAV推進G
村木広和
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
0
代表的なSfM( Structure From Motion)
■SfMソフトウェアの一覧表
製品名
(呼称)
PhotoScan
Smart3DCapture
Pix4DMapper
開発会社
Agisoft社
Acute3D社
Pix4D社
機 能
(共通)
特徴
一般
価格
どのソフトウェアもSfM技術のアルゴリズムを用い、航空写真から三次元モデルデータを生成するもので
ある。
・多量の静止画像や動画で撮影された画像からカメラの撮影位置を推定し、三次元モデルデータに反映す
る。
・画像処理は、ほぼ自動処理にて実行される。処理時間の比較はされていない。
・三次元モデルデータはどれも精細に表現されているが、精度比較を示す事例はまだない。
・ソフトウェアは最も低価格で ・町全体のような大量画像を一括で ・キャリブレーション補正を撮影
ある。
処理することには長けている。
画像を用いて精細に実施している
・カメラレンズのキャリブレー ・キャリブレーション補正は、
ので厳密な写真測量では2社より
ション(レンズ歪みや補正処
PhotoScanと同様である。
向いていると評価される。
理)を解析処理時に同時に調整 ・3次元建物のTIN表示等は非常に優 ・欧米ではUAVで露天掘りの出来
していないので、高精度な写真 れているので、ビューワ表示が精細 高管理に本ソフトウェアを用いて
測量には他ソフトウェアより劣 であると評価される。
いる。市場は大きいと聞いている。
ることが指摘されている。
①プロフェッショナル: 約50
約250万/1L使用料で毎年費用が必
万/1L
約100万/1L
要
②スタンダード: 約3万/1L
アカデミッ
ク
-
-
約50万/L
レンタル
-
-
月額約6万/L
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
1
SfMソフトウェアの処理と成果物




数千枚の画像から次のデータを作成します
3Dポイントクラウド
3D DSM(Digital Surface Model)
オルソモザイク
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
2
SfMソフトウェアの主な処理
ステップ 1: 初期処理
ステップ 2: 高密度ポイントクラウド
ステップ 3: DSMとオルソモザイク
( initial processing )
( point densification )
( DSM & orthomosaic)
画像
カメラキャリブレーション
⇒ カメラキャリブレーショ
ン
⇒ ポイントクラウド
ポイントクラウド
⇒ DSM とオルソモザイク
のカ
最メ
適ラ
化モ
デ
ル
地
理
情
報
の
ドポンドポ
高イグのイ
密ン フン
度ト ィト
化ク ルク
ラ タラ
ウ リウ
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
DSM
のキ
マー
ッポ
チイ
ンン
グト
GPS/GCP
抽キ
出ー
ポ
イ
ン
ト
の
作
成
オ
ル
ソ
画
像
ブオ
レル
ンソ
デモ
ィザ
ンイ
グク
3
SfMソフトウェアの機能
画像 ⇒ カメラキャリブレーション
キーポイントの抽出
キーポイントマッチン
グ
画像毎に60,000個
のキーポイントを
取得
カメラモデル最適
化
GPS/GCP
地理情報
600,000個のマッ
チング⇒ 150,000
個の3Dポイント
(100枚の画像に
おいて)
GPSによる最適値か
GCPによる標定
画像ペア毎に平均 6,000個の
マッチング
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
4
キーポイントの抽出
 最適な画像の例




岩場、ブッシュ、土
建物、都市
10MP(メガピクセル)
10‘000点以上のキーポイントが得ら
れる画像
 困難な画像の例
 砂地, 雪原, 霧
 ぼやけた画像、フォーカスが合っていな
い画像
 露出過度、露出不足
 3MP以下の画像
 100点のキーポイントも得られない画像
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
5
キーポイントマッチング
 マッチしやすい場合
 画像同士のキーポイントが多い場合
 画像間のオーバーラップが大きい場合
 マッチしにくい場合




画像同士のキーポイントが少ない場合
低高度から撮影された木々
大幅な移動や極端な撮影角度変更
オーバーラップが小さい場合(60パーセ
ント以下)
 マッチできない場合
 光を反射する物体(水など)
 動いている物体
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
6
マッチ精度に関して
十分なマッチング:
– 画像毎に1000点以上のマッチ
– オーバーラップ、画像サイズ、画像内の特徴物に依存します
– 画像サイズが小さい場合
⇒
– 画像内の特徴物が少ない場合
– 例えば12MPの画像では
>1000 matches
⇒
より大きいオーバーラップが必要
⇒
より大きいオーバーラップが必要
75%のオーバーラップが推奨されます
<100 matches
75% オーバーラップ
十分なマッチポイント数
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
20% オーバーラップ
不十分なマッチポイント数
7
カメラキャリブレーション
 良いキャリブレーション
 キャリブレーション誤差: 誤差の伝播と拡
大
 十分なマッチポイントは、キャリブレー
ション誤差を防ぎます
 (1画像に1000個以上のマッチポイント)
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
8
絶対標定精度
 GCP
– 大抵、1000枚の画像に対して5個から8個
– 品質レポートは投影誤差を示します
– 良いキャリブレーション + GCP
• ⇒ 分解能(GSD)の最大1から2倍程度
の誤差
 検証点
– 誤差はGCPの場所で最小になります:全体
の精度を評価するのには適していません
– 検証点は最適化には利用しないこと
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
9
高密度PoinrCloud精度
 Point Cloudの精度
– 適したカメラ: 分解能の1.2倍の誤差
– 点が少ない場所では、最大で分解能の3倍の誤差
 絶対精度(Global Accuracy)
– キャリブレーション誤差+ジオリファレンス誤差+点郡の誤差
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
10
撮影計画
 理想的な飛行計画
 規則的な格子状の飛行経路
 単純な地形 ⇒ 前方に75%、 横側
に50%
 複雑な地形 ⇒ 前方に85%、 横側
に 60%
 良くない飛行計画
オーバーラップが小さい
同じ位置から複数の画像を撮影する
1ラインの撮影
隣り合う画像間の高低差が
(>2xGSD)
 極端な対地高度変化




Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
11
出力成果フォーマット
Pix4uav 出力
ラスターオルソモザイク
フォーマット
geoTIFF (.tiff)
KML tiles (.png/.kml)
利用事例
対応するソフトウェアの例
全体像の表示
構造物のデジタル化
領域説明
GISデータとの重ね合わせ
マルチスペクトルデータの解析
ArcGIS
Global Mapper
QuantumGIS
AutoCAD
Google Earth
歪み修正画像
TIFF (.tiff)
ステレオビュー
ImageMaster
元画像毎のオルソ/プレー
ナー画像
geoTIFF (.tiff)
シームライン編集
OrthoVista
3Dポイントクラウド
.las, .ply, .ascii
可視化
サーフェイス編集
DSM作成
DTM作成
ArcGIS
Global Mapper
AutoCAD
Quick Terrain Reader
3D Reshaper
Trimble RealWorks Viewer
ラスターデジタルサーフェ
イスモデル (DSM)
テクスチャ付き3Dメッシュ
geoTIFF (.tiff)
Wavefront (.obj)
サーフェイス解析
体積の測定
等高線の作成
ブレイクラインの作成
ArcGIS
Global Mapper
QuantumGIS
アニメーション用のレンダリング
小さなプロジェクトの表示
AutoCAD
Quick Terrain Reader
Bentley Pointools View
CC Viewer
3D Reshaper
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
12
大量の画像データを簡単にオルソ&モザイク処理
高度:80m 地上分解能:2cm
範囲:122m×130m 写真枚数:56枚
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
13
オルソモザイク画像(処理時間:40分)
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
14
オルソモザイク画像上で断面、面積等の計測例
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
15
砂防ダムの例
砂防ダム
Ortho mosaic data
Average GSD 3.64cm
UAV altitude 150m
847 photo images use
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
16
農業利用の例(近赤外カメラで撮影)
NIR Channel
NIR Radiance data
(Special R/G/NIR channel digital camera use)
Approx 75m
Approx 55m
Average GSD 2.43cm
UAV altitude 70m
74 photo images use
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
Copyright Haruhiko Yamamoto
Yamaguchi Univ.
Faculty of Agriculture
17
地上からの撮影:ローザンヌの教会
GPS機能付Sony Cybershot
手持ちで撮影
写真枚数:69枚
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
18
教会の3次元ポイントクラウド
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
19
Point Cloudデータ合成
日本測量協会主催のUAV講習会
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
20
宮崎県えびの市(UAV空撮)
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
21
宮崎県えびの市(Point Cloudデータ)
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
22
宮崎県えびの市(PointCloudデータ)
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
23
宮崎県えびの市(手持ち撮影)
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
24
宮崎県えびの市(PointCloudデータ)
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
25
宮崎県えびの市(PointCloudデータ)
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
26
宮崎県えびの市(UAV空撮+地上写真)
UAV投影中心
地上写真
投影中心
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
27
トンネル(PointCloudデータ生成)
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
28
トンネル(PointCloudデータ生成)
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
29
トンネル(PointCloudデータ生成)
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
30
トンネル(PointCloudデータ生成)
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
31
橋梁等の3次元計測例
 入力データ条件
 枚数=173枚(画像サイズ:1920×1080)
 カメラ情報及び撮影位置情報(位置と傾き)無し
 GCP無し
 VisualSFM(Bundlerを元に作成されたフリーソフト)処理結果
 PhotoScan(Agisoft社)処理結果
 Pix4DMapper(Pix4D社)処理結果
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
32
Bundler
 オープンソースである
 開発者:Cornell University Noah.Snavely氏
 コンピュータサイエンス学部 助教授
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
33
VisualSFM処理結果
赤線は、実際の構造物壁
面のXY上でのベクトル線
構造物の側面を平行に撮影した
斜め写真を平行に撮影し接続を
行った
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
34
PhotoScan処理結果
赤線は、実際の構造物壁
面のXY上でのベクトル線
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
35
Pix4DMapper処理結果
赤線は、実際の構造物壁
面のXY上でのベクトル線
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
36
単独測位GPSでの解析とGCPを入れた場合の結果
単独測位撮影位置のみの解析結果
青色丸が撮影位置、緑色丸が解析調整後の撮影位置
撮影条件:
撮影高度:120m
焦点距離:17mm固定焦点レンズ
地上分解能:21mm
撮影枚数:75枚撮影を行った。
撮影コースは、4コースをクロス
方式で撮影
単独測位撮影位置+地上基準点(5点)を組合せた解析結果
青色丸が撮影位置、緑色丸が解析調整後の撮影位置
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
37
横断測量との比較
横断測量の計測ポイント
表-1 図-3の横断測量ポイント計測精度表
単位:m
測点名
VRS観測標高
値
単独調整標高
値
VRSと単独の差分
ΔZ
単独調整+
基準点標高
VRSと単独+基準点の差分
ΔZ
101
42.262
47.00
4.738
42.330
0.068
103
42.442
47.12
4.678
42.470
0.028
104
42.559
47.07
4.511
42.570
0.011
105
42.489
46.82
4.331
42.510
0.021
106
43.087
47.39
4.303
43.120
0.033
108
42.932
47.35
4.418
43.000
0.068
標準偏差
4.499
0.044
平均値
4.496
0.038
最大値
4.738
0.068
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
38
最後のまとめとして
 SfMソフト毎に同じ写真画像を用いても3次元PointCloud
データの接続形状に差がある
 内部標定の(レンズキャリブレーション処理等)の調整結
果、出力パラメータなどを確認する必要がある。
 業務内容にもよるが、外部標定としてGCPを取得すること
で精度の安定化は図れるがソフト毎によるので、テストデ
ータを用いて評価し、空三(AATとBBA)の精度管理は必
要。
 点群データと撮影写真を用いた図化自動化が今後の課題で
あり重要な技術開発に繋がる
Copyright(C) 2012 KOKUSAI KOGYO CO., LTD. All Rights Reserved.
39