IPIU2007
스테레오 비젼을 위한
3장 영상의 효율적인 영상정렬 기법
백영기, 최종현, 이경무
서울대학교 컴퓨터비전 연구실
2007.2.8
Introduction
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법
What is Rectification?
• Introduction
– To transform image so that the corresponding
point should be in same height in stereo vision
system.
Computer Vision Lab.
Seoul Nat’l Univ.
IPIU2007
1/15
Introduction
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법
Binocular Rectification VS
Trinocular Rectification
* Binocular Rectification
Rectify
* Trinocular Rectification
Rectify
Computer Vision Lab.
Seoul Nat’l Univ.
IPIU2007
2/15
Introduction
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법
Pros and Cons
of Trinocular Rectification
• Pro: More accurate than binocular
rectification.
• Con: Mathematically and geometrically
complicated and ambiguous.
Computer Vision Lab.
Seoul Nat’l Univ.
IPIU2007
3/15
Goal of This Work
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법
Goal of This Work
• Efficient trinocular rectification
method.
– Intuitive
– Easy to understand graphically and
simple.
– Accurate as much as a state of the art.
Computer Vision Lab.
Seoul Nat’l Univ.
IPIU2007
4/15
Notation
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법
Notation
• Pin-hole Camera Model
Y
X  (X, Y, Z,1) : Homogeneous 3D Coordinate
X
x
C
Z
x : (x, y,1) : Imaged Homogeneous 2D Coordinate
C : Homogeneous 3D Camera Center
~
C : Inhomogeneous Coordinate of C
• Projection Matrix


~
x  PX  KR I | C
Computer Vision Lab.
Seoul Nat’l Univ.
P : 3X4 Camera Matrix
K : 3X3 Internal Parameter Matrix
R : 3X3 3D Rotation Matrix
I : 3X3 Identity Matrix
IPIU2007
5/15
Notation
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법
Notation
(Cont’d)
• Correspondence
– Between 3D points and imaged 2D points
 x  PX

x  P X
~ ~
1

 X  Ci  Q i x i
~ ~
1



X

C


Q
i
i xi

i  left , right, top
Q  KR
– Between two imaged 2D points
xi   Qi Q i 1x i   H i x i
Computer Vision Lab.
Seoul Nat’l Univ.
H : Homography
 ,  ,   : Scale Factor
IPIU2007
6/15
Notation
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법
Notation
(Cont’d)
• Rotation matrix
r1T 
 T
R   r2 
 rT 
 3 
• Original projection matrix

~
Pi  KR I | Ci

i  left , right, top
• The new projection matrix for rectification

~
Pi  KR I | Ci
Computer Vision Lab.
Seoul Nat’l Univ.

i  left , right, top
IPIU2007
7/15
Condition
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법
Condition for Trinocular Rectification
I T
d RT
I. Obtained images are parallel to a plane which is
~~~composed of three cameras centers.
II. Internal parameters of all cameras are same.
III. The angle of diagonal epipolar line should be 45º
I R
I L
I  : Rectified Image
d RL
Computer Vision Lab.
Seoul Nat’l Univ.
d
: Disparity Value
IPIU2007
8/15
Condition
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법
Condition Details
• Condition I – Rotation Matrix
– The new X-axis is parallel to baseline between
left and right camera.
~

C
r 
~

C
1
2
~ ~
C1  C 2
1

– The new Z-axis is perpendicular to a plane
composed of three camera centers.
r3 
C~
C~


~
~ ~

C

C
1
3
1  C2
~
~ ~

C

C
1
3
1  C2


– The new Y-axis is perpendicular to new X and
new Z-axis, simultaneously.
r2  r1  r3
Computer Vision Lab.
Seoul Nat’l Univ.
IPIU2007
9/15
Condition
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법
Condition Details
• Condition II – Internal Parameter
– To obtain homography for rectification, we assume the
arbitrary one similar to original internal parameter matrix
K from all projection matrices.
The rectified image with this condition
Computer Vision Lab.
Seoul Nat’l Univ.
IPIU2007
10/15
Condition
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법
Condition Details
• Condition III – Affine Transform
w : Length between left and

right camera center.
h
h : Length between top and
45 
baseline from left and
right camera.
w
– Transform matrix
1 tan 
H affine  0 w / h
0
0
Computer Vision Lab.
Seoul Nat’l Univ.
0
0
1
IPIU2007
11/15
Experimental Result
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법
Experimental Result
• Image Size : 640 x 480
• Camera Calibration
– Using calibration RIG.
• Target Image
Right
Computer Vision Lab.
Left
Seoul Nat’l Univ.
Top
IPIU2007
12/15
Experimental Result
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법
Experimental Result
• Rectified Images
Computer Vision Lab.
Seoul Nat’l Univ.
IPIU2007
13/15
Experimental Result
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법
Experimental Result
• Rectification Error
(Unit: pixel)
R-L
R-T
L-T
Average
0.113021
0.0758203
0.0730634
Minimum error
0.001007
0.0007324
0.0012408
Maximum error
0.529724
0.2337340
0.3106760
Computer Vision Lab.
Seoul Nat’l Univ.
IPIU2007
14/15
Conclusion
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법
Conclusion
• We proposed an efficient image
rectification method for trinocular stereo
vision.
– Simpler and more intuitive than previous
works.
– The accuracy of the algorithm is similar to
previous ones or better.
Computer Vision Lab.
Seoul Nat’l Univ.
IPIU2007
15/15