No.9 - Advanced Multimedia Systems Lab.

2012/4/2
- No.9 ディジタル映像音響情報処理2 -
Basic of Digital Content Technology
- No.9 Audio/Visual Information Processing 2 -
渡辺 裕
Hiroshi Watanabe
ディジタルコンテンツ技術の基礎
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
1
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Analog and Digital
Representations
アナログ表現とディジタル表現
„
„
„
„
„
„
„
A/D変換
サンプリング定理
エリアジング雑音
解像度変換とディジタルフィルタ
音声信号方式
音響符号化
マルチメディアアプリケーション
„
„
„
„
„
„
„
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
A/D Conversion
Sampling Theory
Aliasing Noise
Resolution Conversion and Digital Filter
Audio Signal Formats
Audio Coding
Multimedia Application
3
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
„
„
„
„
アナログ信号からディジタル信号へ
プレフィルタ処理:高周波成分の除去
標本化:時間軸における離散化
量子化:レベル値の有限n進数への変換
„
„
„
アナログ
信号
ディジタル
信号
プレフィルタ
標本化
4
A/D Conversion
A/D 変換
„
2
量子化
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Analog Signal to Digital Signal
Pre-filtering: Cut High Frequency Component
Sampling: Discrete in Time Domain
Quantization: Convert Value to Finite Digits
Analog
Signal
5
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
PreFiltering
Sampling
Quantization
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Digital
Signal
6
1
2012/4/2
A/D Conversion (2)
A/D変換 (2)
„
„
„
„
„
アナログからディジタルへの変換
連続信号から離散信号へ
前処理,標本化,量子化
パルス振幅変調 (PAM)
パルス符号変調 (PCM)
„
„
„
„
„
Analog to Digital Conversion
Continuous Signal to Discrete Signal
Pre-Processing, Sampling, Quantization
Pulse Amplitude Modulation (PAM)
Pulse Code Modulation (PCM)
7
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Processing Diagram
処理ダイヤグラム
出力信号
入力信号
前処理
標本化
Input Signal
Output Signal
PrePreProcessing
量子化
9
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
PCM
„
2
3
4
5
6
7
8
9 10 11
Time
離散化・量子化信号
Digitized Samples
Quantizatio
on
Level
8
7
6
5
4
3
2
1
0
1
2
3
4
5
6
7
Restored Signal
Digitized, Quantized Signal
Input Signal
8
9
10 11
8
7
6
5
4
3
2
1
0
1
2
3
4
5
6
Time
Time
Restored Signal
Input Signal
Quantization Le
evel
Restored Signal
Input Signal
Quantization Le
evel
Quantizatio
on
Level
1
Unique Code Assignment to PAM Data
Restored Signal
Digitized, Quantized Signal
8
7
6
5
4
3
2
1
0
10
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
PAMデータへのユニーク符号の割り当て
Digitized Samples
QuantiQuantization
Sampling
PCM
„
8
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
7
8
9 10 11
Input Signal
8
7
6
5
4
3
2
1
0
1
2
3
4
5
6
7
8
9
10 11
Time
再生信号
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
11
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
12
2
2012/4/2
Binary and Decimal Numbers
2進数と10進数
„
2進数表現
bnbn −1 Lb1b0 . b−1b− 2 L b−m 2 =
=
bn 2 n + bn −1 2 n −1 + L + b1 2 1 + b0 2 0
+ b−1 2 −1 + L + b− m 2 − m
bnbn −1 Lb1b0 . b−1b− 2 L b−m 2 =
10
⎧0
, bi = ⎨
⎩1
n
∑ bi 2i
i=− m
„
Binary Representation
10
=
„
13
Code
0, 1
00, 01, 10, 11
000, 001, 010, 011, 100, 101, 110, 111
n
00…0, …
„
Quant ization Level
Quantized Signal
8
7
6
5
4
3
2
1
0
4
5
Bit
1
2
3
Code
0, 1
00, 01, 10, 11
000, 001, 010, 011, 100, 101,
110, 111
…
2n
n
00…0, …
16
Assignment of PCM Code
Quantized Signal
3
Level#s
2
4
8
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
PCM符号の割り当て
2
Level and Bit Numbers
15
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
1
14
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
„
Bit
1
2
3
Codeword
000
001
010
011
100
101
110
111
10
Binary Code
レベル数とビット数
Level
0
1
2
3
4
5
6
7
∑ bi 2i
Example
2進符号
„
10
⎧0
, bi = ⎨
⎩1
n
10110 = 2 4 + 2 2 + 21 = 16 + 4 + 2 = 22
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Level数
2
4
8
…
2n
+ b−1 2 −1 + L + b− m 2 − m
i=− m
例
10110 = 2 4 + 2 2 + 21 = 16 + 4 + 2 = 22
„
bn 2 n + bn −1 2 n −1 + L + b1 2 1 + b0 2 0
6
7
8
9
10 11
Time
時刻:
1
2
3
4
5
6
7
8
9 10 11
レベル: 7
7
6
5
3
3
4
4
1
3
7
符号: 111 111 110 101 011 011 100 100 001 011 111 / 33 bit
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Level
0
1
2
3
4
5
6
7
Codeword
000
001
010
011
100
101
110
111
Quantized Signal
Quantized Signal
Quant ization Level
„
8
7
6
5
4
3
2
1
0
1
2
3
4
5
6
7
8
9
10 11
Time
Time: 1
2
3
4
5
6
7
8
9 10 11
Level: 7
7
6
5
3
3
4
4
1
3
7
Code: 111 111 110 101 011 011 100 100 001 011 111 / 33 bit
17
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
18
3
2012/4/2
Basic Data Compression –
Reducing Number of Quantization Levels
- 量子化レベル数の
削減
Codeword
00
01
10
11
„
Compression by Reducing Q-Levels
Digitized Samples
Quantiization Lavel
Level
0
1
2
3
„
Input Signal
4
3
2
Level
0
1
2
3
Codeword
00
01
10
11
Compression by Reducing Q-Levels
Digitized Samples
Quantiization Lavel
基本的なデータ圧縮
1
0
1
2
3
4
5
6
7
8
3
2
1
0
9 10 11
1
2
3
4
5
Time
3
3
11
4
2
10
5
1
01
6
1
01
7
2
10
8
1
10
9 10 11
0
1
3
00 10 11 / 22bit
19
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
基本的なデータ圧縮
Codeword
000
001
010
011
100
101
110
111
2
„
Input Signal
3
4
5
6
Time
時刻:
1
2
3
4
5
6
レベル: 7
6
3
4
1
7
符号: 111 110 011 100 001 111 / 18 bit
Level
0
1
2
3
4
5
6
7
21
2
3
4
Volttage
4
2
10
5
1
01
6
1
01
7
2
10
8
1
10
9 10 11
0
1
3
00 10 11 / 22bit
20
Codeword
000
001
010
011
100
101
110
111
Compresson by Reducing Sampling
Frequency
Digitized Samples
Input Signal
8
7
6
5
4
3
2
1
0
1
2
3
4
5
6
Time
22
Quantitative Analysis
Analog signal
2.5
2
1.5
1
0 5
0.5
0
-0.5 1
-1
-1.5
3
3
11
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
定量的解析
アナログ信号値
2.12
1.80
1.30
1.00
-0.50
-0.12
0 12
0.42
-0.02
-1.17
-0.08
1.84
2
3
11
Time:
1
2
3
4
5
6
Level:
7
6
3
4
1
7
Code: 111 110 011 100 001 111 / 18 bit
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
時刻
0
1
2
3
4
5
6
7
8
9
10
9 10 11
Reducing Number of Samples
8
7
6
5
4
3
2
1
0
1
8
Basic Data Compression –
Compresson by Reducing Sampling
Frequency
Digitized Samples
7
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
- 標本点数の削減
Quan
ntization
L Evel
Level
0
1
2
3
4
5
6
7
„
Time:
1
Level: 3
Code: 11
Quan
ntization
L Evel
2
3
11
6
Time
5
6
7
8
9
10 11
Time
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Time Analogue signal Value
0
2.12
1
1.80
2
1.30
3
1.00
4
-0.50
5
-0.12
0 12
6
0.42
7
-0.02
8
-1.17
9
-0.08
10
1.84
23
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Analog signal
Voltag
ge
時刻:
1
レベル: 3
符号: 11
Input Signal
4
2.5
2
1.5
1
0.5
0
-0.5 1
-1
-1.5
2
3
4
5
6
7
8
9
10 11
Time
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
24
4
2012/4/2
Quantitative Analysis (2)
定量的解析 (2)
„
„
量子化ステップ d の算出
d = 2V
V:入力電圧の最大値
L:量子化レベル数
L
L = 2n
„
Calculation of Quantization step d
d = 2V
L = 2n
„
例
When V=2.2, n=4, L equals to 16, thus,
d = 0.275
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
25
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
σ2q
„
Quantization Error Power:
d/2
d/2
(k )d
(k+1)d
kd
σ 2q =
27
„
入力信号の分散:
σ 2x
σx
σ
= 10 log 10
σq
σ
28
Quantitative Analysis (4)
„
量子化によるSNR(雑音対信号比)
SNR( dB ) = 20 log 10
2
1 d/2 2
1 ⎡1 ⎤
=d
x dx = ⎢ x 3 ⎥
12
d ∫− d / 2
d ⎣ 3 ⎦ −d / 2
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
定量的解析 (4)
„
d/2
d/2
2
1 d/2 2
1 ⎡1 ⎤
=d
x dx = ⎢ x 3 ⎥
12
d ∫− d / 2
d ⎣ 3 ⎦ −d / 2
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
σ2q
(k )d
(k+1)d
kd
d/2
σ 2q =
26
Quantitative Analysis (3)
定量的解析 (3)
d/2
n : number of bits for code
Example
d = 0.275
量子化誤差電力:
L
n : 符号のビット数
V=2.2, n=4 のとき L=16 であるから
„
V:Maximum value of input
L:number of quantization levels
2
x
2
q
SNR( dB ) = 20 log 10
„
(画像処理では最大値)
σx
σ2
= 10 log 10 2x
σq
σq
Variance of Input signal:
processing )
σ 2x ( maximum value for image
σ 2x = 4V 2
σ 2x = 4V 2
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
SNR (Signal to Noise Ratio) caused by Quantization
29
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
30
5
2012/4/2
Quantitative Analysis (5)
定量的解析 (5)
„
„
n ビット量子化時のSNRの算出
SNR( dB ) = 10 log 10
= 10 log 10
Calculation of SNR at n bit quantization
2
4V
d 2 12
SNR( dB ) = 10 log 10
4V 2
4V 2 12 L2
= 10 log 10
= 10 log 10 12 L2
= 10(log 10 3 + 2 log10 2 ) + 20 log 10 2
= 10.79 + 6.02 n
n
4V 2
d 2 12
4V 2
4V 2 12 L2
= 10 log 10 12 L2
log 10 2 ≅ 0.301
= 10(log 10 3 + 2 log10 2 ) + 20 log 10 2 n log 10 2 ≅ 0.301
log 10 3 ≅ 0.477
= 10.79 + 6.02 n
log 10 3 ≅ 0.477
1bit 6dBの法則
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Rule: 1bit 6dB
31
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Sampling
標本化
„
連続関数を一定時間間隔で標本化して得られる系列から元の連続
関数を復元することができるか?
ゆっくり変化する入力
粗い標本でも復元できそう
„
Can we recover original analog signal from sampled
digital data?
Slowly Changing Inputs
急激に変化する入力
Looks like recoverable
even with coarse sampling
細かな標本化が必要そう
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
32
33
Rapidly Changing Inputs
Looks like requesting fine
sampling
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
34
Sampling Theorem
サンプリング定理
„
サンプリング間隔と入力信号の最高周波数には重要な関係があり
そう
„
There is a significant relation between a sampling
period and the maximum frequency of an input signal
„
シャノンのサンプリング定理(ナイキストの定理):
– 時間関数 x(t) の周波数成分が fm(Hz) 以下に制限されている
とき サンプリング間隔を 1/(2fm) 以下に制限すれば、得られた
とき、サンプリング間隔を
以下に制限すれば 得られた
サンプル系列からもとの連続関数を完全に復元できる。
„
Shannon’s Sampling Theorem (Nyquist Theorem):
– “If the frequency component of an input signal x(t) is
less than fm (Hz),
(Hz) we can recover the original
continuous signal from sampled data by setting
sampling interval less than 1/(2fm)”
„
ナイキスト間隔: T=1/(2fm), ナイキスト周波数: 2fm
„
Nyquist Interval: T=1/(2fm), Nyquist Frequency:2fm
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
35
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
36
6
2012/4/2
Sampling Theorem (2)
サンプリング定理 (2)
„
„
帯域制限された場合のフーリエ変換対は次式で与えられる
∞
(1)
X ( f ) = ∫ x( t ) exp( − j 2 πft )dt
∞
x( t ) = ∫
− fm
„
X ( f ) exp( j 2 πft )df
0
(2)
x( t ) = ∫
„
∞
∑C
n = −∞
n
fm
X ( f ) exp( j 2 πft )df
− fm
X(f)をフーリエ級数展開すれば次式を得る
X( f ) =
⋅ exp( j 2 πfn /( 2 f m ) )
(3)
∞
∑C
X( f ) =
37
=
„
1
2 fm
∫
fm
− fm
„
X ( f ) ⋅ exp( − j 2πfn /( 2 f m )) df
⎛ n ⎞
⎟⎟
x⎜⎜ −
⎝ 2 fm ⎠
(3)
X(f)
Cn =
1
2 fm
∫
=
1
2 fm
⎛ n ⎞
⎟⎟
x⎜⎜ −
⎝ 2 fm ⎠
„
fm
− fm
X ( f ) ⋅ exp( − j 2πfn /( 2 f m )) df
(4)
X(f)
Shape of X(f)
f
-fm
0
fm
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
-fm
39
⎡ ∞ 1
x(t ) = ∫ ⎢ ∑
− fm
⎣n = −∞ 2 f m
≡
∞
„
„
⎤
⎛ n ⎞
⎟⎟ ⋅ exp( j 2πfn /( 2 f m ))⎥ ⋅ exp( j 2πft ) df
x⎜⎜ −
⎝ 2 fm ⎠
⎦
hn ( t ) = ∫
− fm
40
⎡ ∞ 1
⎢∑
⎣ n = −∞ 2 f m
⎤
⎛ n ⎞
⎟⎟ ⋅ exp( j 2πfn /( 2 f m ))⎥ ⋅ exp( j 2πft ) df
x⎜⎜ −
⎝ 2 fm ⎠
⎦
⎛ n ⎞
⎟⎟ hn (t )
⎝ m⎠
Where hn(t) is
≡
∞
∑ x⎜⎜ 2 f
n = −∞
„
⎛
1
n
exp⎜⎜ j 2 πf ( t −
2 fm
2 fm
⎝
fm
− fm
⎛ n ⎞
⎟⎟ hn (t )
⎝ m⎠
ここに、hn(t)は
fm
f
Substitute (3),(4) to (2), we obtain
x(t ) = ∫
∑ x⎜⎜ 2 f
n = −∞
fm
Sampling Theorem (4)
式(3),(4)を式(2)に代入すると、次式を得る
fm
0
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
サンプリング定理 (4)
„
38
Where Cn is written as follows
(4)
X(f)のスペクトル形状
⋅ exp( j 2 πfn /( 2 f m ) )
Sampling Theorem (3)
ここで、フーリエ級数の係数 Cn は以下のようになる
1
Cn =
2 fm
n
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
サンプリング定理 (3)
„
(2)
Fourier Series Expansion of X(f) can be written as
n = −∞
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
(1)
X ( f ) = ∫ x( t ) exp( − j 2 πft )dt
0
fm
Fourier Transform Pair with Limited Frequency
Bandwidth
n
sin 2 πf m ( t −
)
⎞
2 fm
) ⎟⎟df =
n
⎠
2πf m ( t −
)
2 fm
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
hn ( t ) = ∫
fm
− fm
41
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
⎛
1
n
exp⎜⎜ j 2 πf ( t −
2 fm
2 fm
⎝
n
sin 2 πf m ( t −
)
⎞
2 fm
) ⎟⎟df =
n
⎠
2πf m ( t −
)
2 fm
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
42
7
2012/4/2
Sampling Theorem (5)
サンプリング定理 (5)
„
„
得られた結果
⎛ n ⎞
x( t ) = ∑ x⎜⎜
⎟⎟ hn ( t )
n = −∞ ⎝ 2 f m ⎠
∞
„
x( t ) =
∞
∑x
n = −∞
n
„
sin 2 πf m ( t − nΔ t )
2 πf m ( t − nΔ t )
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
∞
⎛ n ⎞
⎟⎟ hn ( t )
⎝ m⎠
∑ x⎜⎜ 2 f
n = −∞
これはサンプリング間隔がΔt = 1/(2fm) に選ばれると、連続的な入
力信号 x(t)
( ) が離散的にサンプルされた信号(PAM信号)x
が離散的にサンプルされた信号(PAM信号) n と理想
的な低域通過型フィルタのインパルス応答hn(t)から再現できること
を示している。
x( t ) =
The obtained result
The result shows that the continuous input x(t) can be
recovered
d ffrom sampled
l d sequence (PAM signal)
i
l) xn and
d
the ideal low-pass filter’s impulse response hn(t) if the
sampling interval is chosen to Δt = 1/(2fm)
x( t ) =
n = −∞
43
sin 2 πf m ( t − nΔ t )
2 πf m ( t − nΔ t )
∞
∑x
n
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Example
例
„
„
コンパクトディクスに記録されたオーディオ信号
– 16ビットPCM
– *.wav ファイル(PC/WS)
– 再生周波数帯域: 0 - 22.05 kHz
– サンプリング周波数: 44.1 kHz
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Audio Recorded in Compact Disk
– 16bit PCM
– *.wav file in PC/WS
– Playback Frequency Range: 0 - 22.05 kHz
– Sampling Frequency: 44.1 kHz
45
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Bitmap file
RGB 24 bit
720x576 pels
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
46
Aliasing Noise
折り返し歪
„
44
„
Bitmap file
RGB 24 bit
720x576 pels
47
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
48
8
2012/4/2
Aliasing Noise (2)
折り返し歪 (2)
„
360x288 pels
without LPF
aliasing noise
„
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
360x288 pels
without LPF
aliasing noise
49
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Aliasing Noise (3)
折り返し歪 (3)
„
360x288 pels
with LPF
2D-(1,2,1)
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
„
360x288 pels
with LPF
2D-(1,2,1)
51
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
„
N:1のサブサンプリングの際には,通過帯域π/Nの低域通過型フィルタ
(Low Pass Filter; LPF) を適用
„
For N:1 sub-sampling, Low Pass Filter (LPF) with pass-band
π/N
„
伝達関数のz変換表現
„
Z-transform representation of transfer function
N −1
N −1
H ( z ) = ∑ h( k ) z − k
H ( z ) = ∑ h( k ) z − k
k =0
k =0
„
例
H ( z) =
1 1 1 0 1 −1
z + z + z
4
2
4
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
52
Resolution Conversion and Digital
Filter
解像度変換とディジタルフィルタ
„
50
Example
H ( z) =
53
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
1 1 1 0 1 −1
z + z + z
4
2
4
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
54
9
2012/4/2
LPF Cut-off Frequency
LPF遮断周波数
„
„
„
実際のローパスフィルタ特性と理想ローパスフィルタ特性
遮断周波数:ωL
„
H(jω)
パワー
Actual and ideal low-pass filter characteristics
cut-off frequency: ωL
pass
passband
通過帯域 遮断帯域
1
1
stop
stopband
1
1
0.5
0
H(jω)
Power
0.5
ωL
π
2π
−2π −π −ωL 0 ωL π
周波数
2π
0
ωL
π
55
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
z-変換によるシステム記述
„
System description by z-transform
X(z)
Y(z)=H(z)X(z)
H(z)
x(0) x(1) x(2) …
h(0) h(1) … h(N-1)
x(0) x(1) x(2) …
y(0)y(1)y(2)y(3) …
57
1
2π
1
=
2π
h( k ) =
π
∫ π H ( jω )e
−
ωL
∫ω e
−
jkω
„
jkω
dω
h( 0 ) =
dω
ωL
π
1
2π
1
=
2π
h( k ) =
ωL
=
1 ⎡e ⎤
⎢
⎥
2π ⎣ jk ⎦ −ω
L
=
sin( kω L )
kπ
58
In general, coefficients for LPF is given by the following.
L
jkω
y(0)y(1)y(2)y(3) …
Derivation of Coefficients
一般にLPFの場合,係数は次式で計算できる
ωL
π
h(0) h(1) … h(N-1)
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
係数の算出
h( 0 ) =
Y(z)=H(z)X(z)
H(z)
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
„
56
FIR Filter
FIRフィルタ
X(z)
2π
frequency
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
„
−2π −π −ωL 0 ωL π
2π
( k = ±1, ± 2 ,L , ± ( N − 1 ))
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
59
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
π
∫ π H ( jω )e
−
ωL
∫ω e
−
jkω
jkω
dω
dω
L
jkω
ωL
=
1 ⎡e ⎤
⎢
⎥
2π ⎣ jk ⎦ −ω
L
=
sin( kω L )
kπ
( k = ±1, ± 2 ,L , ± ( N − 1 ))
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
60
10
2012/4/2
LPF Design
LPFの設計
„
遮断周波数 ωL=π/2 を7次のフィルタで構成する場合
h( 0 ) =
„
π 2
= 0.5
π
h( 0 ) =
sin( π 2 )
h( 1 ) = h( −1 ) =
Cut-off frequency ωL=π/2 , 7-th order filter
π
=
1
π
= 0.3185
h( 1 ) = h( −1 ) =
sin 2( π 2 )
=0
2π
sin 3( π 2 ) − 1
h( 3 ) = h( −3 ) =
=
= −0.1061
3π
3π
„
„
„
61
低ビットレート(<32kbps)
– LPC(線形予測符号化)ボコーダ
– マルチパス線形符号化
– CELP(符号励振線形予測)
„
中ビットレート(32kbps-64kbps)
– ADPCM(適応差分パルス符号変調)
– サブバンドADPCM
„
高ビットレート(>64kbps)
– サブバンド符号化
– ATC(適応変換符号化)+心理聴覚重みづけビット割り当て
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
1
π
= 0.3185
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
„
62
„
„
„
Analog telephone
– Speech bandwidth 4kHz -> If digitized, 8kHz
sampling
FM radio
– Bandwidth 15kHz -> If digitized, 30kHz sampling
A di CD
Audio
– Bandwidth 22.05kHz, 16bit -> 44.1 kHz sampling
DVD audio
– Bandwidth 192kHz、24bit (2 channel), 96kHz, 24bit
multi-channel stereo
63
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
64
Audio Coding
音響符号化
„
=
Audio Signal Formats
アナログ電話
– 音声帯域4kHz -> もしディジタル化すれば8kHz sampling
FMラジオ
– 周波数帯域15kHz -> もしディジタル化すれば30kHz
sampling
オ デ オCD
オーディオCD
– 周波数帯域22.05kHz, 16bit -> 44.1 kHz sampling
DVD オーディオ
– 周波数帯域192kHz, 24bit (2チャンネル時のみ), 96kHz,
24bitマルチチャンネルステレオ
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
π
h( 2 ) = h( −2 ) =
音声信号方式
„
sin( π 2 )
sin 2( π 2 )
=0
2π
sin 3( π 2 ) − 1
h( 3 ) = h( −3 ) =
=
= −0.1061
3π
3π
h( 2 ) = h( −2 ) =
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
π 2
= 0.5
π
„
Low bitrate (<32kbps)
– LPC(Linear Predictive Coding) Vocoder
– Multipass Linear Predictive Coding
– CELP(Code Exited Linear Prediction)
„
Middle bitrate (32kbps
(32kbps-64kbps)
64kbps)
– ADPCM(Adaptive Differential Pulse Coded Modulation)
– Subband ADPCM
„
High bitrate (>64kbps)
– Subband Coding
– MDCT(Modified DCT)+Psyco-acoustic weighted bit
allocation
65
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
66
11
2012/4/2
Standard
符号化標準
„
„
規格とアルゴリズム
Standard and Algorithm
時期
名称
ビットレート
アルゴリズム
Year
Name
Bitrate
1972
CCITT G.711
64 kbps
非線形量子化
1972
CCITT G.711
64 kbps
1984
CCITT G.721
32 kbps
ADPCM
Non-linear
Quantization
1986
CCITT G.722
p
64 kbps
サブバンドADPCM
サ
ンド
1984
CCITT G.721
32 kbps
ADPCM
1991
CCITT G.728
16 kbps
低遅延CELP符号化
1993
ISO MPEG
32k-224kbps
サブバンド+MDCT
1997
ISO MPEG AAC
32k-128kbps
MDCT+ステレオ処理
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
1986
CCITT G.722
64 kbps
Subband-ADPCM
1991
CCITT G.728
16 kbps
Low-delay CELP
1993
ISO MPEG
32k-224kbps
Subband+MDCT
1997
ISO MPEG AAC
32k-128kbps
MDCT+Stereo
67
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
G.721 G.711
0 16 32
64
128
Signal Bandwidth (KHz)
AM-radio
G.722
224
Phone
7
G.728
4
Audio-CD
D
MPEG1 Layer3
FM-radio
信号帯域 (KHz)
電話
AMラジオ
FMラジオ
Audio-CD
D
MPEG AAC
15
22
MPEG AAC
MPEG1 Layer3
15
7
G.728
4
G.722
G.721 G.711
0 16 32
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
69
„
FFT
線形
量子化
心理聴覚
モデル
エントロピー
符号化
224
70
MPEG Audio Coding Scheme
符号化器の構成
サブバンド
分析
128
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
MPEG Audio 基本構成
オーディオ
入力
64
Bitrate (kbps/channel)
ビットレート(kbps/チャネル)
„
68
Target Signal
対象信号
22
Algorithm
Encoder Structure
Audio
Input
ビットストリーム
出力
動的ビット
割り当て
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Subband
Analysis
FFT
71
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Linear
Quantizer
Psyco-acou
stic Model
Entropy
Coding
Bitstream
Output
Dynamic
Bit Allocation
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
72
12
2012/4/2
Psyco-acoustic Analysis
心理聴覚分析
„
FFTによる周波数分析
– 純音成分の抽出(>7db)
• 突出したスペクトルパワーに周囲のパワーを代表させる
– マスキング
• 純音部分と非純音部分で異なる
• 高域成分を粗くサブサンプリング
„
サブバンド分析
– 入力開始点に対して適応的に窓長を変える
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
„
Spectrum Analysis by FFT
– Extract pure tone(>7db)
• Isolated high spectrum represent lower
neighborhood spectrum
– Masking
• Different
Diff
t masking
ki
applied
li d tto pure and
d non-pure
tone
• Rough sub-sampling is applied to high frequency
component
„
Analysis window
– Adaptive to a starting point of input
73
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Compression Technology
„
„
„
„
„
„
Multimedia over the Internet
Data File: ZIP, LZH
Speech/Audio: G.723, GSM, MP3, AAC
Graphics: GIF, PNG
Still Image: JPEG/JPEG2000
Communication: H.261, H.263, H.264
Generic Video: MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
„
„
„
„
„
„
Speech/Audio
Still Image/Video
Graphical Operation
Synchronization
Psuedo-3D Representation
3D Video
75
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Speech/Audio Application
„
„
76
Speech/Audio Format
Media Player
– Windows Media Player
• Microsoft
– Real Player
• Real Communications
– DivX Player
• DivX Inc.
„
IP
–
–
–
„
„
„
phone
Skype (Microsoft)
Fusion Communications
Cisco Unified IP Phone
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
74
WAV
– PCM 16 bit, 44.1 KHz sampling
MP3
– MPEG-1 Layer 3
– iPod, Podcasting, car audio
AAC
– Advanced Audio Coding (MPEG-4 Audio)
– iPod
WMA
– Microsoft windows media audio
77
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
78
13
2012/4/2
Still Image/Video Application (1)
„
„
Distribution
– Image/Video on the Web page
– Photo Album
• Flickr
• Picasa
– Video streaming
• YouTube
Communication
– Videophone
• Skype
– Videoconferencing
• H.26X based tools
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Still Image/Video Application (2)
„
Digital Storage Media
– DVD
– Blu-ray
– Video CD
– Web Application
„
Broadcasting
– Digital Television (Terrestrial, Satellite)
– HDTV
– Mobile
„
Digital Cinema
79
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Still Image/Video Format (1)
„
„
„
„
Still Image/Video Format (2)
BMP
– PCM 8bit *RGB
JBIG
– Binary Image, FAX, Copying machine
– Prediction, Arithmetic Coding
JPEG
– Natural Image, Digital Camera, Web Image
– DCT, Lossy, Lossless
JPEG2000
– Natural Image, Digital Cinema
– Wavelet
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
„
„
„
„
H.261
– Videophone, Conferencing
– Motion Compensated Interframe Prediction + DCT +
Huffman Coding
H.263
p
Prediction
– Improved
H.264
– Improved Prediction, R-D optimization, Arithmetic
Coding
MPEG-1
– Video CD, Web application
– Motion Compensated Interframe Prediction + DCT +
Huffman Coding
81
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Still Image/Video Format (3)
„
„
„
82
Graphical Operation
MPEG-2
– Digital Television, DVD, HDTV
– Interlaced Video
– Motion Compensated Interframe Prediction + DCT +
Huffman Coding
MPEG-4
– Video Creation
– Object Based Audio Visual Coding
– MC+DCT Video, Animation, 3D shape by Wavelet
MPEG-4 AVC (Advanced Video Coding)
– Mobile Video, HDTV
– Improved Prediction, R-D optimization, Arithmetic
Coding
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
80
„
Java
– Programming language
– Sun Microsystems
– C, C++, Java Script
„
Flash Player
– Macromedia -> Adobe
83
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
84
14
2012/4/2
Synchronization
„
Psuedo-3D Representation
SMIL
– The World Wide Web Consortium (W3C)
Recommendation
– Audio Video Synchronization, size control, transition
control
„
VRML
– Virtual Reality Modeling Language
– Web3D consortium, ISO/IEC JTC1/SC24
„
X3D
– integrated 3D graphics and multimedia framework
– Web3D consortium, ISO/IEC JTC1/SC24
„
MPEG-4 system
– VRML+
– BIFS (Binary Format for Scene)
W3C: a forum for information, commerce, communication, and collective understanding
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
85
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Multimedia Services and
Applications
3D Video
„
MPEG 3D AV coding
– Multi-view coding
• Extension of AVC
– Ray space representation
„
„
„
„
„
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Browser
Network Assisted Audio Distribution
Still Image Album, Video Album
Telephone/Videophone on the Internet
SNS
87
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Browser
„
„
„
„
88
Tab Browser in Japan
Internet Explorer
– Internet Explorer 7 includes tab browser, RSS
reader, search engine bar. (RSS: RDF Site Summary)
Firefox (Mozilla)
– Open source web browser developed by Mozilla
Foundation Versions for Windows
Foundation.
Windows, Linux,
Linux Mac OS X
are all free.
Safari
– Developed by Apple Inc. Standard in Mac OS X.
Netscape
– Netscape Communications developed based on the
newest code provided by Mozilla project.
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
86
„
„
„
Sleipnir
– Free software, one of Japanese high class browser
by Fenrir & Co.
Grani
– Browser for beginners based on Sleipnir.
L
Lunascape
– Free tab browser developed by Graduate student of
Waseda Univ. (Hidekazu Kondo) using IE
component.
89
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
90
15
2012/4/2
New Browser
„
Network Assisted Audio Distribution
Chrome
– Provided by Google
– Free
– Open Source
– Multi-process, tough against freeze
– Search engine and URL are unified
– Consume large memory area
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
„
91
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Network Assisted Audio Distribution
(cond.)
„
–
„
Online store
•
•
•
–
–
–
Napster
Mora (Japan)
HMV Digital
Combined with YouTube
–
Entertainment Office
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
93
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Flickr (Yahoo)
„
„
YouTube (Google)
– Founded in Feb. 2005
– Personal broadcasting video
– Noisy On2 technology (plug in) to MPEG-4 AVC
– Key word based tag
– Most recent, most viewed …
– Active sharing
– Play list
– Videos/Categories/Channels/Groups
„
Deep zoom (Microsoft)
– Hardrock cafe
Flickr account necessary
Key word based tag
Display order by most relevant, recent, interesting ...
Search photos, groups, people
Picasa (Google)
–
–
Google account necessary
Photo sharing by friends
Google image
–
–
–
Simple image search engine
Key word based
Map/Street view
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
94
Still Image Album, Video Album
(contd.)
Still Image Album, Video Album
„
Music: Rapsody online
Movie: Film.com
Game: Real Arcade
Video clip
HD
–
–
–
–
–
Real Player
Windows Media Video
•
•
„
92
Network Assisted Audio Distribution
(cond.)
Windows Media Player
–
iTunes
– Music Store
• Network based music distribution
– iPod
• Personal music player, music can be copied from
audio
di CD
– Label Information
• TOC: Table of Content
• Length of music
• Music title, singer, album name, file type
– Backup
• Personal responsibility
95
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
96
16
2012/4/2
SNS
Telephone/Videophone on the Internet
„
„
„
Skype
– P2P free phone system
– Free video call
– Messaging
– Payment for connections to public phone
„
Mixi
–
–
–
Joost (Skype Comm.)
– Full screen, High quality Internet TV
– P2P streaming technology
– IPR protection
„
MySpace
„
Second Life
–
–
–
–
–
–
Fusion Communications
Started by E-Mercury in Japan
10 million users
Diary, Friends, Community…
California, USA
160 million accounts
Personal profile, favorite music, Forum …
Virtual life operated by Linden Lab. USA
7 million accounts
Online game, virtual money
»
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
97
SNS: Social Networking Service
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
98
More …
„
BLOG
„
AdSense
„
SaaS
„
Trackback
–
–
–
–
–
–
–
–
–
Web-log
Diary on the Internet
Tools: blogger, Movable Type
Unnecessary HTML knowledge
Affiliate program
Advertisement on Web site by Google
Software as Service
Monthly rental software
Track back to linked source
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
99
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
17