2012/4/2 - No.9 ディジタル映像音響情報処理2 - Basic of Digital Content Technology - No.9 Audio/Visual Information Processing 2 - 渡辺 裕 Hiroshi Watanabe ディジタルコンテンツ技術の基礎 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 1 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Analog and Digital Representations アナログ表現とディジタル表現 A/D変換 サンプリング定理 エリアジング雑音 解像度変換とディジタルフィルタ 音声信号方式 音響符号化 マルチメディアアプリケーション ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology A/D Conversion Sampling Theory Aliasing Noise Resolution Conversion and Digital Filter Audio Signal Formats Audio Coding Multimedia Application 3 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology アナログ信号からディジタル信号へ プレフィルタ処理：高周波成分の除去 標本化：時間軸における離散化 量子化：レベル値の有限n進数への変換 アナログ 信号 ディジタル 信号 プレフィルタ 標本化 4 A/D Conversion A/D 変換 2 量子化 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Analog Signal to Digital Signal Pre-filtering: Cut High Frequency Component Sampling: Discrete in Time Domain Quantization: Convert Value to Finite Digits Analog Signal 5 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology PreFiltering Sampling Quantization ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Digital Signal 6 1 2012/4/2 A/D Conversion (2) A/D変換 (2) アナログからディジタルへの変換 連続信号から離散信号へ 前処理，標本化，量子化 パルス振幅変調 (PAM) パルス符号変調 (PCM) Analog to Digital Conversion Continuous Signal to Discrete Signal Pre-Processing, Sampling, Quantization Pulse Amplitude Modulation (PAM) Pulse Code Modulation (PCM) 7 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Processing Diagram 処理ダイヤグラム 出力信号 入力信号 前処理 標本化 Input Signal Output Signal PrePreProcessing 量子化 9 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology PCM 2 3 4 5 6 7 8 9 10 11 Time 離散化・量子化信号 Digitized Samples Quantizatio on Level 8 7 6 5 4 3 2 1 0 1 2 3 4 5 6 7 Restored Signal Digitized, Quantized Signal Input Signal 8 9 10 11 8 7 6 5 4 3 2 1 0 1 2 3 4 5 6 Time Time Restored Signal Input Signal Quantization Le evel Restored Signal Input Signal Quantization Le evel Quantizatio on Level 1 Unique Code Assignment to PAM Data Restored Signal Digitized, Quantized Signal 8 7 6 5 4 3 2 1 0 10 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology PAMデータへのユニーク符号の割り当て Digitized Samples QuantiQuantization Sampling PCM 8 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 7 8 9 10 11 Input Signal 8 7 6 5 4 3 2 1 0 1 2 3 4 5 6 7 8 9 10 11 Time 再生信号 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 11 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 12 2 2012/4/2 Binary and Decimal Numbers 2進数と10進数 ２進数表現 bnbn −1 Lb1b0 . b−1b− 2 L b−m 2 = = bn 2 n + bn −1 2 n −1 + L + b1 2 1 + b0 2 0 + b−1 2 −1 + L + b− m 2 − m bnbn −1 Lb1b0 . b−1b− 2 L b−m 2 = 10 ⎧0 , bi = ⎨ ⎩1 n ∑ bi 2i i=− m Binary Representation 10 = 13 Code 0, 1 00, 01, 10, 11 000, 001, 010, 011, 100, 101, 110, 111 n 00…0, … Quant ization Level Quantized Signal 8 7 6 5 4 3 2 1 0 4 5 Bit 1 2 3 Code 0, 1 00, 01, 10, 11 000, 001, 010, 011, 100, 101, 110, 111 … 2n n 00…0, … 16 Assignment of PCM Code Quantized Signal 3 Level＃s 2 4 8 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology PCM符号の割り当て 2 Level and Bit Numbers 15 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 1 14 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Bit 1 2 3 Codeword 000 001 010 011 100 101 110 111 10 Binary Code レベル数とビット数 Level 0 1 2 3 4 5 6 7 ∑ bi 2i Example 2進符号 10 ⎧0 , bi = ⎨ ⎩1 n 10110 = 2 4 + 2 2 + 21 = 16 + 4 + 2 = 22 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Level数 2 4 8 … 2n + b−1 2 −1 + L + b− m 2 − m i=− m 例 10110 = 2 4 + 2 2 + 21 = 16 + 4 + 2 = 22 bn 2 n + bn −1 2 n −1 + L + b1 2 1 + b0 2 0 6 7 8 9 10 11 Time 時刻: 1 2 3 4 5 6 7 8 9 10 11 レベル: 7 7 6 5 3 3 4 4 1 3 7 符号: 111 111 110 101 011 011 100 100 001 011 111 / 33 bit ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Level 0 1 2 3 4 5 6 7 Codeword 000 001 010 011 100 101 110 111 Quantized Signal Quantized Signal Quant ization Level 8 7 6 5 4 3 2 1 0 1 2 3 4 5 6 7 8 9 10 11 Time Time: 1 2 3 4 5 6 7 8 9 10 11 Level: 7 7 6 5 3 3 4 4 1 3 7 Code: 111 111 110 101 011 011 100 100 001 011 111 / 33 bit 17 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 18 3 2012/4/2 Basic Data Compression – Reducing Number of Quantization Levels － 量子化レベル数の 削減 Codeword 00 01 10 11 Compression by Reducing Q-Levels Digitized Samples Quantiization Lavel Level 0 1 2 3 Input Signal 4 3 2 Level 0 1 2 3 Codeword 00 01 10 11 Compression by Reducing Q-Levels Digitized Samples Quantiization Lavel 基本的なデータ圧縮 1 0 1 2 3 4 5 6 7 8 3 2 1 0 9 10 11 1 2 3 4 5 Time 3 3 11 4 2 10 5 1 01 6 1 01 7 2 10 8 1 10 9 10 11 0 1 3 00 10 11 / 22bit 19 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 基本的なデータ圧縮 Codeword 000 001 010 011 100 101 110 111 2 Input Signal 3 4 5 6 Time 時刻: 1 2 3 4 5 6 レベル: 7 6 3 4 1 7 符号: 111 110 011 100 001 111 / 18 bit Level 0 1 2 3 4 5 6 7 21 2 3 4 Volttage 4 2 10 5 1 01 6 1 01 7 2 10 8 1 10 9 10 11 0 1 3 00 10 11 / 22bit 20 Codeword 000 001 010 011 100 101 110 111 Compresson by Reducing Sampling Frequency Digitized Samples Input Signal 8 7 6 5 4 3 2 1 0 1 2 3 4 5 6 Time 22 Quantitative Analysis Analog signal 2.5 2 1.5 1 0 5 0.5 0 -0.5 1 -1 -1.5 3 3 11 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 定量的解析 アナログ信号値 2.12 1.80 1.30 1.00 -0.50 -0.12 0 12 0.42 -0.02 -1.17 -0.08 1.84 2 3 11 Time: 1 2 3 4 5 6 Level: 7 6 3 4 1 7 Code: 111 110 011 100 001 111 / 18 bit ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 時刻 0 1 2 3 4 5 6 7 8 9 10 9 10 11 Reducing Number of Samples 8 7 6 5 4 3 2 1 0 1 8 Basic Data Compression – Compresson by Reducing Sampling Frequency Digitized Samples 7 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology － 標本点数の削減 Quan ntization L Evel Level 0 1 2 3 4 5 6 7 Time: 1 Level: 3 Code: 11 Quan ntization L Evel 2 3 11 6 Time 5 6 7 8 9 10 11 Time ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Time Analogue signal Value 0 2.12 1 1.80 2 1.30 3 1.00 4 -0.50 5 -0.12 0 12 6 0.42 7 -0.02 8 -1.17 9 -0.08 10 1.84 23 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Analog signal Voltag ge 時刻: 1 レベル: 3 符号: 11 Input Signal 4 2.5 2 1.5 1 0.5 0 -0.5 1 -1 -1.5 2 3 4 5 6 7 8 9 10 11 Time ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 24 4 2012/4/2 Quantitative Analysis (2) 定量的解析 (2) 量子化ステップ d の算出 d = 2V V：入力電圧の最大値 L：量子化レベル数 L L = 2n Calculation of Quantization step d d = 2V L = 2n 例 When V=2.2, n=4, L equals to 16, thus, d = 0.275 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 25 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology σ2q Quantization Error Power： d/2 d/2 (k )d (k+1)d kd σ 2q = 27 入力信号の分散： σ 2x σx σ = 10 log 10 σq σ 28 Quantitative Analysis (4) 量子化によるSNR(雑音対信号比） SNR( dB ) = 20 log 10 2 1 d/2 2 1 ⎡1 ⎤ =d x dx = ⎢ x 3 ⎥ 12 d ∫− d / 2 d ⎣ 3 ⎦ −d / 2 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 定量的解析 (4) d/2 d/2 2 1 d/2 2 1 ⎡1 ⎤ =d x dx = ⎢ x 3 ⎥ 12 d ∫− d / 2 d ⎣ 3 ⎦ −d / 2 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology σ2q (k )d (k+1)d kd d/2 σ 2q = 26 Quantitative Analysis (3) 定量的解析 (3) d/2 n : number of bits for code Example d = 0.275 量子化誤差電力： L n : 符号のビット数 V=2.2, n=4 のとき L=16 であるから V：Maximum value of input L：number of quantization levels 2 x 2 q SNR( dB ) = 20 log 10 (画像処理では最大値） σx σ2 = 10 log 10 2x σq σq Variance of Input signal： processing ) σ 2x ( maximum value for image σ 2x = 4V 2 σ 2x = 4V 2 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology SNR (Signal to Noise Ratio) caused by Quantization 29 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 30 5 2012/4/2 Quantitative Analysis (5) 定量的解析 (5) n ビット量子化時のSNRの算出 SNR( dB ) = 10 log 10 = 10 log 10 Calculation of SNR at n bit quantization 2 4V d 2 12 SNR( dB ) = 10 log 10 4V 2 4V 2 12 L2 = 10 log 10 = 10 log 10 12 L2 = 10(log 10 3 + 2 log10 2 ) + 20 log 10 2 = 10.79 + 6.02 n n 4V 2 d 2 12 4V 2 4V 2 12 L2 = 10 log 10 12 L2 log 10 2 ≅ 0.301 = 10(log 10 3 + 2 log10 2 ) + 20 log 10 2 n log 10 2 ≅ 0.301 log 10 3 ≅ 0.477 = 10.79 + 6.02 n log 10 3 ≅ 0.477 1bit ６ｄBの法則 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Rule: 1bit ６ｄB 31 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Sampling 標本化 連続関数を一定時間間隔で標本化して得られる系列から元の連続 関数を復元することができるか？ ゆっくり変化する入力 粗い標本でも復元できそう Can we recover original analog signal from sampled digital data? Slowly Changing Inputs 急激に変化する入力 Looks like recoverable even with coarse sampling 細かな標本化が必要そう ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 32 33 Rapidly Changing Inputs Looks like requesting fine sampling ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 34 Sampling Theorem サンプリング定理 サンプリング間隔と入力信号の最高周波数には重要な関係があり そう There is a significant relation between a sampling period and the maximum frequency of an input signal シャノンのサンプリング定理（ナイキストの定理）： – 時間関数 x(t) の周波数成分が fm(Hz) 以下に制限されている とき サンプリング間隔を 1/(2fm) 以下に制限すれば、得られた とき、サンプリング間隔を 以下に制限すれば 得られた サンプル系列からもとの連続関数を完全に復元できる。 Shannon’s Sampling Theorem (Nyquist Theorem): – “If the frequency component of an input signal x(t) is less than fm (Hz), (Hz) we can recover the original continuous signal from sampled data by setting sampling interval less than 1/(2fm)” ナイキスト間隔： T=1/(2fm), ナイキスト周波数： 2fm Nyquist Interval: T=1/(2fm), Nyquist Frequency:2fm ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 35 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 36 6 2012/4/2 Sampling Theorem (2) サンプリング定理 (2) 帯域制限された場合のフーリエ変換対は次式で与えられる ∞ (1) X ( f ) = ∫ x( t ) exp( − j 2 πft )dt ∞ x( t ) = ∫ − fm X ( f ) exp( j 2 πft )df 0 (2) x( t ) = ∫ ∞ ∑C n = −∞ n fm X ( f ) exp( j 2 πft )df − fm X(f)をフーリエ級数展開すれば次式を得る X( f ) = ⋅ exp( j 2 πfn /( 2 f m ) ) (3) ∞ ∑C X( f ) = 37 = 1 2 fm ∫ fm − fm X ( f ) ⋅ exp( − j 2πfn /( 2 f m )) df ⎛ n ⎞ ⎟⎟ x⎜⎜ − ⎝ 2 fm ⎠ (3) X(f) Cn = 1 2 fm ∫ = 1 2 fm ⎛ n ⎞ ⎟⎟ x⎜⎜ − ⎝ 2 fm ⎠ fm − fm X ( f ) ⋅ exp( − j 2πfn /( 2 f m )) df (4) X(f) Shape of X(f) f -fm 0 fm ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology -fm 39 ⎡ ∞ 1 x(t ) = ∫ ⎢ ∑ − fm ⎣n = −∞ 2 f m ≡ ∞ ⎤ ⎛ n ⎞ ⎟⎟ ⋅ exp( j 2πfn /( 2 f m ))⎥ ⋅ exp( j 2πft ) df x⎜⎜ − ⎝ 2 fm ⎠ ⎦ hn ( t ) = ∫ − fm 40 ⎡ ∞ 1 ⎢∑ ⎣ n = −∞ 2 f m ⎤ ⎛ n ⎞ ⎟⎟ ⋅ exp( j 2πfn /( 2 f m ))⎥ ⋅ exp( j 2πft ) df x⎜⎜ − ⎝ 2 fm ⎠ ⎦ ⎛ n ⎞ ⎟⎟ hn (t ) ⎝ m⎠ Where hn(t) is ≡ ∞ ∑ x⎜⎜ 2 f n = −∞ ⎛ 1 n exp⎜⎜ j 2 πf ( t − 2 fm 2 fm ⎝ fm − fm ⎛ n ⎞ ⎟⎟ hn (t ) ⎝ m⎠ ここに、hn(t)は fm f Substitute (3),(4) to (2), we obtain x(t ) = ∫ ∑ x⎜⎜ 2 f n = −∞ fm Sampling Theorem (4) 式(3),(4)を式(2)に代入すると、次式を得る fm 0 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology サンプリング定理 (4) 38 Where Cn is written as follows (4) X(f)のスペクトル形状 ⋅ exp( j 2 πfn /( 2 f m ) ) Sampling Theorem (3) ここで、フーリエ級数の係数 Cn は以下のようになる 1 Cn = 2 fm n ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology サンプリング定理 (3) (2) Fourier Series Expansion of X(f) can be written as n = −∞ ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology (1) X ( f ) = ∫ x( t ) exp( − j 2 πft )dt 0 fm Fourier Transform Pair with Limited Frequency Bandwidth n sin 2 πf m ( t − ) ⎞ 2 fm ) ⎟⎟df = n ⎠ 2πf m ( t − ) 2 fm ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology hn ( t ) = ∫ fm − fm 41 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology ⎛ 1 n exp⎜⎜ j 2 πf ( t − 2 fm 2 fm ⎝ n sin 2 πf m ( t − ) ⎞ 2 fm ) ⎟⎟df = n ⎠ 2πf m ( t − ) 2 fm ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 42 7 2012/4/2 Sampling Theorem (5) サンプリング定理 (5) 得られた結果 ⎛ n ⎞ x( t ) = ∑ x⎜⎜ ⎟⎟ hn ( t ) n = −∞ ⎝ 2 f m ⎠ ∞ x( t ) = ∞ ∑x n = −∞ n sin 2 πf m ( t − nΔ t ) 2 πf m ( t − nΔ t ) ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology ∞ ⎛ n ⎞ ⎟⎟ hn ( t ) ⎝ m⎠ ∑ x⎜⎜ 2 f n = −∞ これはサンプリング間隔がΔt = 1/(2fm) に選ばれると、連続的な入 力信号 x(t) ( ) が離散的にサンプルされた信号（PAM信号）x が離散的にサンプルされた信号（PAM信号） n と理想 的な低域通過型フィルタのインパルス応答hn(t)から再現できること を示している。 x( t ) = The obtained result The result shows that the continuous input x(t) can be recovered d ffrom sampled l d sequence (PAM signal) i l) xn and d the ideal low-pass filter’s impulse response hn(t) if the sampling interval is chosen to Δt = 1/(2fm) x( t ) = n = −∞ 43 sin 2 πf m ( t − nΔ t ) 2 πf m ( t − nΔ t ) ∞ ∑x n ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Example 例 コンパクトディクスに記録されたオーディオ信号 – １６ビットＰＣＭ – *.wav ファイル（PC/WS) – 再生周波数帯域: 0 - 22.05 kHz – サンプリング周波数: 44.1 kHz ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Audio Recorded in Compact Disk – 16bit PCM – *.wav file in PC/WS – Playback Frequency Range: 0 - 22.05 kHz – Sampling Frequency: 44.1 kHz 45 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Bitmap file RGB 24 bit 720x576 pels ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 46 Aliasing Noise 折り返し歪 44 Bitmap file RGB 24 bit 720x576 pels 47 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 48 8 2012/4/2 Aliasing Noise (2) 折り返し歪 (2) 360x288 pels without LPF aliasing noise ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 360x288 pels without LPF aliasing noise 49 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Aliasing Noise (3) 折り返し歪 (3) 360x288 pels with LPF 2D-(1,2,1) ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 360x288 pels with LPF 2D-(1,2,1) 51 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology N:1のサブサンプリングの際には，通過帯域π/Nの低域通過型フィルタ (Low Pass Filter; LPF) を適用 For N:1 sub-sampling, Low Pass Filter (LPF) with pass-band π/N 伝達関数のz変換表現 Z-transform representation of transfer function N −1 N −1 H ( z ) = ∑ h( k ) z − k H ( z ) = ∑ h( k ) z − k k =0 k =0 例 H ( z) = 1 1 1 0 1 −1 z + z + z 4 2 4 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 52 Resolution Conversion and Digital Filter 解像度変換とディジタルフィルタ 50 Example H ( z) = 53 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 1 1 1 0 1 −1 z + z + z 4 2 4 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 54 9 2012/4/2 LPF Cut-off Frequency LPF遮断周波数 実際のローパスフィルタ特性と理想ローパスフィルタ特性 遮断周波数：ωL H(jω) パワー Actual and ideal low-pass filter characteristics cut-off frequency: ωL pass passband 通過帯域 遮断帯域 1 1 stop stopband 1 1 0.5 0 H(jω) Power 0.5 ωL π 2π −2π −π −ωL 0 ωL π 周波数 2π 0 ωL π 55 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology z-変換によるシステム記述 System description by z-transform X(z) Y(z)=H(z)X(z) H(z) x(0) x(1) x(2) … h(0) h(1) … h(N-1) x(0) x(1) x(2) … y(0)y(1)y(2)y(3) … 57 1 2π 1 = 2π h( k ) = π ∫ π H ( jω )e − ωL ∫ω e − jkω jkω dω h( 0 ) = dω ωL π 1 2π 1 = 2π h( k ) = ωL = 1 ⎡e ⎤ ⎢ ⎥ 2π ⎣ jk ⎦ −ω L = sin( kω L ) kπ 58 In general, coefficients for LPF is given by the following. L jkω y(0)y(1)y(2)y(3) … Derivation of Coefficients 一般にLPFの場合，係数は次式で計算できる ωL π h(0) h(1) … h(N-1) ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 係数の算出 h( 0 ) = Y(z)=H(z)X(z) H(z) ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 56 FIR Filter FIRフィルタ X(z) 2π frequency ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology −2π −π −ωL 0 ωL π 2π ( k = ±1, ± 2 ,L , ± ( N − 1 )) ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 59 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology π ∫ π H ( jω )e − ωL ∫ω e − jkω jkω dω dω L jkω ωL = 1 ⎡e ⎤ ⎢ ⎥ 2π ⎣ jk ⎦ −ω L = sin( kω L ) kπ ( k = ±1, ± 2 ,L , ± ( N − 1 )) ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 60 10 2012/4/2 LPF Design LPFの設計 遮断周波数 ωL=π/2 を7次のフィルタで構成する場合 h( 0 ) = π 2 = 0.5 π h( 0 ) = sin( π 2 ) h( 1 ) = h( −1 ) = Cut-off frequency ωL=π/2 , 7-th order filter π = 1 π = 0.3185 h( 1 ) = h( −1 ) = sin 2( π 2 ) =0 2π sin 3( π 2 ) − 1 h( 3 ) = h( −3 ) = = = −0.1061 3π 3π 61 低ビットレート（<32kbps) – LPC(線形予測符号化)ボコーダ – マルチパス線形符号化 – CELP(符号励振線形予測) 中ビットレート(32kbps-64kbps) – ADPCM(適応差分パルス符号変調) – サブバンドADPCM 高ビットレート(>64kbps) – サブバンド符号化 – ATC(適応変換符号化)＋心理聴覚重みづけビット割り当て ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 1 π = 0.3185 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 62 Analog telephone – Speech bandwidth 4kHz -> If digitized, 8kHz sampling FM radio – Bandwidth 15kHz -> If digitized, 30kHz sampling A di CD Audio – Bandwidth 22.05kHz, 16bit -> 44.1 kHz sampling DVD audio – Bandwidth 192kHz、24bit (2 channel), 96kHz, 24bit multi-channel stereo 63 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 64 Audio Coding 音響符号化 = Audio Signal Formats アナログ電話 – 音声帯域4kHz -> もしディジタル化すれば8kHz sampling FMラジオ – 周波数帯域15kHz -> もしディジタル化すれば30kHz sampling オ デ オCD オーディオCD – 周波数帯域22.05kHz, 16bit -> 44.1 kHz sampling DVD オーディオ – 周波数帯域192kHz, 24bit (2チャンネル時のみ), 96kHz, 24bitマルチチャンネルステレオ ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology π h( 2 ) = h( −2 ) = 音声信号方式 sin( π 2 ) sin 2( π 2 ) =0 2π sin 3( π 2 ) − 1 h( 3 ) = h( −3 ) = = = −0.1061 3π 3π h( 2 ) = h( −2 ) = ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology π 2 = 0.5 π Low bitrate (<32kbps) – LPC(Linear Predictive Coding) Vocoder – Multipass Linear Predictive Coding – CELP(Code Exited Linear Prediction) Middle bitrate (32kbps (32kbps-64kbps) 64kbps) – ADPCM(Adaptive Differential Pulse Coded Modulation) – Subband ADPCM High bitrate (>64kbps) – Subband Coding – MDCT(Modified DCT)＋Psyco-acoustic weighted bit allocation 65 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 66 11 2012/4/2 Standard 符号化標準 規格とアルゴリズム Standard and Algorithm 時期 名称 ビットレート アルゴリズム Year Name Bitrate 1972 CCITT G.711 64 kbps 非線形量子化 1972 CCITT G.711 64 kbps 1984 CCITT G.721 32 kbps ADPCM Non-linear Quantization 1986 CCITT G.722 p 64 kbps サブバンドADPCM サ ンド 1984 CCITT G.721 32 kbps ADPCM 1991 CCITT G.728 16 kbps 低遅延CELP符号化 1993 ISO MPEG 32k-224kbps サブバンド+MDCT 1997 ISO MPEG AAC 32k-128kbps MDCT+ステレオ処理 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 1986 CCITT G.722 64 kbps Subband-ADPCM 1991 CCITT G.728 16 kbps Low-delay CELP 1993 ISO MPEG 32k-224kbps Subband+MDCT 1997 ISO MPEG AAC 32k-128kbps MDCT+Stereo 67 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology G.721 G.711 0 16 32 64 128 Signal Bandwidth (KHz) AM-radio G.722 224 Phone 7 G.728 4 Audio-CD D MPEG1 Layer3 FM-radio 信号帯域 (KHz) 電話 AMラジオ FMラジオ Audio-CD D MPEG AAC 15 22 MPEG AAC MPEG1 Layer3 15 7 G.728 4 G.722 G.721 G.711 0 16 32 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 69 FFT 線形 量子化 心理聴覚 モデル エントロピー 符号化 224 70 MPEG Audio Coding Scheme 符号化器の構成 サブバンド 分析 128 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology MPEG Audio 基本構成 オーディオ 入力 64 Bitrate (kbps/channel) ビットレート(kbps/チャネル) 68 Target Signal 対象信号 22 Algorithm Encoder Structure Audio Input ビットストリーム 出力 動的ビット 割り当て ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Subband Analysis FFT 71 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Linear Quantizer Psyco-acou stic Model Entropy Coding Bitstream Output Dynamic Bit Allocation ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 72 12 2012/4/2 Psyco-acoustic Analysis 心理聴覚分析 FFTによる周波数分析 – 純音成分の抽出(>7db) • 突出したスペクトルパワーに周囲のパワーを代表させる – マスキング • 純音部分と非純音部分で異なる • 高域成分を粗くサブサンプリング サブバンド分析 – 入力開始点に対して適応的に窓長を変える ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Spectrum Analysis by FFT – Extract pure tone(>7db) • Isolated high spectrum represent lower neighborhood spectrum – Masking • Different Diff t masking ki applied li d tto pure and d non-pure tone • Rough sub-sampling is applied to high frequency component Analysis window – Adaptive to a starting point of input 73 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Compression Technology Multimedia over the Internet Data File: ZIP, LZH Speech/Audio: G.723, GSM, MP3, AAC Graphics: GIF, PNG Still Image: JPEG/JPEG2000 Communication: H.261, H.263, H.264 Generic Video: MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Speech/Audio Still Image/Video Graphical Operation Synchronization Psuedo-3D Representation 3D Video 75 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Speech/Audio Application 76 Speech/Audio Format Media Player – Windows Media Player • Microsoft – Real Player • Real Communications – DivX Player • DivX Inc. IP – – – phone Skype (Microsoft) Fusion Communications Cisco Unified IP Phone ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 74 WAV – PCM 16 bit, 44.1 KHz sampling MP3 – MPEG-1 Layer 3 – iPod, Podcasting, car audio AAC – Advanced Audio Coding (MPEG-4 Audio) – iPod WMA – Microsoft windows media audio 77 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 78 13 2012/4/2 Still Image/Video Application (1) Distribution – Image/Video on the Web page – Photo Album • Flickr • Picasa – Video streaming • YouTube Communication – Videophone • Skype – Videoconferencing • H．26X based tools ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Still Image/Video Application (2) Digital Storage Media – DVD – Blu-ray – Video CD – Web Application Broadcasting – Digital Television (Terrestrial, Satellite) – HDTV – Mobile Digital Cinema 79 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Still Image/Video Format (1) Still Image/Video Format (2) BMP – PCM 8bit *RGB JBIG – Binary Image, FAX, Copying machine – Prediction, Arithmetic Coding JPEG – Natural Image, Digital Camera, Web Image – DCT, Lossy, Lossless JPEG2000 – Natural Image, Digital Cinema – Wavelet ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology H.261 – Videophone, Conferencing – Motion Compensated Interframe Prediction + DCT + Huffman Coding H.263 p Prediction – Improved H.264 – Improved Prediction, R-D optimization, Arithmetic Coding MPEG-1 – Video CD, Web application – Motion Compensated Interframe Prediction + DCT + Huffman Coding 81 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Still Image/Video Format (3) 82 Graphical Operation MPEG-2 – Digital Television, DVD, HDTV – Interlaced Video – Motion Compensated Interframe Prediction + DCT + Huffman Coding MPEG-4 – Video Creation – Object Based Audio Visual Coding – MC+DCT Video, Animation, 3D shape by Wavelet MPEG-4 AVC (Advanced Video Coding) – Mobile Video, HDTV – Improved Prediction, R-D optimization, Arithmetic Coding ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 80 Java – Programming language – Sun Microsystems – C, C++, Java Script Flash Player – Macromedia -> Adobe 83 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 84 14 2012/4/2 Synchronization Psuedo-3D Representation SMIL – The World Wide Web Consortium (W3C) Recommendation – Audio Video Synchronization, size control, transition control VRML – Virtual Reality Modeling Language – Web3D consortium, ISO/IEC JTC1/SC24 X3D – integrated 3D graphics and multimedia framework – Web3D consortium, ISO/IEC JTC1/SC24 MPEG-4 system – VRML+ – BIFS (Binary Format for Scene) W3C: a forum for information, commerce, communication, and collective understanding ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 85 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Multimedia Services and Applications 3D Video MPEG 3D AV coding – Multi-view coding • Extension of AVC – Ray space representation ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Browser Network Assisted Audio Distribution Still Image Album, Video Album Telephone/Videophone on the Internet SNS 87 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Browser 88 Tab Browser in Japan Internet Explorer – Internet Explorer 7 includes tab browser, RSS reader, search engine bar. (RSS: RDF Site Summary) Firefox (Mozilla) – Open source web browser developed by Mozilla Foundation Versions for Windows Foundation. Windows, Linux, Linux Mac OS X are all free. Safari – Developed by Apple Inc. Standard in Mac OS X. Netscape – Netscape Communications developed based on the newest code provided by Mozilla project. ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 86 Sleipnir – Free software, one of Japanese high class browser by Fenrir & Co. Grani – Browser for beginners based on Sleipnir. L Lunascape – Free tab browser developed by Graduate student of Waseda Univ. (Hidekazu Kondo) using IE component. 89 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 90 15 2012/4/2 New Browser Network Assisted Audio Distribution Chrome – Provided by Google – Free – Open Source – Multi-process, tough against freeze – Search engine and URL are unified – Consume large memory area ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 91 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Network Assisted Audio Distribution (cond.) – Online store • • • – – – Napster Mora (Japan) HMV Digital Combined with YouTube – Entertainment Office ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 93 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology Flickr (Yahoo) YouTube (Google) – Founded in Feb. 2005 – Personal broadcasting video – Noisy On2 technology (plug in) to MPEG-4 AVC – Key word based tag – Most recent, most viewed … – Active sharing – Play list – Videos/Categories/Channels/Groups Deep zoom (Microsoft) – Hardrock cafe Flickr account necessary Key word based tag Display order by most relevant, recent, interesting ... Search photos, groups, people Picasa (Google) – – Google account necessary Photo sharing by friends Google image – – – Simple image search engine Key word based Map/Street view ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 94 Still Image Album, Video Album (contd.) Still Image Album, Video Album Music: Rapsody online Movie: Film.com Game: Real Arcade Video clip HD – – – – – Real Player Windows Media Video • • 92 Network Assisted Audio Distribution (cond.) Windows Media Player – iTunes – Music Store • Network based music distribution – iPod • Personal music player, music can be copied from audio di CD – Label Information • TOC: Table of Content • Length of music • Music title, singer, album name, file type – Backup • Personal responsibility 95 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 96 16 2012/4/2 SNS Telephone/Videophone on the Internet Skype – P2P free phone system – Free video call – Messaging – Payment for connections to public phone Mixi – – – Joost (Skype Comm.) – Full screen, High quality Internet TV – P2P streaming technology – IPR protection MySpace Second Life – – – – – – Fusion Communications Started by E-Mercury in Japan 10 million users Diary, Friends, Community… California, USA 160 million accounts Personal profile, favorite music, Forum … Virtual life operated by Linden Lab. USA 7 million accounts Online game, virtual money » ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 97 SNS: Social Networking Service ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 98 More … BLOG AdSense SaaS Trackback – – – – – – – – – Web-log Diary on the Internet Tools: blogger, Movable Type Unnecessary HTML knowledge Affiliate program Advertisement on Web site by Google Software as Service Monthly rental software Track back to linked source ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 99 ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology 17
© Copyright 2024 Paperzz
