デジタル放送とデータ放送

情報学科CSコース情報システム(3年後期)
講義ノート
ー第9回ー
デジタル放送とデータ放送
田中克己
角谷和俊
動画像
„
動画像の情報量
„
(例) 500 x 500 x 8 x 30 = 60 Mbps
縦横画素:500
„ 1画素あたりのビット数: 8
„ 1秒当たりの表示画像枚数: 30
„
„
„
カラーテレビ信号の場合は約100Mbps
画像圧縮技術
„
„
„
差分符号化,フレーム間予測符号化
動き補償予測
周波数成分への変換と近似・省略
2
差分符号化(DPCM) (1/2)
画像を差分で表現
„
„
画像の画素値は分散
差分値は出現頻度に偏りが大
(エントロピー符号化の効果大)
10 21 29 41 50 61
10 11
8 12
15 25 34 45 56 66
15 10
9 11 11 10
20 30 41 51 60 69
20 10 11 10
25 36 44 55 65 74
30 41 50 61 71 82
画像
9 11
9
9
25 11
8 11 10
9
30 11
9 11 10 11
左画素との差分
3
差分符号化(DPCM) (2/2)
予測値による符号化
„
„
近傍の画措置から符号化する画素(注目画素)
の画素値を予測
予測値と実際の画素値との予測誤差を符号化
予測誤差E = x-(a+c-b)
10 21 29 41 50 61
b
a
c
x
※(c-b)は(x-a)に近い
15
-1
1
-1
2
-1
20
0
2
-1
-2
-1
25
1
-3
1
1
0
30
0
1
0
0
2
4
フレーム間予測符号化
„
連続するフレームは同じような内容
静止領域が多い画像に対して効率的
„
フレームメモリ
1フレーム前の画像を記憶するメモリ
50
50
50
50
50
50
50
50
50
50
50
50
0
0
0
0
0
0
50
50
50
55
50
50
50
50
55
50
50
50
0
0
-5
5
0
0
50
50
55
56
55
50
50
55
56
55
50
50
0
-5
-1
1
5
0
50
50
55
56
55
50
50
55
56
55
50
50
0
-5
-1
1
5
0
50
50
55
56
55
50
50
55
56
55
50
50
0
-5
-1
1
5
0
50
50
55
56
55
50
50
55
56
55
50
50
0
-5
-1
1
5
0
現フレームの画像
前フレームの画像
予測誤差
5
動き補償予測(1/2)
被写体の動きが大きい場合
動いた方向と距離を表す位置情報(動きベクトル)を予測値
50
50
50
50
50
50
50
50
50
50
50
50
50
50
50
55
50
50
50
50
55
50
50
50
50
50
55
56
55
50
50
55
56
55
50
50
50
50
55
56
55
50
50
55
56
55
50
50
50
50
55
56
55
50
50
55
56
55
50
50
50
50
55
56
55
50
50
55
56
55
50
50
前フレームの画像
現フレームの画像
50
50
50
50
50
50
0
0
0
0
0
0
50
50
55
55
50
50
0
0
-5
5
0
0
50
55
55
56
55
50
0
-5
-1
1
5
0
50
55
55
56
55
50
0
-5
-1
1
5
0
50
55
55
56
55
50
0
-5
-1
1
5
0
50
55
55
56
55
50
0
-5
-1
1
5
0
被写体が「右に1画素」シフトした画像
動き補償予測誤差
6
動き補償予測(2/2)
動き位置情報の検出
„
„
„
現フレームの画像を重なりのない16X16画素のブロックに
分割
上下左右15画素以内の領域を動き補償範囲とする
予測誤差が最小のブロックを最適予測ブロックとして選択
動きを調べる前フレーム内の範囲
現ブロック
現フレーム画像
同一位置のブロック
前フレーム画像
7
離散コサイン変換
離散コサイン変換(DCT: Discrete Cosine Transform)
„
„
„
画像データを周波数成分に変換する直交変換
周波数成分の数は画素数と等しい
DCT係数値を符号化
DCT
逆DCT
8
DCTの基本パターン群
基本パターン群
周波数大→
周波数大 →
DCT係数の意味
„
„
周波数成分が水平と垂直の2方向
基本パターンのを含む度合い
直流成分
200 180 160 140
175 165 135 130
DCT
130 125 115 120
100 110 105 100
画素値
逆DCT
548
46
0
-6
102
36
4
3
0
0
-7
6
-2
-7
4
4
DCT係数値
9
DCT係数の近似・省略
原画像
200 180 160 140
175 165 135 130
概略値で近似
50
0 -10
100
40
0
0
0 -10
10
129 130 113 124
0
0
103 108 107 101
204 184 156 137
0
0 -10
130 125 115 120
100 110 105 100
高周波成分省略
DCT
500
199 186 160 136
逆DCT
178 167 131 129
550
50
0
0
100
40
0
0
0
0
0
0
133 128 120 115
0
0
0
0
104 105 105 106
138 138 138 138
逆DCT
174 161 141 128
548
46
0
-6
550
0
0
0
102
36
4
3
0
0
0
0
0
0
-7
6
0
0
0
0
138 138 138 138
-2
-7
4
4
0
0
0
0
138 138 138 138
0
46
0
-6
102
36
4
3
0
0
-7
6
-7 -12 -22 -16
-2
-7
4
4
-37 -27 -32 -37
直流成分のみ
DCT係数
直流成分省略
逆DCT
逆DCT
138 138 138 138
63
43
23
3
38
29
-2
-7
10
MPEG(Motion Picture Experts Group)
デジタル動画と音声の圧縮・伸長に関する規格
ITU-TS(国際電気通信連合:旧CCITT)とISO(国際標準化機構)で制定
„
MPEG1
データ転送レート1.5Mbpsまでの動画と音響を対象
„
MPEG2
データ転送レート数M~数十Mで、放送メディアが対象
„
MPEG4
画像を物体毎に符号化できるオブジェクトベース符号化
や誤り耐性符号化を含む
„
MPEG7
映像コンテンツの標準記述手法
11
MPEG2(1/2)
„
放送メディアのための符号化方式
„
„
„
1994年仕様確定
通信,放送,蓄積用,標準テレビ,および高品質テレビ用
プロファイルとレベル
MP@ML(Main Profile at Main Level) :CSデジタル放送
MP@HL(Main Profile at High Level) :BSデジタル放送の一部
„
ハイブリッドDCT
動き補償+DCT [MP@ML]
„
圧縮率
1/10~1/40程度(最大15Mbps) [MP@ML]
12
MPEG2(2/2)
ピクチャタイプ
Iピクチャ(intra-coded picture)
„
そのピクチャ内でフレーム内符号化されたピクチャ
Pピクチャ(predictive-coded picture)
„
前方のピクチャからフレーム間予測符合化されたピクチャ
Bピクチャ(bidirectionally predictive-coded picture)
„
前後のピクチャから双方向予測符号化されたピクチャ
B2
B3
I1
B5
B6
P4
B8
B9
P7 B11 B12 P10 B14 B15 I13
GOP(N=15, M=3)
GOP(Group of Pictures)
„
„
I, P, Bピクチャが組み合わさった一組
GOPの中には必ず1つのIピクチャを含む
13
デジタル放送
MEPG-2 Systems:
映像・音声・データの同期技術
MPEG-2 TS(トランスポートストリーム)
„
ES(Elementary Stream)パケット
エンコードされた映像,音声,データコンテンツなど
„
PES(Packetized Elementary Stream)パケット
パケット化され分割されたES
„
セクション
番組選択,送受信間の同期,各種サービス
„ PSI (Program Specific Information):伝送制御信号
„ SI (Service Information):番組配列情報(EPGなど)
„ DSM-CC (Digital Storage Medeia-Command and Control):
データコンテンツ送信
14
信号多重化
各種データのパケット化,信号の多重化
映像
符号化
パケット化
PES
音声
符号化
TS化
パケット化
スクランブル
伝送路
符号化
TS
PES
セクション
マルチメディアデータ
符号化
多重(
多重(MPEG-2 System)
PES
パケット
....
ヘッダ
トランスポート
ストリーム
....
PID=k
PID=m
PID=k
PID=k
15
放送サービスと伝送プロトコル
マルチメディアサービス
EPG
テレビ
字幕・文字スーパー
データ放送
マルチメディア符号化
PSI/SI
セクション
映像・音声
PESパケット
データストリーム
データカルーセル
PESパケット
セクション
トランスポートストリーム
16
データ放送方式の種類
„
データコンテンツ
„
„
„
„
時間依存コンテンツ
時間非依存コンテンツ
ダウンロード型コンテンツ
データ放送方式
„
独立PES (MPEG2 private PES)
時刻情報を合わせて伝送(字幕,文字スーパー)
„
データカルーセル (MPEG2 DSM-CC)
DSM-CCセクション形式.ある周期で同じデータを繰り返し送信.
„
イベントメッセージ伝送方式 (セクションフォーマット)
受信機上のアプリケーションに対する同期・非同期メッセージ
(画面切り替えなど)
17
ディジタル放送コンテンツ記述言語
BML: Broadcast Markup Language
映像,静止画,音声,文字の配置,表示,サイズを制御
„ 基本記述:
XHTML1.0
„ 動作記述:
ECMAScript (Javaスクリプトベース)
DOM (文書へのアクセスAPI)
„ 表示制御:
CSS1(Cascading Style Sheets), CSS2
„ 放送用拡張機能: ARIBで規定
scriptタグ:
<script>
呼び出す関数を定義
function changePic(){
document.getElemtnyld(“pic”).data = “picture2.jpg”
}
onclick属性:
…..
選択されたときに呼び出す関数
<object onclick = “changePic()”
id =“pic”
data = “picture.jpg” type =“image/jpeg” style =“…”>
18
</object>
放送とメタデータ
番組インデックス
„
放送番組の選択や検索を補助するメタデータ
MEPG-2 Systems セクション形式
マルチシナリオ,階層化番組,ダイジェスト視聴,検索
„
2種類のセクション形式
„
„
„
ERT(Event Relation Table)
ツリー構造により番組構造を定義
„
LIT (Local-event Information Table)
番組中のシーン(時間的断片)を指定
2
3
0
1
4
5
シーン
1
2
3
4
5
6
7
19
データ放送方式の例
カルーセル型送出方式
放送センター
受信端末
衛星放送
映像&音声
映像&
映像&音声
番組オーサ
番組オーサ
リングシス
テム
送出
システム
受信機
多
重
装
置
データカルーセル
選手情報
選手情報
試合状況
選手
選手
リモコン
インタラクティブデータ
再生ソフトウエア
再生ソフトウエア
20
データ放送方式の例
- コンテンツの制御 複数コンテンツと制御情報
動画,音声
„ ナビゲーション情報
VideoとAudioを制御(時間経過,ボタン押下など)
„
if (buttonPress)
GotoPage #Page 2
else
GotoPage 5
endif
......
NO
if (buttonPress)
GotoPage #Page 2
......
V1
Video
V2
Video
V3
Video
V4
Audio
A1
Audio
A2
Audio
A3
V1
V2
ナビゲーション情報
YES
Video
V3
A1
A2
(V3, A1) (V2, A2)
({V1, V2, V3, V4,}, {A1, A2, A3})
(V1, A1)
(V2, A1)
21
データ放送方式の例
- 送出フォーマット MPEG 準拠の付加データ表現フォーマット
購入
次へ
ストリーム
MPEG
ナビゲーション情報
ナビゲーション情報
YES
① 画面上表示データ
画面上表示データ
NO
if (buttonPress)
GotoPage #Page 2
......
t
② スクリプト
③ 同期情報
MPEG 静止画
MPEG 動画・
動画・音声
22
データ放送方式の例
- コンテンツの再生 ①番組を
番組を場面単位に
場面単位に分割して
分割して構成
して構成
受信機の
受信機のメモリ
へ一場面分格納
“ボタンが
ボタンが押されたら
画面へ
次の画面
へGO“
if (buttonPress)
YES
GotoPage #Page 2
次へ
......
GotoPage #Page 2
......
if (buttonPress)
GotoPage #Page
if (buttonPress)
2
GotoPage #Page 2
else
......
GotoPage 5
endif
......
④ MPEG静止画
静止画の活用
MPEG静止画の
②画面は
画面は組み立て
…
if (buttonPress)
…
if (buttonPress)
GotoPage #Page 2
......
NO
次へ
次へ
画面上データと
スクリプト
if (but to
nPre
G ot oPag ss)
e #Pag
......
e2
if (buttonPress)
次へ
画面組立て
画面組立て
手順に
手順に従い
リモコン処理
リモコン処理
次へ
GotoPage #Page 2
......
③カルーセルで
カルーセルで送出
23
データ放送方式の例
- 動画コンテンツとデータ 動画
ナビゲーション情報
ナビゲーション情報(
情報(NI)
„
„
„
„
画面上の
画面上の静止画ボタン
静止画ボタン
ボタンの
ボタンの動作を
動作を記述した
記述したスクリプト
したスクリプト
スコア
G 1-2 T
…
選手情報
選択して
選択して受信
して受信
受信機
リモコン
論理的表現 (Authoring View)
Video
V1
Audio
A1
NI
N1
t1
N2
t2
N3
t3
物理的表現 (Transport Format)
Video Elementary
Stream 1
V1
Audio Elementary
Stream 1
A1
N1
N1
N1
N1
N2
N2
N2
N2
N3
N3
NI
t1
t2
t324