情報学科CSコース情報システム(3年後期) 講義ノート ー第9回ー デジタル放送とデータ放送 田中克己 角谷和俊 動画像 動画像の情報量 (例) 500 x 500 x 8 x 30 = 60 Mbps 縦横画素:500 1画素あたりのビット数: 8 1秒当たりの表示画像枚数: 30 カラーテレビ信号の場合は約100Mbps 画像圧縮技術 差分符号化,フレーム間予測符号化 動き補償予測 周波数成分への変換と近似・省略 2 差分符号化(DPCM) (1/2) 画像を差分で表現 画像の画素値は分散 差分値は出現頻度に偏りが大 (エントロピー符号化の効果大) 10 21 29 41 50 61 10 11 8 12 15 25 34 45 56 66 15 10 9 11 11 10 20 30 41 51 60 69 20 10 11 10 25 36 44 55 65 74 30 41 50 61 71 82 画像 9 11 9 9 25 11 8 11 10 9 30 11 9 11 10 11 左画素との差分 3 差分符号化(DPCM) (2/2) 予測値による符号化 近傍の画措置から符号化する画素(注目画素) の画素値を予測 予測値と実際の画素値との予測誤差を符号化 予測誤差E = x-(a+c-b) 10 21 29 41 50 61 b a c x ※(c-b)は(x-a)に近い 15 -1 1 -1 2 -1 20 0 2 -1 -2 -1 25 1 -3 1 1 0 30 0 1 0 0 2 4 フレーム間予測符号化 連続するフレームは同じような内容 静止領域が多い画像に対して効率的 フレームメモリ 1フレーム前の画像を記憶するメモリ 50 50 50 50 50 50 50 50 50 50 50 50 0 0 0 0 0 0 50 50 50 55 50 50 50 50 55 50 50 50 0 0 -5 5 0 0 50 50 55 56 55 50 50 55 56 55 50 50 0 -5 -1 1 5 0 50 50 55 56 55 50 50 55 56 55 50 50 0 -5 -1 1 5 0 50 50 55 56 55 50 50 55 56 55 50 50 0 -5 -1 1 5 0 50 50 55 56 55 50 50 55 56 55 50 50 0 -5 -1 1 5 0 現フレームの画像 前フレームの画像 予測誤差 5 動き補償予測(1/2) 被写体の動きが大きい場合 動いた方向と距離を表す位置情報(動きベクトル)を予測値 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 55 50 50 50 50 55 50 50 50 50 50 55 56 55 50 50 55 56 55 50 50 50 50 55 56 55 50 50 55 56 55 50 50 50 50 55 56 55 50 50 55 56 55 50 50 50 50 55 56 55 50 50 55 56 55 50 50 前フレームの画像 現フレームの画像 50 50 50 50 50 50 0 0 0 0 0 0 50 50 55 55 50 50 0 0 -5 5 0 0 50 55 55 56 55 50 0 -5 -1 1 5 0 50 55 55 56 55 50 0 -5 -1 1 5 0 50 55 55 56 55 50 0 -5 -1 1 5 0 50 55 55 56 55 50 0 -5 -1 1 5 0 被写体が「右に1画素」シフトした画像 動き補償予測誤差 6 動き補償予測(2/2) 動き位置情報の検出 現フレームの画像を重なりのない16X16画素のブロックに 分割 上下左右15画素以内の領域を動き補償範囲とする 予測誤差が最小のブロックを最適予測ブロックとして選択 動きを調べる前フレーム内の範囲 現ブロック 現フレーム画像 同一位置のブロック 前フレーム画像 7 離散コサイン変換 離散コサイン変換(DCT: Discrete Cosine Transform) 画像データを周波数成分に変換する直交変換 周波数成分の数は画素数と等しい DCT係数値を符号化 DCT 逆DCT 8 DCTの基本パターン群 基本パターン群 周波数大→ 周波数大 → DCT係数の意味 周波数成分が水平と垂直の2方向 基本パターンのを含む度合い 直流成分 200 180 160 140 175 165 135 130 DCT 130 125 115 120 100 110 105 100 画素値 逆DCT 548 46 0 -6 102 36 4 3 0 0 -7 6 -2 -7 4 4 DCT係数値 9 DCT係数の近似・省略 原画像 200 180 160 140 175 165 135 130 概略値で近似 50 0 -10 100 40 0 0 0 -10 10 129 130 113 124 0 0 103 108 107 101 204 184 156 137 0 0 -10 130 125 115 120 100 110 105 100 高周波成分省略 DCT 500 199 186 160 136 逆DCT 178 167 131 129 550 50 0 0 100 40 0 0 0 0 0 0 133 128 120 115 0 0 0 0 104 105 105 106 138 138 138 138 逆DCT 174 161 141 128 548 46 0 -6 550 0 0 0 102 36 4 3 0 0 0 0 0 0 -7 6 0 0 0 0 138 138 138 138 -2 -7 4 4 0 0 0 0 138 138 138 138 0 46 0 -6 102 36 4 3 0 0 -7 6 -7 -12 -22 -16 -2 -7 4 4 -37 -27 -32 -37 直流成分のみ DCT係数 直流成分省略 逆DCT 逆DCT 138 138 138 138 63 43 23 3 38 29 -2 -7 10 MPEG(Motion Picture Experts Group) デジタル動画と音声の圧縮・伸長に関する規格 ITU-TS(国際電気通信連合:旧CCITT)とISO(国際標準化機構)で制定 MPEG1 データ転送レート1.5Mbpsまでの動画と音響を対象 MPEG2 データ転送レート数M~数十Mで、放送メディアが対象 MPEG4 画像を物体毎に符号化できるオブジェクトベース符号化 や誤り耐性符号化を含む MPEG7 映像コンテンツの標準記述手法 11 MPEG2(1/2) 放送メディアのための符号化方式 1994年仕様確定 通信,放送,蓄積用,標準テレビ,および高品質テレビ用 プロファイルとレベル MP@ML(Main Profile at Main Level) :CSデジタル放送 MP@HL(Main Profile at High Level) :BSデジタル放送の一部 ハイブリッドDCT 動き補償+DCT [MP@ML] 圧縮率 1/10~1/40程度(最大15Mbps) [MP@ML] 12 MPEG2(2/2) ピクチャタイプ Iピクチャ(intra-coded picture) そのピクチャ内でフレーム内符号化されたピクチャ Pピクチャ(predictive-coded picture) 前方のピクチャからフレーム間予測符合化されたピクチャ Bピクチャ(bidirectionally predictive-coded picture) 前後のピクチャから双方向予測符号化されたピクチャ B2 B3 I1 B5 B6 P4 B8 B9 P7 B11 B12 P10 B14 B15 I13 GOP(N=15, M=3) GOP(Group of Pictures) I, P, Bピクチャが組み合わさった一組 GOPの中には必ず1つのIピクチャを含む 13 デジタル放送 MEPG-2 Systems: 映像・音声・データの同期技術 MPEG-2 TS(トランスポートストリーム) ES(Elementary Stream)パケット エンコードされた映像,音声,データコンテンツなど PES(Packetized Elementary Stream)パケット パケット化され分割されたES セクション 番組選択,送受信間の同期,各種サービス PSI (Program Specific Information):伝送制御信号 SI (Service Information):番組配列情報(EPGなど) DSM-CC (Digital Storage Medeia-Command and Control): データコンテンツ送信 14 信号多重化 各種データのパケット化,信号の多重化 映像 符号化 パケット化 PES 音声 符号化 TS化 パケット化 スクランブル 伝送路 符号化 TS PES セクション マルチメディアデータ 符号化 多重( 多重(MPEG-2 System) PES パケット .... ヘッダ トランスポート ストリーム .... PID=k PID=m PID=k PID=k 15 放送サービスと伝送プロトコル マルチメディアサービス EPG テレビ 字幕・文字スーパー データ放送 マルチメディア符号化 PSI/SI セクション 映像・音声 PESパケット データストリーム データカルーセル PESパケット セクション トランスポートストリーム 16 データ放送方式の種類 データコンテンツ 時間依存コンテンツ 時間非依存コンテンツ ダウンロード型コンテンツ データ放送方式 独立PES (MPEG2 private PES) 時刻情報を合わせて伝送(字幕,文字スーパー) データカルーセル (MPEG2 DSM-CC) DSM-CCセクション形式.ある周期で同じデータを繰り返し送信. イベントメッセージ伝送方式 (セクションフォーマット) 受信機上のアプリケーションに対する同期・非同期メッセージ (画面切り替えなど) 17 ディジタル放送コンテンツ記述言語 BML: Broadcast Markup Language 映像,静止画,音声,文字の配置,表示,サイズを制御 基本記述: XHTML1.0 動作記述: ECMAScript (Javaスクリプトベース) DOM (文書へのアクセスAPI) 表示制御: CSS1(Cascading Style Sheets), CSS2 放送用拡張機能: ARIBで規定 scriptタグ: <script> 呼び出す関数を定義 function changePic(){ document.getElemtnyld(“pic”).data = “picture2.jpg” } onclick属性: ….. 選択されたときに呼び出す関数 <object onclick = “changePic()” id =“pic” data = “picture.jpg” type =“image/jpeg” style =“…”> 18 </object> 放送とメタデータ 番組インデックス 放送番組の選択や検索を補助するメタデータ MEPG-2 Systems セクション形式 マルチシナリオ,階層化番組,ダイジェスト視聴,検索 2種類のセクション形式 ERT(Event Relation Table) ツリー構造により番組構造を定義 LIT (Local-event Information Table) 番組中のシーン(時間的断片)を指定 2 3 0 1 4 5 シーン 1 2 3 4 5 6 7 19 データ放送方式の例 カルーセル型送出方式 放送センター 受信端末 衛星放送 映像&音声 映像& 映像&音声 番組オーサ 番組オーサ リングシス テム 送出 システム 受信機 多 重 装 置 データカルーセル 選手情報 選手情報 試合状況 選手 選手 リモコン インタラクティブデータ 再生ソフトウエア 再生ソフトウエア 20 データ放送方式の例 - コンテンツの制御 複数コンテンツと制御情報 動画,音声 ナビゲーション情報 VideoとAudioを制御(時間経過,ボタン押下など) if (buttonPress) GotoPage #Page 2 else GotoPage 5 endif ...... NO if (buttonPress) GotoPage #Page 2 ...... V1 Video V2 Video V3 Video V4 Audio A1 Audio A2 Audio A3 V1 V2 ナビゲーション情報 YES Video V3 A1 A2 (V3, A1) (V2, A2) ({V1, V2, V3, V4,}, {A1, A2, A3}) (V1, A1) (V2, A1) 21 データ放送方式の例 - 送出フォーマット MPEG 準拠の付加データ表現フォーマット 購入 次へ ストリーム MPEG ナビゲーション情報 ナビゲーション情報 YES ① 画面上表示データ 画面上表示データ NO if (buttonPress) GotoPage #Page 2 ...... t ② スクリプト ③ 同期情報 MPEG 静止画 MPEG 動画・ 動画・音声 22 データ放送方式の例 - コンテンツの再生 ①番組を 番組を場面単位に 場面単位に分割して 分割して構成 して構成 受信機の 受信機のメモリ へ一場面分格納 “ボタンが ボタンが押されたら 画面へ 次の画面 へGO“ if (buttonPress) YES GotoPage #Page 2 次へ ...... GotoPage #Page 2 ...... if (buttonPress) GotoPage #Page if (buttonPress) 2 GotoPage #Page 2 else ...... GotoPage 5 endif ...... ④ MPEG静止画 静止画の活用 MPEG静止画の ②画面は 画面は組み立て … if (buttonPress) … if (buttonPress) GotoPage #Page 2 ...... NO 次へ 次へ 画面上データと スクリプト if (but to nPre G ot oPag ss) e #Pag ...... e2 if (buttonPress) 次へ 画面組立て 画面組立て 手順に 手順に従い リモコン処理 リモコン処理 次へ GotoPage #Page 2 ...... ③カルーセルで カルーセルで送出 23 データ放送方式の例 - 動画コンテンツとデータ 動画 ナビゲーション情報 ナビゲーション情報( 情報(NI) 画面上の 画面上の静止画ボタン 静止画ボタン ボタンの ボタンの動作を 動作を記述した 記述したスクリプト したスクリプト スコア G 1-2 T … 選手情報 選択して 選択して受信 して受信 受信機 リモコン 論理的表現 (Authoring View) Video V1 Audio A1 NI N1 t1 N2 t2 N3 t3 物理的表現 (Transport Format) Video Elementary Stream 1 V1 Audio Elementary Stream 1 A1 N1 N1 N1 N1 N2 N2 N2 N2 N3 N3 NI t1 t2 t324
© Copyright 2024 Paperzz