close

Enter

Log in using OpenID

4K ・ 8K映像配信を支える 次世代メディア伝送技術MMT

embedDownload
メディア伝送
集
ISO/IEC国際標準
特
誤り訂正符号
4K・8Kサービスを実現する超高臨場感映像技術
4K ・ 8K映像配信を支える
次世代メディア伝送技術MMT
ISO/IEC動画像国際標準MPEGで,次世代メディア伝送規格MMT(MPEG
Media Transport)の標準化が進んでいます.本稿では,NTT未来ねっと研
究所提案の誤り訂正符号を中心にMMTについて説明するとともに,MMT
のユースケースとして,4K・8K映像コラボシステムについて紹介します.
MMT標準化の背景
メディア伝送規格として幅広く利用
されているISO/IEC動画像国際標準
MPEGの シ ス テ ム 規 格MPEG2-TS
*1
な か ち
たかゆき
とのむら
よしひで
仲地 孝之
外村 喜秀
やまぐち
たかひろ
ふ じ い
た つ や
/山口 高弘
/藤井 竜也
NTT未来ねっと研究所
層 化 処 理 技 術 の 普 及 を 目 指 し て,
MPEG-Hのシステム部分となり,標
MMTの議論に当初から参画し,標準
準化が進められました.MPEG-Hの
化に貢献してきました.
全体像を図 1 に示します.MPEG-H
MMTの概要
の Part1,Part10,Part11,Part12
がMMTの規格です.
MMTの基本構成を図 2 に示します.
(Transport Stream) の標準化から
MPEG2-TSは,映像や音声などコ
約20年が経過し,コンテンツ配信の環
ンテンツを構成するメディアを単一の
MPEG-H Part1(2)では,メディア配
境 が 大 き く 変 化 し て い ま す. 映 像
固定長パケットに多重化します.同じ
信に関して,①メディアのカプセル
フ ォ ー マ ッ ト は 多 様 化 す る 一 方,
コンテンツを多数のユーザへ届ける放
化,②ネットワーク配信,③制御メッ
HDTV(High Definition Television)
送などには適した方式です.しかし現
セ ー ジ を 規 定 し て い ま す.MMTは
の本格的な普及を迎えて,4K ・ 8Kな
在,映像フォーマットや伝送路は多
MPEG2-TSが対象とする領域のみな
ど高解像度なものへと移行してきまし
様化し,MPEG2-TSは標準化時には
らず,IETF(Internet Engineering
た.さらにコンテンツを利用する端末
想定していなかった用途で用いられ
Task Force) が 定 め るRTP(Real-
や,伝送路もインターネットから専用
て い ま す.MMT標 準 化 の 議 論 が 始
time Transport Protocol)などの領
線,携帯電話網,無線LAN,放送ま
まった2009年当初,MPEG2-TSを用
域も対象としています.パケット長は
で多様化しています.このような背景
いた4K ・ 8K映像伝送ではTSパケッ
可変であり,IP伝送と親和性が高く,
の下,MPEGでは高効率映像符号化
トの大きさが適さないことが指摘さ
音声 ・ 映像 ・ ファイルなどの多重化も
H E V C(H i g h E f f i c i e n c y V i d e o
れ,SVC(Scalable Video Coding)
単一または複数に自由に設定できま
Coding)の規格化と並行して,さま
や MVC(Multiview Video Coding)
す.UTC(Coordinated Universal
ざまな伝送路でのメディア伝送に対応
などのマルチレイヤ符号の複数伝送路
Time)* 3 ベースのタイムスタンプや
する新しい伝送規格として,MMT
での伝送が困難だという問題がありま
MMTシグナリングによる制御メッ
(MPEG Media Transport) の標準
した.また,伝送品質確保のために誤
セージにより,多種多様な機能を提供
化を進めてきました.NTT未来ねっ
り訂正符号などの必要性が議論されて
します.また,伝送品質確保のために
と研究所では,これまでデジタルシ
いました.これらを背景として,既存
(1)
*2
ネマ,ODS(Other Digital Stuff) ,
のメディア伝送方式の課題と新たなメ
スーパーテレプレゼンスなど,具体的
ディア伝送方式の必要性が認識され,
なアプリケーションを念頭に4K映像
MMTの標準化が開始されました.そ
伝送の研究開発を進めてきましたが,
の後,MMTはHEVCと3D Audioを組
コア技術である誤り訂正符号および階
み合わせた新たな標準規格である
*1 MPEG2-TS:現行の地上デジタル放送など
で利用されているMPEG2のメディア伝送
規格です.
*2 ODS:映画以外の映像コンテンツの劇場へ
のストリーミング配信サービスです.
*3 UTC:協定世界時.世界共通の時間の1つ
で,MMTではタイムスタンプの情報として
利用することができます.
NTT技術ジャーナル 2014.2
63
4K・8Kサービスを実現する超高臨場感映像技術
図 3 に示す誤り訂正符号を規定し,パ
コンテンツの配置位置や表示時間の指
号など,複数のAL-FEC(Application
ケットロスに対する伝送の信頼性を向
定ができます.これらは,いずれも
Layer-Forward Error Correction)
上させています.MPEG-H Part1で
MPET2-TSにはない新しい特徴です.
方式の誤り訂正符号アルゴリズムを規
は共通のシグナリングフォーマット,
(3)
MPEG-H Part10 で誤り訂正符号の
定しています.
個々の誤り訂正符号は,
強力な誤り訂正符号
エラー回復特性,演算量の観点から一
アルゴリズムを規定しています.さら
MPEG-H Part10では,さまざまな
長一短があります.リードソロモン符
にMPEG-H Part11では,表示レイア
伝送路でのパケットロスに対応するた
号は代数的構造に基づく符号で広く用
ウト制御を行うコンポジション情報
(CI)が規定されています.ディスプ
レイ内やマルチディスプレイ上での,
*4
やNTT
いられており,低ビットレートでは優
未来ねっと研究所が提案したLDGM
れたエラー回復特性を示します.しか
(Low Density Generator Matrix)符
し,符号長を長くすることが難しいた
めに,リードソロモン符号
めに,理論限界値を与えるシャノンの
通信容量* 5 に迫ることができず,十
メディアトランスポート規格
分なエラー回復特性を得ることができ
Part1:カプセル化・配信・制御
Part10:AL-FECアルゴリズム
Part11:コンポジション情報(CI)
Part12:実装ガイドライン
MMT
ません.それに対して,LDGM符号
は疎グラフに基づく符号で,符号長を
長くすることでシャノンの通信容量に
迫ることができ,特に4K ・ 8Kなどの
高ビットレート映像の伝送に適した方
式となっています(図 4 )
.
HEVC
3D Audio
Part2:高効率映像圧縮
Part3:マルチチャンネル音響
図 1 MPEG-Hの概要
レガシー
メディア
①メディアのカプセル化
ファイル
Media CODEC
*4 リードソロモン符号:バースト誤り検出 ・
訂正用のブロック符号方式の1つです.
*5 シャノンの通信容量:エラーが発生する通
信路での伝送容量限界です.符号長を長く
しないと迫ることができません.
③制御メッセージ
MFU
MMTシグナリング
MPU
②ネットワーク配信
MMTペイロード
MMTパケット
RTP,HTTP
UDP,TCP
:MMT対象外
IPパケット
パッケージ
配信形式
蓄積形式
MFU: Media Fragment Unit
MPU: Media Processinng Unit
図 2 MMTの基本構成
64
NTT技術ジャーナル 2014.2
特
集
安定した映像配信サービスを提供
LDGM符号なし
パケット欠損が起きても
画像が乱れないで再生できる
パケット欠損
LDGM符号あり
誤り訂正技術を用いた映像配信サービス
図 3 誤り訂正符号
トレート領域のみならず低ビットレー
疎グラフに基づく符号
トでのエラー回復特性を改善し,低演
算量を保持しつつリードソロモン符号
高
に匹敵する特性を示します.もう 1 つ
誤り訂正能力
LDGM符号
Turbo符号
など
は,階層型LDGM符号(5)です.一般に
LDGM符号は符号長を長くすること
代数的構造に基づく符号
リードソロモン符号
リードソロモン符号
リードソロモン符号は
ハミング符号
ハミング符号
符号長を長くできない
など
など
ブロードバンド
アプリケーション
低
数百
数千
符号長
数万
図 4 LDGM符号の位置付け
が で き る 反 面,SVCやJPEG2000な
どの階層符号化へ適用した場合は,部
分復号を行うとエラー回復特性が悪く
な る 欠 点 が あ り ま し た. 階 層 型
LDGM符号は,階層符号化されたデー
タの階層性を損なうことなく効率的に
誤り訂正を行える構造となっていま
LDGM符号は図 5 に示すようにパ
リ ティ 検 査 行 列 H
*6
に三角行列
(LDGM構造)を持つ線形符号ですが,
方で優れた復号性能を引き出すことが
す.なお,サブパケット ・ インタリー
できるイレギュラー行列を用いること
ブLDGM符号と階層型LDGM符号は,
ができます.
互いに独立ではなく同時に用いること
NTT未来ねっと研究所提案のMMTで
さらにMMTのLDGM符号では,新
規定するLDGM符号では,メッセー
しい 2 つのアルゴリズムを規定してい
ジパッシングアルゴリズム(MPA:
ます. 1 つはサブパケット ・ インタ
Massage Passing Algorithm)と呼ば
リ ー ブLDGM符 号(4)で す. 従 来 の
れる方法に準最適化された行列を使用
LDGM符号は,エラー回復特性に関
することで,少ない演算で効率的に誤
して,高ビットレートでは優れた特性
りを訂正することが可能となっていま
を示しますが,低ビットレートでは劣
す.また,
MPAおよび最尤復号
(MLD:
る欠点がありました.サブパケット ・
Maximum Likelihood Decoding)の双
インタリーブLDGM符号では,高ビッ
ができます.
MMTを用いたユースケース
MMTの機能は多岐にわたります.
代表的な機能を図 6 に示します.AL*6 パリティ検査行列H:生成行列とともに線
形符号を構成する重要な行列です. LDGM
行列では, 生成行列とパリティ検査行列Hの
関係式を基に誤りの訂正を行います.
NTT技術ジャーナル 2014.2
65
4K・8Kサービスを実現する超高臨場感映像技術
FECを用いることにより4K ・ 8Kなど
映像など好みに応じたコンテンツを大
*7
するプロダクション,音響を担当する
の高ビットレート映像を,IP共用網
画面映像と同期
して視聴すること
プロダクション等が,分業して作業を
を介して安定して伝送することができ
も可能です.通信と放送を用いたハイ
行っています.従来は,図 7(a)に示す
るのは大きな特徴です.その一方,
ブリッド伝送でも,このようなサービ
ように,プロデューサ等が,撮影,映
UTCベ ー ス の タ イ ム ス タ ン プ と 音
スを実現することが可能となります.
像 ・ 音響作成 ・ 編集の仕上げチェック
声 ・ 映像 ・ ファイルなどの多重化が柔
コンテンツ協調制作プラット
軟にできる機能を利用して,パブリッ
フォームへのMMTの適用シナリオ
クビューイングやマルチ画面を用いた
を行うために,人とコンテンツの入っ
た物理メディアの頻繁な移動が必要で
した.図 7(b)に示すように,多地点
超高臨場感TV会議など大画面映像を
近年,ハリウッド映画など大型コン
多くのユーザと共有しつつ,個別ユー
テンツの制作現場では,実写撮影を担
MMTによるコンポーネントの同期伝
ザはタブレット端末でマルチアングル
当するプロダクション,VFXを担当
送 ・ 再生が利用できるようになると,
の制作拠点間をネットワークで結び,
図 7(c)のように,遠隔地のプロデュー
サが,異なる拠点にある素材レベルの
LDGM
0
p1
0
S7
0
0
0
S8
0
S6
0
S8
0
0
S7
0
S6
0
S5
0
S7
S4
0
S6
0
S5
0
0
S4
S5
S2
0
S4
S2
S3
0
S1
S2
0
0
②
0
0
S3
③
S1
0
S3
④
0
0
⑤
S1
⑥
0
①
パケット長=1400バイト
S1
S2
0
0
0
0
p2
0
0
0
0
0
p3
0
0
0
0
0
0
p4
0
0
0
0
0
0
0
p5
0
S8
0
0
0
0
0
p6
ブロック長=14
S3
S4
S5
S6
S7
S8
ソースパケット
P2
P3
P4
せて仕上がりイメージのチェックを行
うことができるようになったり,仕上
= 0
ともできるようになります.
すなわち,
1
P5
By ⑤ S2 =S1 ○
○ S7+
○ p5 …⑦
+ S4+
となり,仕上げ ・ チェック作業を共同
P6
○: 排他的論理和(XOR)
+
図 5 LDGM符号
エリア 1
カメラ映像
ビデオ
音声
音声
アプリケーション
LDGM-FEC
超高速,低負荷
高い誤り訂正能力
大画面ディスプレイ
同期
必 要なメディア
コンポーネントの
み選択して同期
セカンドディスプレイ
フレキシブルな配信・メディア同期
図 6 MMTの代表的な機能
66
NTT技術ジャーナル 2014.2
オーディオ
キャプション
エリア 3
多様な
ネットワーク
…
制御信号
エリア 2
イメージ
…
映像
*7 同期:UTCベースのタイムスタンプが利用
できるため,複数経路で伝送したメディア
間の同期が可能ですが,同期の仕方は標準
化の対象外となっています.
ビュー
同期
蓄積
データ
物理メディアや人の頻繁な移動が不要
パリティパケット
○ S7+
○ p1
+ S2+
By ①⑦ S5 =S1 ○
ライブ
がりイメージと同期させたタイムライ
ン上でのコメントを共有したりするこ
パリティ生成
P1
実写映像,VFX,音響等を組み合わ
1
1
1
テキスト
ディスプレイへの
表示位置・時刻等を制御
マルチソースのメディア表示制御
特
集
A地点
(制作スタジオ)
(a) 従来のコンテンツ制作
プロデューサ
(意思決定)
物理メディアと
人の頻繁な移動
C地点
(制作プロダクション)
(b) ネットワークを利用したコンテンツ協調制作
B地点
(制作現場)
A地点
(制作スタジオ)
カメラマン
(撮影)
編集者
(音響)
タイムリな
意思決定作業
プロデューサ
(意思決定)
D地点
(制作プロダクション)
C地点
(制作プロダクション)
デザイナー
(VFX)
B地点
(制作現場)
編集者
(音響)
カメラマン
(撮影)
ネットワーク&MMT
ストリーム配信
and/or
ファイル転送
D地点
(制作プロダクション)
デザイナー
(VFX)
(c) MMTを適用した仕上がりイメージのプレビュー
MMTによる映像と音の同期再生
B地点から
(撮影)
C地点から
コメント
(カット挿入しました)
(音響)
D地点から
A地点へ
コメント
(TAKE2に入れ替えて)
(VFX)
プロデューサ
タイムライン
MMTによる映像ストリームの切替
図 7 コンテンツ協調制作プラットフォームへのMMTの適用例
で実施することで,編集者にリアルタ
イムに修正点をフィードバックするな
ど,プロデューサのタイムリな意思決
定が可能になり,コンテンツ制作工程
が効率化されるようになります(6).こ
れらは,MMTを利用するユースケー
スの一例であり,今後MMTの機能を
利用した新しいサービスの創出が期待
されています.
今後の方向性
NTT未来ねっと研究所では,4K ・
8K映像をより多くのユーザに利用い
ただくために,これまでに培ってきた
高信頼映像伝送技術を発展させて,複
数のベストエフォート型の共用網を介
した安定伝送,ネットワークやユーザ
利用環境の変化に即時に対応できる
ネットワーク接続技術など高信頼 ・ 高
機能化へ向けた研究開発を進めていき
ます.
■参考文献
(1) 仲地:“次世代映像プラットフォームとMMT
標 準 化 動 向,
” 第26回 情 報 伝 送 と 信 号 処 理
ワークショップ,2013. 11.
(2) ISO/IEC FDIS 23008- 1 : “Information
technology - High efficiency coding and media
delivery in heterogeneous environments Part 1 : MPEG media transport(MMT),”
2014.
(3) I S O / I EC D I S: “ 2 3 0 0 8 -1 0 I n f o r ma ti o n
technology - High efficiency coding and media
delivery in heterogeneous environments Part 10: MPEG media transport forward
error correction(FEC)codes,” 2013.
(4) 外 村 ・ 白 井 ・ 北 村 ・ 仲 地 ・ 藤 井 ・ 貴 家:“動
画像配信のための下位互換性を考慮したパ
ケ ッ ト レ ベ ルLDGM符 号 の 構 成 と 理 論 解
析,
” 信 学 論(A),Vol.J93-A,No.3,pp.212215,2010.
(5) Y. Tonomura, D. Shirai, T. Nakachi,T.
Fujii,and H. Kiya: “Layered Low-Density
Generator Matrix Codes for Super High
Definition Scalable Video Coding System,”
IEICE Trans. on Fundamentals,Vol.E92-A,
No.3,pp.798-807,March 2009.
(6) T. Nakachi, Y Tonomura, and T Fujii: “A
Conceptual Foundation of NSCW Transport
Design Using an MMT Standard,” ICSPCS
2013,Gold Coast, Australia, Dec. 2013.
(上段左から)
仲地 孝之/ 山口 高弘
(下段左から)
外村 喜秀/ 藤井 竜也
MMTを利用した高信頼 ・ 高機能化技術の
研究開発を進め,4K ・ 8K映像配信技術な
らびにサービス普及に貢献したいと考えて
います.
◆問い合わせ先
NTT未来ねっと研究所
メディアイノベーション研究部
TEL 046-859-2589
FAX 046-855-1284
E-mail nakachi.takayuki lab.ntt.co.jp
NTT技術ジャーナル 2014.2
67
Author
Document
Category
Uncategorized
Views
1
File Size
1 621 KB
Tags
1/--pages
Report inappropriate content