エンコーダ集ハードウェア特 HEVC 4K・8Kサービスを実現する超高臨場感映像技術 HEVCハードウェアエンコーダ技術おおにしたかゆきよこはりかずやいけだみつおいわさきひろえ大西隆之横張和也高精細で臨場感あふれる映像を提供可能な4K・8K映像サービスを実現するために，膨大な映像データを高い圧縮効率で効率的に符号化できる最新の映像符号化標準H.265/MPEG-H (HEVC）の適用が有力視されています．本稿では，4K映像のリアルタイム符号化を実現するHEVCハードウェアエンコーダ技術について紹介します．超高精細映像サービスへの期待近年，さまざまなデバイス技術の進展により，HDTV（High Definition Television）を超える高精細な映像を撮影・表示できる4Kカメラ，4Kディ池田充郎岩崎裕江さのたかし /佐野卓そか /蘇　佳さがたあつし /嵯峨田淳しみずあつし /清水淳 NTTメディアインテリジェンス研究所まな伝送メディアを用いた映像配信をて，高精細・高品質映像のリアルタイ行うためにも，高い圧縮効率を実現すム放送通信サービスの実現に向けた技るHEVCシステムの開発が急務と術の研究開発を進めてきました．１なっています．チップHDTV MPEG- 2 エンコーダリアルタイムエンコーダの必要性 LSI「VASA」は，映像素材を伝送するデジタルテレビジョン中継網サービスに，H.264エンコーダLSI「SARA」スプレイ，4Kタブレットなどが急速映画やドラマといった蓄積型のコンに普及しつつあります．こうしたデバテンツ配信にとどまらず，迫力あるスは，「ひかりTV」のデジタル放送IP イスの普及に伴い，高精細映像の放送ポーツ中継やコンサートのライブ映像再送信サービスを実現する装置に採用や配信を目指す次世代の映像サービスなど，リアルタイムならではの魅力あされるなど，デジタルTVの放送・配に大きな期待が集まっています．とりる高精細コンテンツを放送・配信する信サービスの普及・拡大に大きく貢献わけ4KTVに関しては，主要なTVメーためには，映像を実時間で符号化し伝してきました．こうした技術の蓄積のカからすでに多くの機種が発売され，送する仕組みが不可欠です．また，番もとに，次世代4K ・ 8K＊１映像に対応一般家庭への普及が進んでいます．ま組制作にあたって必要となる映像素材するためのHEVCハードウェアエンた，4K映像を活用したライブビューの伝送用途では，リアルタイム性はもコーダ構成技術の開発を加速していまイングやイベント中継なども，4Kプちろんのこと，低遅延，小型，低消費す（図１）．ロジェクタのある映画館などで体験で電力，高い色再現性など多くの性能がきるようになっています．求められます．これらの要求を満たす最新の符号化標準HEVC しかし，現在主流となっている映像ためには，高いリアルタイム性を保ち HEVCは， 2013年１月に第１版（バー符号化の国際標準H.264/MPEG- 4 つつ，安定した符号化・配信が可能なジョン１）が発行された最新の映像符 AVC（H.264）を用いたシステムでは，ハードウェア型のエンコーダが必要と号化国際標準です（3）．現在，ハイエン高精細な4K映像を扱うために要するなります．ドのプロフェッショナル用途に向けたデータ量（ビットレート）が大きいという問題があるため，H.264の約２倍の符号化効率を誇る新しい映像符号化これまでの映像符号化ハードウェア技術国際標準H.265/MPEG-H（HEVC）をこれまでNTT研究所では，世界初採用したシステムの実現が強く望まれの１チップHDTV MPEG- 2 エンコーています．さらに，4KコンテンツをダLSI（1）や，同じくHDTV対応のH.264 各家庭で視聴可能とするべく，さまざエンコーダLSI（2）の開発などを通じ高い色再現性（4:2:2/4:4:4信号）や，＊1 4K ・ 8K： 4Kはハイビジョン（HDTV）と比べて縦横それぞれ倍の3840×2160画素，8K は縦横さらに倍の7680×4320画素の解像度を備えた映像．横幅がそれぞれ約4000画素・ 8000画素あることから4K ・ 8Kと呼ばれます．１秒当りの映像の枚数（フレームレート）も，HDTVの倍にあたる毎秒60フレームに強化されます． NTT技術ジャーナル　2014.2 51 4K・8Kサービスを実現する超高臨場感映像技術アナログデジタル SDTV HDTV MPEG2 デジタルTV 中継網ボードポータブルHDTV エンコーダ（ICCE2001）エンコーダ PCI ボード H.264 ISIL-II（2007）（Cool Chips X） ISIL（2002）（CICC2003） SuperENCII （2000） UHDTV HEVC MPEG-2/H.264 トランスコーダ HDTV H.264 デコーダ HDTV MPEG-2 デコーダ HDTV MPEG-2 エンコーダ HDTV H.264 エンコーダエンコーダ PCカード（ICCE2000） SuperENC（1998） ENC-C/-M（1995）（Hot Chips 10）（Hot Chips 7） HDTV H.264 VASA（2002）（Hot Chips 14） SARA（2007）（Hot Chips 19） SARA/D（2008）（Cool Chips XI）図 1 映像符号化ハードウェア技術の変遷ビットレートに応じた品質を段階的に表　最新符号化標準HEVCとH.264との比較提供する階層符号化などに対応した第２版（バージョン２）の策定が行われています．HEVCの符号化性能は，ワ H.264 ピクチャの分割単位 HEVC 16×16画素（マクロブロック） 16×16 〜 64×64画素（符号化ツリーユニット）予測ブロックサイズ 4 × 4 〜 16×16画素 4 × 4 〜 64×64画素イントラ予測方向 8 方向 33方向デジやDVDで使われているMPEG- 2 動き補償予測ブロック形状正方形，長方形と比べるとわずか４分の１のデータ量周波数変換ブロックサイズ 4 × 4 ， 8 × 8 画素ンセグやスマートフォンなどで現在広く使われているH.264の２分の１，地正方形，長方形（非対称動き予測） 4 × 4 〜 32×32画素で，同等の映像品質を実現できるとされています．映像の情報量が飛躍的にロック形状などの組合せが大幅に強化など，トータルで効率の良い符号化を増大する4Kや8Kの放送・配信を現実されています．例としてH.264との比実現しています．的な帯域で実現するためには，高い圧較を表に示します．画像の特徴に応じ縮効率を持つHEVCの採用が不可欠て，例えば画面中の青空などの一様なです．領域では大きな領域を一括して符号化 HEVCでは，ブロックサイズやブ HEVCは，符号化の基本的な枠組みすることで不要な画面分割によるオーロック形状などの幅広い組合せによりは従来と変わらないものの，画像に含バヘッドを削減する一方，人ごみなど高圧縮を実現することが可能になったまれる冗長性をより効率的に削減するの複雑な動きを持った領域は，個々の反面，映像を符号化するエンコーダのべく，画面をブロック状に分割して符動きに合わせて画像領域を細かく区切演算量が膨大になり，非常に厳しい負号化していく際のブロックサイズやブることで動きを詳細に予測符号化する荷がかかることになります．符号化品 52 NTT技術ジャーナル　2014.2 HEVCエンコーダ設計上の課題特集更できる構成としました．質をなるべく損なうことなく，限られ化処理のアルゴリズムに注力して開発た組合せの評価で符号化効率の高い解を進めることができます．符号化アルを見つけ出すことがエンコーダの性能ゴリズムに変更を加えた場合でも，新回路規模と画像品質のバランスを取り向上に不可欠です．とりわけ，ハードたなハードウェア回路を容易に自動生ながらハードウェアを順次実装・改良ウェアエンコーダの設計にあたって成することが可能です．していくことにより，設計に要する時は，高いリアルタイム性を実現するために，演算回路の規模と画像品質との（２）　映像コーデック開発プラットこれら２つのアプローチを用いて，間を削減しながらHEVCハードウェアエンコーダの性能を高めていくことフォームが可能になりました（4）．一例として，トレードオフを図りながら，符号化効 SystemCで記述したハードウェア率の高い組合せを効率的に選択する仕回路を実際に動作させることのできる 4K映像をリアルタイムに符号化・復組みを実現する必要があります．映像コーデック開発プラットフォーム号するHEVCイントラコーデックを，を開発しました（図２）．ハードウェ映像コーデック開発プラットフォームア回路の書き換えが可能なFPGA 上で実現した例を示します（図３）．（Field Programmable Gate Array）モジュール上のFPGAそれぞれでたっては，設計に先立ってソフトウェを実装したモジュールを最大４基搭載 HDTVサイズのHEVCイントラ符号アシミュレーションによって符号化性し，SystemCから生成されたハード化＊２・復号をリアルタイムで処理可能の評価を行う方法が一般的です．しウェア回路を書き込んでリアルタイム能な回路を構成し，4K映像を十字にかし実際にハードウェア化した際に回動作させることができます．メイン分割して入力することで4Kの符号化路規模の見積りが困難である，シミュボードには映像や符号化データの入出レーションの実行時間が長くかかり，力端子を設置するとともに，４基のモ多数の映像での画質評価が難しい，とジュールを接続するFPGAを別途搭いった問題がありました．そこで私た載し，モジュール間の接続も柔軟に変 HEVCハードウェア設計手法ハードウェアエンコーダの開発にあ＊2 イントラ符号化：同一の画面内の情報のみで予測符号化を行う方式．H.264やHEVCでは，符号化対象ブロックの周辺の画素値を基に，画素値を一定の方向に伸長して予測する方法が用いられます．ちは，シミュレーションだけではなく実機による画質評価を行いつつ，符号化効率の向上のためにハードウェア構設計データ成を柔軟に変更しながら最適なアーキテクチャを求めていくことが不可欠と FPGAモジュール（× 4 ）いう考え方のもと，以下の２つのアプ 2 層構造ローチを行っています．映像データモジュール間接続FPGA ボードビットストリーム（1）　SystemCを活用した開発手法 SystemCは，ソフトウェア開発で一般的なＣ言語によるソースコードから，ハードウェア回路を自動的に生成ボードすることができるハードウェア設計言語です．従来のハードウェア設計言語であるＲＴＬ（Resister Transfer Level）と比べて，演算器の構成やクロックの扱いなどハードウェアに特有の設計が自動化されているため，設計者は符号 FPGAモジュール（× 4 ）図 2 映像コーデック開発プラットフォーム NTT技術ジャーナル　2014.2 53 4K・8Kサービスを実現する超高臨場感映像技術 4K映像（十字分割）映像コーデック開発プラットフォーム（エンコーダ）映像コーデック開発プラットフォーム（デコーダ） 4Kモニタ図 3 4 K HEVCイントラコーデックの動作を行っています．今後も同様の開発手法を使い， HEVCエンコーダLSIに向けたハードウェアアーキテクチャをさらに改良していく方針です．今後の展開ディスプレイ技術やカメラ性能のさらなる向上によって，高精細映像の活用環境はさらに広がっていくことと考えられます．高品質かつ圧縮性能にすぐれたリアルタイム符号化技術がますます求められると予想される中， 4K ・ 8K映像サービスのキーデバイスとなるエンコーダ技術の研究開発を強力に推進し，高品質映像放送・配信サービスの拡大に貢献していきたいと考えています． 54 NTT技術ジャーナル　2014.2 ■参考文献（1） J. Naganuma, H. Iwasaki, K. Nitta, K. Nakamura, T. Yoshitome, M. Ogura, Y. Nakajima, Y. Tashiro, T. Onishi, M.Ikeda, and M. Endo: “VASA: Single-chip MPEG- 2 422P@HL CODEC LSI with Multi-chip Configuration for Large Scale Processing beyond HDTV Level，” Hot Chips 14, Aug. 2002. （2） K. Nitta, M. Ikeda, H. Iwasaki, T. Onishi, T. Sano, A. Sagata, Y. Nakajima, M. Inamori, T. Yoshitome, H. Matsuda, R. Tanida, A. Shimizu, K. Nakamura, and J. Naganuma: “An H.264/AVC High422 Profile and MPEG- 2 422 Profile Encoder LSI for HDTV Broadcasting Infrastructures,” 2008 IEEE Symposium on VLSI Circuits, pp.106-107, Honolulu, HI, June 2008. （3） G. Sullivan, J. Ohm, W. Han, and T. Wiegand: “Overview of the High Efficiency Video Coding (HEVC) Standard,” IEEE Transactions on Circuits and Systems for Video Technology, Dec. 2012. （4） K. Yokohari, K. Nitta, M. Ikeda, and A. Shimizu: “Parallel Design Methodology for Video Codec LSI with High-Level Synthesis and FPGA-Based Platform,” 50th Design Automatic Conference (DAC 2013)，Austin, U.S.A., June 2013. （後列左から）佐野卓/ 嵯峨田淳/ 池田充郎/ 清水淳/ 岩崎裕江（前列左から）横張和也/ 大西隆之/ 蘇　佳 4K ・ 8K映像サービスのキーデバイスとなる高画質なリアルタイムHEVCエンコーダの技術開発を進め，次世代映像サービスのタイムリな実現に貢献したいと考えています． ◆問い合わせ先 NTTメディアインテリジェンス研究所画像メディアプロジェクト TEL 046-859-8954 FAX 046-859-2829 E-mail　onishi.takayuki lab.ntt.co.jp