動画圧縮技術田中那智廣安知之山本詩子 2014 年 04 月 19 日 IS Report No. 2014041903 Report Medical Information System Labratry Abstract 近年，動画の高画質化に伴い，扱うデータ量が多くなり送受信の際により長い時間を要する．そこで大容量のデータでも高速で通信を行うことができるよう，動画データを圧縮する技術の発展が求められている．動画圧縮の処理は画像をブロックに分割し，全ての処理をブロック毎に行う．圧縮の際，データ量を減らすため不要なデータを削除するが，削除されたところを予測によって補完する．これにより画質を落とさずデータ量を削減できる．最新技術 H.265 はこれら全ての処理に影響するブロック分割が革新的であり，それにより従来よりも高い圧縮率を得ている．目次第 1 章はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 第 2 章動画圧縮技術の概要 . . . . . . . . . . . . . . . . . . . . . . . . 3 2.1 動画圧縮の規格 . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2.2 動画圧縮の原理 . . . . . . . . . . . . . . . . . . . . . . . . . . 3 第 3 章 H.265 / HEVC (High Efficiency Video Coding) . . . . . . . . . . . . . 6 3.1 H.265 の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 3.2 木構造分割 . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 3.3 H.265 の導入事例と展望 . . . . . . . . . . . . . . . . . . . . . . 6 3.4 まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 第 1 章はじめに近年，スマートフォン，テレビ，パソコンなどで観られる動画の画質や音質が高くなってきている．それに伴い，扱うデータ量がさらに多くなるため大容量のデータでも高速で通信を行うことができるよう，動画データを圧縮し送受信にかかる時間を削減する技術の発展が求められている．動画データは，複数の静止画データと音声を含むため，データ量が大きくなってしまう．動画圧縮とはその大容量のデータを符号と呼ばれるデータに変換し，データ量を減らす処理のことである．本稿では動画圧縮技術の概念，また現在使用されている代表的な H.264 / MPEG-4 AVC（以下 H.264）と最新の動画圧縮の規格 H.265 / MPEG-H HEVC (以下 H.265) について詳しく述べる． 2 第 2 章動画圧縮技術の概要 2.1 動画圧縮の規格動画の圧縮方法は多数存在する．動画をどの機器でもうまく再生するため，規格化が必要である．動画圧縮の規格は２種類ある．ISO (International Organization for Standardization: 国際標準化機構) および IEC (International Electorotechnical Commissio: 国際電気標準機構) が規格する MPEG-1∼4 (Moving Picture Experts Group) と，ITU-T (International Telecommunication UnionTelecommunication Standardization Sector: 国際電気通信連合電気通信標準化部門) が規格する H.261 ∼H.265 である．Table. 2.1.1 に動画圧縮の規格の年表を示した．H.264 は 2003 年に規格されてから広く普及し，10 年以上経った現在でも通常のテレビ放送などは H.264 が使用されている．そして 2013 年には最新規格 H.265 が登場した． Table. 2.1.1 動画圧縮規格年 2.2 規格規格団体導入事例 1990 H.261 ITU-T テレビ会議，テレビ電話 1993 MPEG-1 ISO / IEC ビデオ CD 1995 H.262 / MPEG-2 ISO / IEC / ITU-T DVD-Video，Blu-ray 1996 H.263 ITU-T テレビ電話，携帯電話の動画 1999 MPEG-4 ISO / IEC インターネット上の動画 2003 H.264 / MPEG-4 AVC ISO / IEC / ITU-T Blu-ray，iPod，PSP 2013 H.265 / MPEG-H HEVC ISO / IEC / ITU-T 超高精細動画動画圧縮の原理動画圧縮をする場合，複数の技術を用いる．多くの場合符号化を用いるが，符号化を行う前に別の処理を行う．それらの大きな分類の方法として静止画自体を圧縮する手法と，動画としての時間的な圧縮をする手法がある．一方，別の分け方として可逆圧縮と非可逆圧縮があるが，可逆圧縮では圧縮倍率が 3 倍程度であるのに対し，非可逆圧縮では 20 倍から 200 倍の圧縮率が得られることから非可逆圧縮の方が多く利用されている．非可逆圧縮の利点はデータのサイズが膨大な動画データの圧縮率を上げられることである．一方，非可逆圧縮は圧縮率が高すぎるとノイズが生じ，元の動画データが再現できなくなってしまう．そのため，自然な再生が行える範囲に押さえつつ圧縮率をあげる研究が行われている．Fig. 2.2.1 に，現在最も一般的な H.264 と最新規格 H.265 における処理の流れを示す．変換と予測両方を行う，ハイブリッド方式を採用している．まず画像をブロック分割し，直交変換，量子化，符号化を行い，一度出力する．その後，逆量子化，逆変換して予測を行い，そのデータを再び変換，量子化して追加データとして出力する． 3 2.2 動画圧縮の原理第 2 章動画圧縮技術の概要 Fig. 2.2.1 H.264 と H.265 における動画圧縮の流れ（参考文献 1) を参考に自作）以下に H.264 と H.265 で使用している代表的な動画圧縮技術について述べる． 1. ブロック変換全ての処理を行う前に画像をブロックに分割してブロック毎に適した処理を行う．H.264 では MB（Macro block）と総称する．しかし H.265 では CTU（Coding Tree Unit），CU（Coding Unit），TU（Transform Unit），PU（Prediction Unit）の４つに区別する．CU は符号化処理の基本単位，TU は変換処理の基本単位，PU は予測の基本単位となっている． 2. 直交変換ブロック分割で分割されたブロック毎に変換され，その後量子化が行われる．直交変換の代表的な例として DCT（Discrete Cosine Transform：離散コサイン変換）が挙げられる. DCT によって動画データを周波数領域に変換する. これにより，人の視覚が鈍感な高周波の画素から情報量を削減していくことができる 2) ． 3. 画面内予測一般に 1 枚の画像における隣接画素の相関は高いため，符号化済みの隣接画素値から符号化する画素値を予測することで，予測画像を再生することができる．輝度信号を用いる方法と色差信号を用いる方法があり，また多方向からの情報を重ね合わせて予測されるが，H.264 で 8 方向であったのに対し，H.265 では 33 方向から予測を行うことができる 3, 1) ． 4. 画面間予測動画像の性質として参照画像と前後の画像は似ている．この性質を利用して，既に符号化済みの画像に最も似ているブロックを予測画面の中から探し出してベクトルとして考える．このときこのベクトルは物体の動きを示し，これにより物体の動きを予測できるのでこの物体の動きの予測を動き補償という．また，このベクトルの情報と二つの画像の差分のデータを符号化することで，差分のデータのみの場合よりも高い圧縮率を実現できる 4) ． 5. エントロピー符号化エントロピー符号化は各種変換処理を行った後のデータに符号を与える処理である．可変長符号化ともいい，出現頻度の高いシンボル（複数個のビットをひとつの固まりと見なし，それをシンボルと呼ぶ）に近い符号，逆に出現頻度の低いシンボルに長い符号を与えることにより圧縮を行う．Table. 2.2.1 にエントロピー符号化の例を示す． 4 2.2 動画圧縮の原理第 2 章動画圧縮技術の概要 Table. 2.2.1 エントロピー符号化の符号の割り振り出現率符号符号桁数 A 0.5 0 1 B 0.3 01 2 C 0.1 011 3 D 0.1 111 3 A，B，C，D の出現率がそれぞれ等しいとき，一定の符号長で符号化を行い 00，01，10，11 の 2 桁にすれば平均の符号長は 2 ビットだが，Table. 2.2.1 の出現率を反映し，かつエントロピー符号化で行うと式 (2.1) に示す通りになる．平均符号長 = 0.5 ∗ 1 + 0.3 ∗ 2 + 0.1 ∗ 3 + 0.1 ∗ 3 = 1.7 (2.1) これは可変長符号化を行わない場合の 2 ビットに比べ 15 ％削減できていることがわかる． 5 第 3 章 H.265 / HEVC (High Efficiency Video Coding) 3.1 H.265 の概要 ISO および IEC と ITU-T が共同で規格化した既存であった H.264/AVC は，ブルーレイ，CS 放送，海外での放送などに応用されている．しかし高精細動画の 4 倍や 8 倍の画素数を持つ超高精細動画，4K や 8K に対してはさらに高圧縮な符号化技術が必要になることから 2013 年 1 月に H.265 の規格化が行われた．H.265 は H.264 と同様に，直交変換とインター予測の両方を用いるハイブリッド符号化方式をベースとしている．これに様々な改良を加えて，従来の 2 倍の圧縮性能を持つ．H.265 では超高精細画像を圧縮するために，従来方式より大きなブロックサイズ（予測は 64 × 64 画素，変換は 32 × 32 画素）を用いて平坦部分のデータ量を大幅に削減する．一方で，起伏部分では小さなブロックサイズ（動き予測は 8 × 4 画素または 4 × 8 画素まで，画面内予測と変換は 4 × 4 まで）を使うことができる．このブロック分割は木構造で表される．H.265 では，ブロック分割の方法を変えることが圧縮率向上に大きく関与している 5) ． 3.2 木構造分割 H.264 のブロック分割法は全て 16 × 16 画素のブロックに分けて処理を進めるのに対し，木構造分割を採用した H.265 ではデータのばらつきによって CTU のサイズが 64 × 64，32 × 32，16 × 16 画素と変化する．CTU は符号化処理の基本単位である．また CTU 内でも再帰可能な 4 分木分割が行われる 3) ．Fig. 3.1(a) に CTU のサイズを 64 × 64 とした場合の例を示す．また Fig. 3.1(b) にこの例に対応する 4 分木構造を示す．CU とは CTU の木構造の末端のユニットであり，予測処理，変換処理の基本単位となる．CU は CTU の 4 分木分割を 0∼3 回したユニットなので，64 × 64，32 × 32， 16 × 16，8 × 8 画素のサイズになる．また CU は PU と TU から構成される．PU は予測変換の基本単位であり，TU は PU による予測データの変換処理の基本単位である．また TU は PU からの予測処理後の信号を直交変換する．平坦であまり変化のないユニットと細かい変化の多いユニットを分けることで無駄な処理が減り，画像の質はそのままに圧縮率を上げることができる．また，64 × 64 のように大きな CU での処理を減らすだけでなく，8 × 8 のように範囲を狭めるとユニット内の画素がばらつきにくくなるため，予測の差分データや符号化の符号長データが小さくなりやすい．これにより大幅な圧縮率向上を実現した． 3.3 H.265 の導入事例と展望 H.265 は新しい規格であり，導入事例は多くない．2013 年 10 月，H.265 / HEVC を利用した 4K 映像の伝送実験が日本で初めて実施された．また 4K 映像の試験放送が 2014 年 7 月から衛星放送にて開始される予定である．2020 年に行われる東京オリンピックまでに 8K 映像の放送スタートを目標にしている．またこれまでの技術と比較してユーザが設計するにあたり自由な規格なので，各社の技術の 6 3.4 まとめ第 3 章 H.265 / HEVC (High Efficiency Video Coding) (a) CTU の分割例 (b) 4 分木構造 Fig. 3.2.1 木構造分割の例（参考文献 1) を参考に自作）差が画質に大きく反映されて商品の差別化もされやすくなった．これまで以上に符号化技術の開発が重要になっていき，激しい競争の中，更なる技術の進化が期待できる．また具体的な展望としては 4K や 8K 映像を用いたアプリケーションやモバイルでの配信が期待される．H.265 は様々な改良技術を導入することで，H.264 に対し 2 倍の圧縮率を得ている．そのため，超高精細画像の放送やインターネットでの配信，及び携帯機器での動画のやり取りといった応用が期待されている．一方で，従来方式よりも処理量が増加するという問題点がある．物理的に CPU などの性能があがることによっても解決される可能性はあるが，より無駄を省いたアルゴリズムに改良することが最善の解決策となる． 3.4 まとめ本稿では動画圧縮技術の概念と最新の動画圧縮規格 H.265 について述べた．時間的また空間的に予測を行うことで不要なデータを削減して圧縮する動画圧縮技術であるが，最新の動画圧縮規格 H.265 は木構造分割を取り入れることにより予測などの処理において従来より高い圧縮性能を得た．H.265 は超高精細画像 4K や 8K に対応できるようになり，世間に広がりつつある． 7 参考文献 1) 松尾翔平, 高村誠之. 次世代映像符号化規格 hevc の標準化動向. NTT 技術ジャーナル, p. 54, 2013. 2) 蝶野慶一. Hevc のブロック分割構造および変換・量子化 (特集新しい画像符号化技術)–(hevc (mpeg-h/itu-t h. 265) 技術解説). 映像情報メディア学会誌, Vol. 67, No. 7, pp. 533–536, 2013. 3) 坂東幸浩. 映像符号化技術の最前線：hevc. IEICE Fundametals Review, Vol. 7, No. 3, 2013. 4) 鈴木輝彦. フレーム内符号化とフレーム間予測符号化 (特集新しい画像符号化技術)–(hevc (mpegh/itu-t h. 265) 技術解説). 映像情報メディア学会誌, Vol. 67, No. 7, pp. 537–540, 2013. 5) 谷沢昭行, 山口潤, 中條健. 動画像符号化の新規格 hevc に向けた高効率な重み付き画素値予測技術 (特集東芝の映像・イメージング技術を支える基盤研究). Toshiba review, Vol. 68, No. 2, pp. 15–18, 2013. 8