高品質 HDTV 伝送サービスのための符号化制御の最適化に関する研究 内 藤 整 近年のデジタル放送（BS，CS110度，地上）では る部分が大きく，リファレンス的な制御手法は存在す HDTV を標準の映像フォーマットとして位置づけてい るものの，入力素材特性に応じた最適化を行うことで る．これはデジタル放送のサービス開始に伴い，放送 大幅なパフォーマンス改善がもたらされる．以上を踏 で扱われる映像フォーマットが従来の NTSC に代表 まえ，本論文では高品質な HDTV 伝送を実現する上 さ れ る SDTV（Standard Definition Television） よ り で不可欠といえる，符号化制御の最適化を課題として HDTV（High Definition Television）に移行する流れが 掲げている．以下，各章ごとに概要を述べる． もたらされることを意味する．総務省の計画では， 第１章では，研究の背景，および目的について述べ 2011年には SDTV を基本とするアナログ放送が完全 ている．背景および目的を説明する一連の流れにおい に廃止され，同時期をもって HDTV への完全移行が て，本研究が対象とする HDTV 用伝送サービスの分 予定されている．テレビ放送の視聴者数規模の大きさ 類を行っている．伝送サービスとしては，２次分配， から，以上の変革は放送業界に閉じたものではなく， １次分配，素材伝送について言及し，特に２次分配に ブロードバンドサービスやコンテンツビジネスにおけ ついては代表例である日本のデジタル放送を取り上 る HDTV 化の流れを牽引するものである．以上の社 げ，放送方式の概説を行っている．さらにサービス分 会的情勢を鑑み，今後 HDTV コンテンツの流通が急 類別にユーザ要求を明らかにした上で，従来の HDTV 速に高まるものと予想され，これに備えた基盤整備と 伝送サービスの実現手段の傾向とその問題点を述べ， して，通信インフラの拡充や映像伝送サービスの高度 本論文で扱う課題，ならびに目標を明確化している． 化が急務となっている．このうち映像伝送サービスの 第２章では，本研究が扱う符号化制御の最適化対象 高度化とは，高品質な HDTV 伝送サービスの安定的 となる符号化メカニズムの導入を行う．具体的には， な提供が実現されることを意味しており，同サービス 放送サービスの低ビットレート化，専用線サービスの に密接に関連する技術要素として，HDTV に適合で 高機能化のそれぞれについて，ベースとなる符号化メ き，かつ高性能な圧縮符号化技術の確立が極めて重要 カニズムについて説明した上で，性能改良が見込まれ である． る符号化制御の最適化ポイントを明確にしている． ここで，映像伝送サービスとは，放送に代表される 第 ３ 章 で は，MC（Motion Compensation） ＋ DCT ２次分配，放送局間での素材交換や番組中継などの１ （Discrete Cosine Transform）ハイブリッド符号化の性 次分配，および撮影現場から最寄りの中継ポイントま 能を大きく左右する動き補償予測に着目し，既に報告 での伝送に相当する素材伝送に大別される．２次分配 例のある代表的な方式について性能比較を行ってい においては放送帯域という極めて限られたビットレー る．比較対象としては，MPEG-2で採用されているブ トにおいて安定的に高画質を実現することが求めら ロックマッチング方式に加えて，同方式の効率改善を れ，１次分配および素材伝送においては伝送帯域の制 目的に提案された方式として，アフィン変換を用いた 約が比較的緩いため，符号化効率の追求よりはむしろ 予測方式，Warping 予測方式，グローバル動き予測方 伝送遅延の低減が強く求められる．つまり映像伝送 式を取り上げている． 比較に際しては， 放送品質に沿っ サービスの品質尺度の主要因は画質と遅延量であると た公正性を保ちつつ，客観品質評価を行うため，符号 いえる．一方で上述のいずれの伝送形態においても， 化方式に MPEG-2，入力画像に ITU テストシーケン 従来の伝送サービスは MPEG-2をベースとするものが スを用いてテスト条件を共通化し，符号化実験を行っ 大半を占めている．伝送サービスの HDTV 対応を考 ている．符号化実験結果より，ブロックマッチング方 え た 場 合，MPEG-2の 符 号 化 フ ォ ー マ ッ ト 自 体 は 式の性能に対して，同手法の改良手法として提案され HDTV にも対応可能であり，単にフレームあたりに処 た各方式による著しい性能改善は見らないことから， 理すべき画素数を拡張することで伝送システム自体の デジタル放送で想定される運用に限っては，ブロック 構築は可能であるが，単純なエンコーダ実装では高い マッチング方式の選択が妥当であることを符号化効率 品質レベルを期待できない．これは MPEG-2に代表さ の観点より結論付けている． れる標準の符号化方式は，符号化データの記述規則， 第４章では，HDTV の応用による高臨場感の映像メ およびこれを扱うデコーダの動作規定を明確化したも ディアとして3D-HDTV を対象に，MPEG-2 Multi View のにすぎず，エンコーダの詳細な実装方式は開発者に Profile の枠組の中で，視差補償予測を活用した符号化 委ねられているためである．品質尺度として挙げた画 性能の改善手法について検討をしている．具体的に 質と遅延量はともにエンコーダの符号化制御に依存す は，左右画像間の画質差を安定的に低く保つことで主 131 観評価における不自然さを軽減する目的から，共通型 を考慮し，これらを引数とする非線形関数により行っ バッファ制御の導入により符号量制御の最適化を図っ ている．実験結果より，マクロブロックごとの優先度 ている．加えて，3D-HDTV 符号化における符号化効 付けの最適化による主観画質の向上を確認している． 率の改善を図る目的から，3D-HDTV 符号化の GOP 特に人物の顔など平坦部分におけるブロック歪みの改 構造に関する検証を行い，左目用，右目用の各シーケ 善，ならびに各種輪郭の忠実な再現といった改善効果 ンスに割り当てるピクチャタイプパターンの組合せに が見られる． ついて最適化を図っている．さらには，視差補償に基 第６章では，MPEG-2の符号化構造をピクチャレイ づいて実現可能な動き検出および符号量制御の高度化 ヤとマクロブロックレイヤに大別した上で，ピクチャ 手法を提案している．動き検出に関しては，予測性能 レイヤでは，画面ごとの符号化方法を特徴づけるピク を改善するアプローチとして，視差補償ベクトルと左 チャタイプの適応選択を最適に行う手法を提案し，マ 目用シーケンスに対して検出した動きベクトルをもと クロブロックレイヤでは，16画素×16ラインの矩形 に，右目用シーケンスの動きベクトル検出を実現する 画像領域単位の符号化方法を示すマクロブロック符号 手法を提案している．符号量制御に関しては，上述の 化モードの選択を発生符号量最小化の規範で行うアプ 共通型バッファ制御により画質差が十分に低く抑えら ローチを導入している．ピクチャタイプの適応選択に れた理想的な条件を基準として，あるレベルの画質差 ついては，レート制御手法に依存しない汎用的な手法 を許容可能であると仮定した際の符号化効率の改善手 の導入を行っている．マクロブロック符号化モードの 法を提案している．符号化実験結果より，提案したい 選択においては，マクロブロックごとの符号化に際 ずれの最適化アプローチも3D-HDTV 符号化の効率改 し，選択可能なすべての符号化モードについて，予測 善において極めて有効であることを確認した． 誤差信号と量子化ステップサイズをもとに発生符号量 第５章と第６章においては，デジタル放送への応用 の近似推定を行った結果，最小の発生符号量を与える を目的とし，MPEG-2に基づく低ビットレート HDTV 符号化モードを抽出するアルゴリズムを提案してい 符号化に対して高画質化アプローチの提案を行ってい る．実験結果より，レイヤ別に提案した最適化手法に る．第５章では，MPEG-2の符号量制御をピクチャ単 関して，それぞれ単独で適用した際の効果を確認した 位の大局的な制御とマクロブロック単位の局所的な制 上で，両技術の併用時においても双方の効果が期待通 御に二分してとらえ，まず前者に関して歪み量を最小 りに発揮されることを確認している． 化する規範で符号量配分を行う，いわゆる歪み最小化 第７章では，第４章から第６章において最適化対象 型レート制御に着目し，同方式の導入を行うととも とした MPEG-2に基づくコーデック処理によると原理 に，同方式の高度利用に基づく最適化アプローチの提 的に500msec 弱の遅延量が強いられる点を問題として 案を行っている．歪み最小化型レート制御手法の導入 捉え，コーデック処理遅延の大幅な短縮を実現する符 に際しては，ピクチャごとの符号量配分方式を明らか 号化方式の導入を行っている．具体的には，遅延発生 にした上で，予備実験を通じて方式単独の有効性を確 の主要因であった動き補償予測を非適用として，高性 認している．次に同方式との併用により有効に働く高 能なフレーム内符号化方式である JPEG2000をベース 画質化手法として，ピクチャ単位に設定される量子化 に，低遅延と高画質の両立に寄与する要素技術を導入 マトリクスの更新に対して，レート制御の精度を高 している．高画質化ポイントとしては，符号量制御の め，高難易度素材に対する符号化破綻を最小限に抑え 最適化，符号化タイプの適応選択に着目し，提案方式 るという意味での最適化アプローチを提案している． を導入している．符号量制御については，従来手法と 提案方式の導入による効果として，レート制御の制御 して位置づけられるポスト量子化に基づく R-D 最適 誤差が改善される結果，低ビットレートや高難易度素 化アプローチが抱える問題点を解消する目的から， 材への適用においても高いロバスト性が認められるこ Explicit 量子化とポスト量子化の併用に基づく最適化 とを確認している．一方で，マクロブロック単位の局 手法の提案を行っている．符号化タイプの適応選択 所的な制御に関し，ピクチャ単位での検証結果を受け は，符号化効率の改善を追及する目的から，DWT フィ て，歪み最小化型レート制御との併用による高画質化 ルタの適用単位としてフレーム処理とフィールド処理 手法を導入している．従来型のマクロブロック単位量 をフレームごとに適応的に選択するものであり，これ 子化制御では，マクロブロックごとの視覚優先度パラ に対する最適化アプローチとして，入力画像の特徴量 メータの決定をマクロブロックの輝度分散など簡易に 抽出に基づく符号化タイプの決定方式を提案してい 抽出可能な指標のみを基準として行っていた．これに る．結果として，一連の提案技術の導入は，符号化効 対し提案手法では，視覚優先度パラメータに人間の視 率の改善と，コーデック遅延量の削減において極めて 覚特性を忠実に反映させる目的から，オブジェクト解 有効であることを確認している． 析を導入し，同パラメータの算出をより厳密に行って 最後に第８章では本論文で得られた成果をまとめた いる．視覚優先度パラメータの具体的な算出は，オブ 上で，関連する課題のうち，本論文では解決できてい ジェクトの特徴量として動き量と周囲に対する変化度 ないポイントを客観的に考察した上で，今後の検討課 を，マクロブロックのテクスチャ属性として輝度分散 題を明確に示唆している． 132 Encoding Control Optimization for High Quality HDTV Transmission Service NAITO, Sei HDTV is adopted as a standard video format in recent description syntax and a decoding process for a code digital broadcasting service constituted by BS (Broadcasting stream, and detailed encoder implementation technology is Satellite), CS110 (110-degree Communication Satellite) developed by manufacturers. The picture quality and the and Terrestrial. This means that SDTV (Standard Definition codec latency which constituting quality measure are Television) such as conventional NTSC is going to be greatly dependent on the encoding control scheme, and an replaced by HDTV (High Definition Television) as the optimization considering input image characteristics is digital broadcasting service is launched. According to the effective to improve coding performance for some well plan of Japanese national body, analog broadcasting service known reference encoders. From this perspective, this paper with SDTV will be fully disabled by 2011, and switchover focuses on the encoding control optimization as a key to HDTV will be accomplished along this schedule. Since a problem to realize a high quality HDTV transmission. broadcasting service is provided for an extremely large In chapter 1, a background and a motivation of my study number of users, this revolution is not closed to a is described. In order to explain the background of this broadcasting business, but is leading the trend of switchover study, assumed HDTV transmission service is summarized to HDTV even in broadband service and video contents and categorized. Regarding typical video transmission business. From this social situation, it is estimated that service, a secondary distribution, a primary distribution and HDTV contents business will prosper, and expanding a contribution are introduced, and detailed system communication infrastructure and refining video parameters of Japanese digital broadcasting are explained transmission service are urgently required. By refining as a representative example especially for a secondary video transmission service, high quality HDTV transmission distribution. Furthermore, user requirements are clarified, service can be stably provided, and an establishment of and the current trend in system implementation to realize high performance compression coding scheme applicable HDTV transmission service and its problem are described for HDTV is quite important. for each service type to define a theme and a goal assumed Video transmission service is categorized into three in this paper. types: a secondary distribution such as broadcasting, a In chapter 2, the target encoder mechanism is introduced, primary distribution which corresponds to interstationary for which encoding control optimization technique is video material exchange and relaying transmission, and a discussed in this paper. Assumed encoder mechanisms and contribution which corresponds to transmission from a optimization points for further performance improvement camera field to the nearest access point. As for a secondary are introduced to achieve the robustness under a low bit- distribution, high picture quality should be maintained at a rate transmission for a broadcasting service and to enrich limited bit-rate which corresponding to a broadcasting the functionality of a private network service. bandwidth. With regard to a primary distribution and a In chapter 3, motion compensated prediction is focused contribution, limitation for transmission bandwidth is as an important technical element which constituting hybrid comparably loose, and reduction in transmission delay encoder mechanism by MC(Motion Compensation) and rather than coding efficiency improvement is strongly DCT(Discrete Cosine Transform), and performance required. Namely, the major quality measure for video evaluation is conducted for representative schemes which transmission service lies in the picture quality and the have been reported in former works. We investigate four transmission latency. On the other hand, most of representative motion compensation methods: block conventional video transmission services are based on matching, motion compensation using affine transformation, MPEG-2 in every service category described above. As an warping prediction, and global motion compensation. We encoding format, MPEG-2 itself is applicable for HDTV, evaluated the performance of these methods by applying and transmission system can be configured by simply MPEG-2 for the input of common natural video sequences. expanding the number of pixels which can be processed for We show that motion compensation methods which have every frame. However, satisfactory quality can not be been proposed to improve the performance are not superior achieved by simply designed encoder because the standard to the conventional block matching when they are used in video coding format such as MPEG-2 only specifies a conjunction with MPEG-2. 133 In chapter 4, 3D-HDTV is assumed as an HDTV application with enough reality, and performance quantization, a new approach based on the joint use of an explicit quantization and a post quantization is proposed. improvement scheme by full use of disparity compensated Finally, in chapter 8, the outcome achieved in this prediction is studied within MPEG-2 Multi-View Profile. manuscript is summarized, and issues which have not been First, an adaptive rate control using a common buffer solved here is objectively investigated to clarify further memory for left and right pictures encoding is proposed in problems left for future study. order to achieve a satisfactory quality for stereo HDTV pictures. In addition, an optimal picture type pattern for left and right sequences is studied to improve 3D-HDTV coding performance. Furthermore, performance improvement approach especially for motion estimation and rate control making full use of disparity compensation is proposed. Regarding motion estimation, a modified motion compensation using disparity vectors estimated between the left and right pictures is proposed. To improve the rate control, a discriminatory bit allocation which results in the improvement of left pictures quality without any degradation of right pictures is proposed. In chapter 5 and 6, performance improvement technology is proposed for low bit-rate HDTV coding based on MPEG-2 as assumed in digital broadcasting service. In chapter 5, the rate control process employed in MPEG-2 is categorized into a picture layer process and a macroblock layer process, and an optimization approach is proposed for each layer process. For the picture layer rate control, a distortion minimization approach is firstly introduced. By extending this picture layer control, further stable and precise rate control approach is proposed. In chapter 6, the MPEG-2 coding structure is summarized into a picture layer and a macroblock layer, and coding control optimization is proposed for each layer. For the picture layer, an optimal decision scheme of picture types which featuring coding process for a video frame is proposed. Similarly for the macroblock layer, macroblock mode decision is optimally realized by estimating the candidate with minimum encoding cost. In chapter 7, to overcome the problem of MPEG-2 whose codec latency reaches not less than 500 msec, encoding scheme which achieves great decrease in codec latency is introduced. In our coding scheme, JPEG2000 is adopted as an intraframe coding scheme with the highest coding efficiency, and coding technologies which contributing to low latency and high efficiency is proposed. To maintain high coding efficiency, an adaptive selection of coding types and an optimal rate control are focused, and proposed scheme is introduced. The coding type identifies the DWT filter process from frame type or field type filtering, and can be updated frame by frame. Coding type decision scheme based on the analysis of input image features is proposed to adopt an optimal coding type for every frame. As for the rate control, to overcome the problem by a conventional approach based on R-D optimized post 134
© Copyright 2024 Paperzz
