NEXT STEP マルチメディア コーデック ミドルウエアの動向 池 上 青 史 ★ はじめに 進んでいます。 話としての通常の通話機能に加え画像 近年， 携帯電話をはじめとするモバイル このようなモバイル機器の発展にとも コーデック， オーディオデコーダ等の機能が 機器は短期間に広範に普及し， 性能， 機能 なって， その処理の対象となるデータはテ 加わるようになるでしょう。 的にもめざましい発展を遂げています。携 キスト・データから音声データ， オーディオ・ 当社では，従来より音声認識，文字認 帯電話は， 2001年には第三世代携帯電話 データさらに映像データのような大容量 識，エコーキャンセラといったアプリケー サービスであるIMT-2000が始まり， 通話機 データとなってきています。 また， そのデー ションをミドルウエアとして製品化してきま 能だけでなく画像， 音楽の配信， 通信機能 タを処理するプロセッサも高性能化し，大 した。今後， モバイル機器に搭載されるマ を備えるようになります。 また， 携帯オーディ 量のデータを処理することが可能となって ルチメディア・コーデックとして音声， オー オ機器はICメモリを媒体にしたいわゆるソ きています。 また， モバイル機器においても ディオ， 画像データを対象とするミドルウエ リッド・オーディオが普及してきました。 さら 単一の機能のみでなく複数の機能を持つ ア が 必 要となって います。本 稿 では ， に，PDAにおいても従来の機能に加え，音 ようになります。例として図1ではIMT-2000 AMR，MPEG-4 CELPといった音声コー 楽や画像を扱う機能を備え，高機能化が で必要となる機能を示しています。携帯電 デック，MP3，AACといったオーディオ・デ 画像入出力 画像コーデック H.263/MPEG-4 JPEG 音声入出力 音声コーデック AMR/G.723.1 オーディオ出力 オーディオデコーダ MP3/AAC アプリケーション T.120 etc. データプロトコル V.14 システム 制御部 遅延 回路 多重 分離部 H.223 Network プロトコル制御部 H.245 Call Set-up 図1 IMT-2000システム概略図 ★ ソリューション技術本部 応用ソフトウエア技術部 コーダ，JPEG，JPEG2000といった静止画 これらのオーディオ・デコーダミドルウエ 低プロセッサ負荷対応 （Annex A） ， 無音区 コーデック， MPEG-4ビデオといった動画像 アの特長として少ない演算量で処理する 間圧縮対応（Annex B） といった特長があ コーデックのミドルウエアを紹介します。 ことにより低消費電力を実現しています。 ま ります。 た，命令コードをRAMにロードするタイプ MPEG-4 CELPは， ISO/IECでMPEG-4・ オーディオ・デコーダ のDSPを用い， ミドルウエアを入れ換えるこ オーディオパートの一部として標準化され オーディオ・デコーダ・ミドルウエアは， 当 とにより， 複数の圧縮方式に対応することが たCELP （Code Excited Linear Prediction） 社のDSP向けにMP3，AACを製品化して 可能となっています。 方式による音声コーデックです。通常の音 います。 MP3とは， オーディオ信号の圧縮方式の 声帯域である狭帯域（N a r r o w B a n d： 音声コーデック 3.4kHz帯域） に加え、音質向上のために広 ひとつで， 一般にMPEG-1 Audio Layer3お 現在，当社のDSP向けの音声コーデッ 帯域 （Wide Band：7kHz帯域） にも対応して よびMPEG-2 Audio Layer3 LSF(Low ク・ミドルウエアとしてG.723.1，G.729， います。狭帯域の場合は3.85-12.2kbbsの Sampling Frequency)のことを指します。人 MPEG-4 CELPを製品化しており，AMRを 28種類、広帯域の場合は10.9-23.8kbpsの 間の聴覚特性を利用して不要なデータを 製品化予定です。 30種類のビットレートを設定することができ 除去することにより圧縮率を高めています。 G . 7 2 3 . 1 は，I T U - T で 勧告された ます。 これは、通信回路の帯域や蓄積媒体 現在，MP3は携帯オーディオ機器に広く用 5.3kpbs， 6.3kbpsの音声圧縮/伸長コーデッ の容量といったシステムの制限に応じて、 いられており， 同様の圧縮方式のなかでは クで，ACELP（Algebraic Code Excited 最適な圧縮率を選択することを可能にしま もっとも普及しています。 また，携帯電話， Linear Prediction） とMP-MLQ （Multi-Pulse す。 また、エラーコンシールメントや無音圧 PDAなどにもカード・メディアの実装とともに Maximum Likelihood Quantization） を使用 縮（デコーダのみ） にも対応しています。 こ 使われるようになるでしょう。 した音声信号を符号化するためのアルゴ のMPEG-4 CELPには当社提案アルゴリズ サンプリング周波数は2 2 . 0 5 k H z ∼ リズムです。 ムが採用されています。 4 4 . 1 k H z ，対応ビットレートは8 k b p s ∼ おもな用途としては，低ビットレート通信 A M R 音声コーデックは，3 G P P（3 r d 320kbpsです。当社のミドルウエアはデコー 用テレビ電話システム （H.324） ，LAN用テ Generation Partnership Project） で規格され ダのみに対応しており， また規定されたビッ レビ電話システム （H.323）， インターネット た，4.75kbps∼12.2kbpsの音声圧縮/伸長 トレート以外で圧縮されたフリーフォーマッ 電話，音声蓄積装置（V o i c e S t o r a g e コーデックです。A M Rとは，A d a p t i v e トといわれるデータには対応していません。 Equipment） です。特長としては，低ビット Multiple Rateの略で， 基地局からの距離や AACはMPEG-2 Advanced Audio レート （5.3/6.3kbpsデュアルレート） ， 無音区 電波の干渉状態により通信速度を変化さ Codingのことを指します。MPEG-1オーディ 間圧縮対応（Annex A）， 浮動小数点演算 せる可変速符号化方式です。 また， 次期携 オとの互換性を排除することによって高品 対応 （Annex B） ， 無線用途向け誤り訂正符 帯電話サービス （W-CDMA） に採用される 質・高圧縮率を達成したマルチチャンネル 号化対応 （Annex C） ですが， 当社のミドル 規格であり， 通信音質の向上が考えられて (最大64チャンネル)対応のオーディオ符号 ウエアは， 浮動小数点演算対応のAnnex B います。マルチレート・スピーチCODER， 無 化方式です。 また，MP3と比較して高性能 を除いたすべてに対応しています。 音圧縮機能， エラーコンシルメント機能から である反面，符号化方式が複雑といった G.729は， ITU-Tで勧告された8kbpsの音 構 成されます。マルチレート・スピーチ 欠点があります。おもな用途として音楽配 声圧縮伸長コーデックで，C S - A C E L P CODERは， 8つのビットレートからビットレー 信，BSディジタル放送，地上波ディジタル （Conjugate Structure-Algebraic CELP） を トを選択することができ， 1フレーム （20ms） 放送などがあります。サンプリング周波数 使用した音声信号を符号化するためのア ごとにビットレートを切り換えることが可能 は8kHz∼96kHz， 対応ビットレートはサンプ ルゴリズムです。 おもな用途としては， です。おもな特長は以下の通りです。 リング周波数の6倍を最大値として任意の DSVD（Digital Simultaneous Voice and ● 値を取ります。当社のミドルウエアはフロン Data） （電話回線での音声・データ同時転 7.4.0 に対応（チャネル・コーデックは含 ト2チャンネルのみデコードし，5.1チャンネ 送） ，ATM， フレームリレー，PIAFSがありま まれません） ルには対応していません。 また出力データ す。当社のミドルウエアは，現在，低ビット ● 圧縮/伸長は，8つのビットレートに対応 はADTS，ADIF，RAWフォーマットに対応 レート （8kbpsに圧縮符号化），高品質音声 ● 無音圧縮機能対応（VAD1オプション， しています。 符号化（ADPCM/32kbpsと同等の音質）， 3GPPのAMR音声コーデック Version VAD2オプションに対応） ● ● サンプリング周波数8kHzで160サンプ ているので， すべての仕様を満たすことは 解像度テレビ)を想定しており，最大ビット ル/フレームの符号化， 復号化を行う 必ずしも想定するアプリケーションに最適 レートは38.4Mbpsです。MPEG-4のプロ 音声入出力データはすべて16ビット・リ とは限りません。そのため，MPEG-4ビデオ ファイルとその想定される応用例を図2に ではアプリケーションを想定し，各アプリ 示します。 ケーションに必要な要素技術(ツール)の組 現在，製品化を予定している画像コー み合わせをとりまとめた9つの” プロファイ デックは当社のDSP：μPD7721xファミリ向 MPEG-4ビデオは，動き補償と離散コサ ル” を定めています。 けにMPEG-4シンプル・プロファイル レベ イン変換を組み合わせたハイブリッド符号 さらに， 各プロファイルでは， 扱われる画 ル1（ビットレート：64kbps） をターゲットに開 化技術です。MPEG-2とITU-T勧告H.263 像サイズやビットレートなどのパラメータを 発を進めています。QCIF（176×144）画像 の基本技術をあわせ持ち， さらに以下のよ 限定する” レベル” が定義されています。 と を最大15fps（frame per second）同時にエ うな特長を持っています。 くに重要なのが， シンプル・プロファイル， コ ンコード/デコードすることができます。 とくに ニアPCMデータ MPEG-4ビデオ・コーデック ● 符号化効率の向上 ア・プロファイル， メイン・プロファイルの3つ 画像処理用のアクセラレータや専用ハード ● 誤り耐性の向上 です。 この3つのプロファイルとレベルの定 ウエアをまったく使わずに，汎用DSPで上 ● オブジェクト(物体)単位の符号化 義を表1に示します。 シンプル・プロファイル 記画像コーデック性能を実現できます。そ ● コンピュータグラフィックスとの融合 は携帯電話や小型携帯端末を想定してお の要因として，各種高速演算法により演算 応用分野としては，比較的通信レートの り， 最大ビットレートは384kbpsです。 コア・プ 量を削減したことがあげられます。 この実 低い無線通信やインターネットから通信 ロファイルは次世代高機能携帯端末やイ 現はシステムを低消費電力で実現するた レートの高い放送領域までをカバーする統 ンターネットを想定しており， 最大ビットレー めに非常に有効であるといえます。 合的な画像符号化技術です。 このように トは2Mbpsです。メイン・プロファイルは放 MPEG-4ビデオは非常に幅広い規格となっ 送やHDTV(High Definition Television：高 JPEG JPEG （Joint Photographic Experts Group） 表1 MPEG-4ビデオプロファイルとレベル プロファイル シンプル コア メイン は濃淡画像とカラー静止画像に対する効 レベル1 レベル2 レベル3 レベル4 率のよい符号化方式として， インターネット 64kbps 176×144 384kbps 176×144 128kbps 352×288 2Mbps 352×288 2Mbps 352×288 384kbps 352×288 ー やディジタルスチルカメラなどの幅広い分 ー ー 野で利用されています。 15Mbps 720×480 38.4Mbps 1,920×1,088 ー JPEGの基本は，DCT（Discrete Cosine Transform：離散コサイン変換） という方式 を用いて画像の圧縮を行います。そして， 解像度 圧縮時に情報の一部を捨てることにより圧 MPEG4拡張（将来） 縮率を高めています。そのため，伸長した HDTV HDTV メイン （これをLossyといいます） 。 しかし，JPEGに MPEG2 Rec.601 コア CIF シンプル ビデオ 合成編集 はこのほかにもバリエーションが存在し， 画 放送 像が圧縮前の元画像に復元できる可逆方 式（LossLess方式）， そして， 再生方法とし パッケージメディア て画像の上から下へ順次的に再生する インターネット シーケンシャル方式や， 最初に画像の概略 H.263 QCIF 画像は元の画像には戻らなくなっています を表示し， しだいに鮮明な表示へと変化さ 携帯端末 せていくプログレッシブ方式などが存在し ます。 10K 図2 MPEG-4ビデオの位置づけ 1M 10M ビットレート (bps) 当社では， こうした特長を持ったJPEG ファイルの圧縮・伸長を行うため，V830， V 8 5 0ファミリおよびV Rシリーズ用として JPEGミドルウエアを提供しています。 ミドルウエア構成例 ここまでマルチメディア・コーデックについ て個別のミドルウエアを紹介してきました が， これらのミドルウエアが搭載されるモバ イル機器のミドルウエア構成例をあげます。 音声CODEC AMR オーディオDECODER MP3，AAC，WMA他 動画像CODEC MPEG-4 Video （H.263） 次世代携帯電話サービスであるIMT2000に使われるW-CDMAシステム構成例 （注）ターゲットシステムによって構成が変わる場合があります。 図3 W-CDMAミドルウエア構成例 を図3に示します。通話機能として使用さ れる音声コーデックとしてAMR，動画像 コーデックとしてはMPEG-4ビデオが採用 されることが決まっています。音楽配信等 に使用されるオーディオ・デコーダとしては MP3，AAC，WMAなどが，必要となるで しょう。 オーディオDECODER MP3 AAC WMA ATRAC3 図4のように携帯用のオーディオ・プレー ヤでは， 各種のオーディオ圧縮方式に対応 したミドルウエアを用意しておくことでソー スを選ばないプレーヤが実現できます。 （注）ターゲットシステムによって構成が変わる場合があります。 図4 オーディオ・プレーヤ・ミドルウエア構成例 PDAではスケジュール管理，住所録と いった機能に加え，通信機能やカードメ ディアを実装することにより機能を拡張する 場合，図5に示されるような各種ミドルウエ アが必要となります。 図6に示すDSC（Digital Still Camera） で オーディオDECODER MP3，AAC他 動画像CODEC MPEG-4 Video は静止画を圧縮・伸長する機能に加え， 簡 易動画記録機能としてMPEG-4ビデオを 搭載しています。 このように従来の機能に新たな機能が 静止画CODEC JPEG （注）ターゲットシステムによって構成が変わる場合があります。 図5 PDAミドルウエア構成例 加わることにより，お互いに同様の機能を 持ち， ひとつのミドルウエアが多様な機器 で使われるでしょう。 今後のマルチメディア・コーデックの展開 静止画像CODEC JPEG マルチメディア・コーデックの展開を図7 に示します。 また， マルチメディア・コーデッ ク・ミドルウエアの一覧を表2に示します。 動画像CODEC MPEG-4 Video オーディオについては，MP3，AAC以外 にもいつかの圧縮方式が存在しています。 それらの新しい規格に対応したオーディ （注）ターゲットシステムによって構成が変わる場合があります。 図6 DSCミドルウエア構成例 オ・デコーダも開発する予定です。 また， 携 JPEG-LS 機能だけではなく， 録音機能を持つものが 現れるでしょう。そのような要求に対しては オーディオ・エンコーダの開発が必要です MPEG-4 Video Core Profile VIDEO 帯用のシリコン・オーディオ装置でも再生 2000年 AUDIO JPEG2000 MPEG-4 Video Simple Profile CODEC WMA Dec が， より高い性能を持つプロセッサ上でのミ ドルウエアを開発する予定です。 AAC Dec ATRAC3 Dec また，I M T - 2 0 0 0 では当初は双方向 64kbps， 下り方向384kbpsの通信レートでス MP3 Dec 開発済み タートしますが， 将来的にはさらに高い通信 JPEG JBIG MH/MR/MMR レートを実現できるようになるでしょう。通信 MPEG-4 CELP AMR レートの拡大が実現するとリアルタイムで の動画像通信においてもさらに大きな画像 G.726 SPEECH G.723.1 サイズ， フレーム・レートを向上したMPEG- G.729 開発済み 2000年 4ビデオ・コーデックが必要となります。 また， 現在商品化を進めているMPEG-4ビデオ 図7 マルチメディア・コーディック・ミドルウエアの展開 はシンプル・プロファイル レベル1を実現す る予定ですが， さらに上位レベルの実現も い，JPEGに対して圧縮性能の30％向上， セッサの高性能化，通信レートの高速化， 視野に入れて開発を進めていきます。 および， 低ビットレート符号化時の良好な画 ストレージ・メディアの大規模化などが進ん JPEGの規格動向としては， 2種類の標準 質などを求めたJPEG2000です。当社で でいくでしょう。そこで要求されるマルチメ 化が進められています。 ひとつは医療用画 は， これらの規格の動向を睨みつつ， ミドル ディア・コーデックもさらに高い性能，多様 像や衛星画像などの高精細さや画像の可 ウエア化の計画を進めています。 な機能を要求されます。当社ではそれらに 対応したミドルウエアをタイムリに提供して 逆性を必要とするアプリケーションでの利 用を目的としたJPEG-LS（LS：LossLess） 。 おわりに もうひとつはWavelet変換という方式を用 今後，モバイル機器に搭載されるプロ いきたいと考えています。 表2 ミドルウエア一覧 ミドルウエア 音声コーデック オーディオ・ デコーダ 動画像 コーデック 静止画 コーデック 機能 V850ファミリ VRシリーズ DSP G.723.1/A/C 3.4KHz 5.3/6.3Kbps A-CELP/MP-MLQ Codec ◎ G.729/A/B 3.4KHz 8Kbps CS-ACELP Codec ◎ G.726 3.4KHz 16/24/32/40Kbps ADPCM Codec ★ MPEG-4/CELP 3.4KHz 3.85-12.2Kbps/8KHz 10.9-23.8Kbps Speech Codec ◎ AMR 3.4KHz 4.75-12.2Kbps Speech Codec ◎ MP3 Decoder 11.05-48KHz 32-128Kbps Audio Decoder ◎ AAC Decoder 3.4-48KHz 8-128Kbps Audio Decoder ◎ WMA Decoder Audio Decoder ○ ATRAC3 Decoder Audio Decoder ○ H.263 Video Codec ○ ※1 MPEG-4 SP Video Codec JBIG Still Picture Codec ◎ ○ MH/MR/MMR Still Picture Codec ◎ ◎ JPEG Still Picture Codec ◎ ◎ JPEG2000 Still Picture Codec ◎：リリース中，○：開発中，△：企画中，★：ミドルウエア製品ではないがサンプル提供可能 ※1 SP：Simple Profile △ ◎
© Copyright 2024 Paperzz
