授業予定インターネットの進化と可能性第2回ストリーミング技術(フォーマット・CODEC編) 村井純 1 4/12 講義概要 2 4/19 ストリーミング技術(1) 3 4/26 ストリーミング技術(2) 4 5/10 ディスカッション 5 5/17 ストリーミング関連技術 6 5/24 ストリーミングサービス 7 5/31 ディスカッション 8 6/7 デジタル放送(1) 9 6/14 デジタル放送(2) 10 6/21 ディスカッション 11 6/28 デジタル放送と法律 12 7/5 放送の再送信 13 7/12 ディスカッション動画とは何か? 今日のお題 • ストリーミングに用いられる技術やその考え方 CODEC フォーマット • 例既存のソフトウェア民生用映像機器 • どういうフォーマットがどういうところで用いられているかを学ぶ • サービスに結びつける • 連続した静止画一定時間毎に静止画(フレーム)を表示することによってあたかも動いてるように見せるパラパラ漫画 • 動画のクオリティフレームの画質(画像サイズ、色数) 単位時間当たりのフレーム数(fps) BBテレビはどういうCodecか SOI 今の放送との関係映像とデータ量 • 大きさが640×480でフルカラー(1670万色) の画像のデータ量は? 640×480×24=7,372,800bit=921,600Byte=0. 9MB • それが30fpsだと? 640×480×24×30=221184000bit=221Mbps • 圧縮が必要圧縮の種類 • 可逆圧縮圧縮データを展開した時に元のデータと比べて欠損がないデータの並び方を工夫する • 非可逆圧縮圧縮データを展開した時にもとのデータと比べて欠損がある欠損が起きる情報は人間にとって知覚できない情報 MP3 MPEG 1 空間周波数空間周波数 • 空間周波数が0な画像 • 周波数が低い • 周波数が高い • 周波数が高い=色の変化：大=輪郭など • 周波数が低い=色の変化：小=大まかな色面動画の更なる圧縮 JPEG/Motion JPEG • 動画には動く部分と動かない部分がある • JPEG 非可逆圧縮の静止画フォーマット (実は可逆圧縮のモードもある) DCTを用いて周波数成分を偏らせる人間の目はローパスフィルタ高周波数に対しては感度が悪い荒い量子化・高周波を丸める • Motion JPEG JPEGを並べて動画として見せる動かない部分背景動く部分前景-人物など • 動かない部分を共通化情報量が減る • フレーム間圧縮 MPEG • 映像のCODEC MPEG1 MPEG2 (MPEG3:消滅) MPEG4 • データの記述 MPEG7 • データのハンドリング MPEG21 データの種類の識別、データのプロフィールの記述、著作権保護機能など、データをハンドリングするための情報データ形式の標準化 MPEG1 • 設計目標転送速度が1.5Mbps デジタル記憶媒体 →ビデオCD • 一般にMPEG1はSIFフォーマットノンインターレース 360×240×29.97Hz(NTSCの場合) • 最大値は定められている水平・垂直4095までの画素数・ライン数が利用可能 2 GOP(Group Of Picture)構造 MPEG1の圧縮のしかた • 空間領域の圧縮 JPEGと考えた方は一緒 • 時間領域の圧縮 1つ前のフレームと今のフレームはほとんど同じである場合が多い動いてるところだけ情報を持てばよい • GOP フレームの固まり Iピクチャ(Intra picture) Pピクチャ(Predictive picture) Bピクチャ(Bi-directional predictive picture) 双方向予測 Iピクチャ B B I Bピクチャ 15Picture/1GOP B B P ピクチャの種類 • Iピクチャ(Intra picture) フレーム内符号化画像、予測を用いない。この情報のみで画像を復元できる • Pピクチャ(Predictive picture) フレーム間(inter)順方向予測符号化画像 • Bピクチャ(Bi-directional predictive picture) 双方向予測符号化画像 B B P 順方向予測 Pピクチャ B B P B B P MPEG2 • MPEG1より高画質に設計放送用画質 • 媒体の適用範囲の広域化記録媒体通信/放送媒体 • 適用例 DVD 放送画質の組み合わせ MPEG2の特徴あらかじめ受け取った大容量ビットストリームから少ないビットレートで再生できる部分を取り出すことができるビットストリームを異なる伝送レート復号可能ネットワークを用いた他地点間通信のためビットストリームから一部削除することで、 MPEG1装置などで再生可能にする後方互換性 HP@HL 1920×1152 ×60 4:2:2 MP@HL 1920×1152 ×60 4:2:0 • スケーラビリティ Spt@H-14 1440×1152 ×60 4:2:0 MP@H-14 1440×1152 ×60 4:2:0 SP@ML 720×576×30 4:2:0 Bピクチャなし MP@ML 720×576×30 4:2:0 SNR@ML 720×576×30 4:2:0 MP@LL 352×288×30 4:2:0 SNR@LL 352×288×30 4:2:0 HP@H-14 1440×1152 ×60 4:2:2 HP@ML 720×576×30 4:2:2 3 サービス例:BBケーブルテレビ • YahooBB加入者向け放送サービス電気通信役務利用放送法(H14.1.28) MPEG2 IPマルチキャスト専用STBで暗号化を解きでテレビに出力 2004.3.11 「BBケーブルTV」と「東宝東和」がBBケーブルTV VOD （ビデオ･オン･デマンド）サービスにおけるライセンス契約を締結。 2004.2.26 「BBケーブルTV」と「ギャガ・コミュニケーションズ」がBB ケーブルTV VOD（ビデオ･オン･デマンド）サービスにおけるライセンス契約を締結。 2004.2.17 「BBケーブルTV」、ベーシックチャンネルに新しく「ショップチャンネル」を追加 ∼ベーシックチャンネルは21チャンネルに∼ http://www.bbcable.tv/service/faq_main.html DVフォーマット • • • • フレーム内圧縮方式 720×480 29.97fps 28.82Mbps MPEG2-TS • MPEG2-TS(Transport Stream) • 不安定な伝送路を想定放送 • 1つの伝送路で複数の放送を送る MPEG4 • MPEG2よりさらに高圧縮フォーマット通信路の利用可能な帯域が小さい、携帯端末向け • オブジェクト単位符号化オブジェクトごとに符号化できる • マクロブロック4分割動き誤差を低減させる、ただし情報量増加 • 非制限動きベクトル参照画像の外側を参照できる MPEGシステム • DVDとデジタル放送は同じMPEG2 データ構造が違う • MPEGシステム：データ構造 MPEG2-TS MPEG2-PS MPEG2-ES (MPEG1システムもある) MPEG2-PS • MPEG2-PS(Program Stream) • 蓄積媒体を想定伝送時の情報損失が起きない可変長 • パックが単位 • 188byte固定長 ATMでの利用が元になっている(47*4) • デジタル放送ではリードソロモンの誤り訂正を入れて204byte単位になっている 4 MPEG2-PES • MPEG2-PES(Packetized Elementally Stream) • MPEG2-TSとMPEG2-PESの中間のデータ構造相互変換ができる TS,PES,PS トランスポートストリーム(TS) TSパケット TSパケット TSパケット TSパケット (PID=a) (PID=b) (PID=a) (PID=c) TSヘッダ TS ペイロード TSパケットパケタイズドエレメンタリストリーム(PES) PES ペイロードパックヘッダプログラムストリーム (PS) PES パック一つの伝送路で複数の番組を送信する • 番組番号のIDが必要 TSヘッダ PES ヘッダパック TSパケット (PID=c) ・・・ PES (可変長) ・・・パック PES パック PSIツリー構造 TS PID(プログラムID) NIT • 階層構造になっている PAT PAT(PID=0) PMT(PATで定義) 周波数などの情報を持つ PID=PATで指定 PID=0 10ch PMT 11ch Video PID=PMTで指定 PCR PID=PMTで指定 Audio PID=PMTで指定 PMT Video PCR H.323 • H.323 パケットに基づくマルチメディア通信システム • 音声CODEC G.711必須帯域4KHzの電話品質を提供する-64kbps ただし低帯域用にG723.1(6.3kbps),G728(16kbps)で代用しても良い • 映像CODEC(オプション) H.261(QCIF)が必須 H.323の製品/サービス • IP電話 Cisco IP Phone製品 BB Phone • 会議ツール Polycom Netmeeting • シグナリング、制御 H.225(コネクション確立) H.245(端末の登録、通信開始の承認、帯域の変更) 5 DV 映像機器とフォーマット • DV(Digital Video)を利用 HDデジタルVCR協議会により99年に規格化画面サイズ：720x480 音声：48kHz/16bit*2または32kHz/12bit*4 フレーム内圧縮フレーム内で隣り合うピクセルデータの差異が少ない場合，ピクセルデータを同じものとして扱う • DVカセット・mini-DVカセットを用いた記録 HDV • Canon, Sharp, Sony, Victorにより 2003年に規格化画面：1280x720または1440x1080 音声：48kHz/16bit MPEG2 フレーム間圧縮 MICROMV • Sonyにより2001年に規格化 MPEG2を利用転送レートは12Mbps MICROMVカセットを用いた記録 mini-DVカセットの約30%の大きさ • フレーム間の差分を計算変化した部分(動きのあった部分)だけを反映変化しない部分は無視 DV, mini-DVを用いた記録 Digital8 • Sonyにより99年に規格化 DVとほぼ同一のフォーマット DV: 10トラック=1フレーム Digital8: 縦に2トラックを並べ5トラック*2で1フレームを記録 Hi8テープに記録従来のアナログ Hi8テープの録画・再生可能 XDCAM • Sonyが2003年に発表記録フォーマット MPEG IMX • 量子化8ビットデジタルコンポーネント • サンプリングレート 4:2:2 • MPEG2 4:2:2P@MLに準拠したイントラフレーム方式 DVCAM • 量子化8ビットデジタルコンポーネント • サンプリングレート 4:1:1(NTSC) Professional Discを用いた記録光ディスク短波長の青紫色レーザー光記憶容量 23.3GB http://pc.watch.impress.co.jp/docs/article/990107/sony.htm 6 DVCPRO • 松下電器により1996年に発表 D-VHS(Data VHS) • Victorにより1994年に発表 DVCPRO 記録信号：480i(NTSC) 映像ビットレート：25Mbps DVCPRO 50 記録信号：480i(NTSC) 映像ビットレート：50Mbps DVCPRO P 記録信号：480p(EDTV-II) 映像ビットレート：50Mbps DVCPRO HD 記録信号：1080i/720p 映像ビットレート：100MBps DVとの再生互換記録フォーマット MPEG2 記録モード STDモード：14.1Mbps HSモード：28.2Mbps LS2モード：7.5Mbps など D-VHSテープを利用した記録 S-VHSテープがベース • DVCPROカセットを利用した記録 WMT(Windows Media Technology) • ASF形式のコンテンツを作成，再生するソフトウェア群普及しているストリーミングフォーマットに使われてる技術コンテンツの再生 Windows Media Player コンテンツの作成 Windows Media Encoder コンテンツの配信 Windows Media Service コンテンツの著作権保護 WMT Real Quick Time ファストストリーム(WMT) • ストリーミングとストアリングの組み合わせ 1. サーバはクライアントに対し，コンテンツの一部を可能な限り転送 2. クライアント側のバッファが機能し始めるとストリーミング速度を低下 – z クライアントは一定量のデータを受信した段階で再生を開始 VBR(可変ビットレート)コンテンツの場合は帯域幅に余裕がある期間にクライアントのコンテンツバッファに対しデータを余分に送信 Windows Media DRM(Digital Rights Manager) Ver.4.0よりMPEG4, WMA(Windows Media Audio)に対応 • ASF(Advanced Streaming Format) Microsoft社によるストリーミング配信のファイルフォーマット RealNetworks，Intelも支持 Microsoft技術の家電への浸透 • WMV, WMAなどの再生可能な機器の登場蓄積フォーマットとしてイントラネットワークでの利用を想定した機器もいくつかある • 松下と提携共同でHighMATなどの規格を策定 ISO9660上位互換のメディア情報管理のためのフォーマット参考:ONKYO NC-500 製品ページ 7 Real • RealNetworks社が開発したストリーミングシステム • RealVideo • RealSystem G2 SureStream(Real) • 1. 全ての接続レートに対応可能な一つのファイルを生成 2. 様々な接続レートでストリーミングを開始 3. ネットワークの状況に応じてストリームを切り替え動画，音声，文字，静止画を組み合わせたストリーミング XMLベースのSMILを利用 z QuickTime • QuickTime Apple社の動画，音声用ソフトウェア Ver4.0よりストリーミング機能サポート MPEG4規格のファイルフォーマットとして採用されるネットワーク帯域幅の変化に対応するためのシステム古いReal Playerに対応するため，上位互換性を持ったファイルをストリーミング Fast Start Movies(QuickTime) • ストアリングコンテンツをダウンロードしながら再生 1. 可能な限りのデータレートでコンテンツ全体をダウンロード 2. コンテンツの最初の部分がダウンロードされるとすぐに再生を開始全体像 • リアルタイム授業における利用 SOIにおける利用事例 DVTS Polycom Viewstation Real videoによる講義配信(この授業です) WMTによるアジア各国への講義配信 • アーカイブにおける利用 Real video (映像)+ Real pics(画像)による授業アーカイブ 8 DVTS Polycom Viewstation(h.323) • 採用理由 • 採用理由 DVTSが利用できない地点との授業高画質 64kbps∼3Mbps ホワイトボードの文字も読める低遅延手軽に利用可能 PC不要で単体での利用可能(誰でも使える) 遅延が大きいと質疑応答が難しいエコーキャンセラーなどは全て内蔵 • 利用事例 • 利用事例高速なネットワークでの遠隔授業ネットワークの遅い地点との遠隔授業キャンパス間での授業 Windows Media Real • 採用理由 • SOI-ASIAプロジェクトにおいて利用 UDLネットワーク(下り９Mbps） SMILによる講義ビデオと資料の同期機能 • 採用理由 • 利用事例ストリーム情報ファイルをローカルに持つことで、下りのみの環境でも受信が可能。上り回線が劣悪でも高品質の授業を受信 SOIのアーカイブ PNG画像の講義資料 Gateway Site Student Site Real videoの講義映像 Relaying lectures through the gateway site to all partners using multicast and satellite Participating in the lectures at the partner Institutions The Internet The Internet Lecturer Site Giving Lectures from sites any place on the Internet 課題 • 課題課題 2010年の放送はどうなっていると思いますか？また，その時のインターネットの果たす役割はどのようなものでしょうか．技術的な視野も含めて答えてください． SoIを用いて回答してください 9