画像情報特論 (13)

画像情報特論 (13)
- インターネット放送の実際 (2)
• RealSystem
• Windows Media Technologies
- 授業のまとめ
2001.07.10
電子情報通信学科 甲藤二郎
E-Mail: [email protected]
インターネット放送の実際
インターネット放送ソフトウェア
組織名
システム名称
リアルネットワークス
RealSystem
マイクロソフト
Windows Media
アップル
QuickTime
シスコシステムズ
IP/TV
NTT
SoftwareVision
http://www.softwarevision.or.jp/
KDDI
QualityMotion
http://w3-mcgav.kddlabs.co.jp/qm/
東芝
MobileMotion
http://www2.toshiba.co.jp/mmotion/
キャノン
WebView
URL
http://www.real.com
http://www.microsoft.com/windows/windowsmedia/
http://www.apple.com/quicktime/
http://www.cisco.com/warp/public/cc/pd/mxsv/
http://www.x-zone.canon.co.jp/WebView/
RealSystem (1)
ビューア
放送局
個人
圧縮
ストリーミング
サーバ
RealPlayer
インターネット
RealProducer
RealServer
企業
プロキシ・
スプリッタ
RealProxy
兼キャッシュサーバ
ビューア
RealPlayer
RealSystem (2)
目的
キャプチャ・エンコーダ
プレゼンテーション記述
名称
入出力フォーマット、プロトコル
入力: ライブ, .avi, .mov 他
RealProducer
各種エディタ、ramgen
出力: .rm (RealVideo, RealAudio)
ファイル: .smi
メタファイル: .ram
メタファイル
ファイル: .rm, .smi 他
ストリームサーバ
RealSystem Server
制御: RTSP, PNA*
メディア: RTP, RDT*, UDP, TCP, HTTP, IP Multicast
制御: RTSP, PNA*, HTTP
スプリッタ・プロキシ
RealSystem Proxy
ビューア
RealPlayer
メディア: RTP, RDT*, UDP, TCP, HTTP, IP Multicast
入力: .rm, .smi, .avi, .mov, .mpg 他
* PNA, RDT はリアルネットワークス社の独自プロトコル
RealSystem (3)
• プロトコル階層
ストリーミングサーバ
音声
ビデオ
Real
Audio
Real
Video
プレゼン
テーション
記述
制御
データ
番組案内
&
メタファイル
RTCP
.rm
WWWサーバ (番組案内)
RTSP
SMIL
.smi
.ram
HTTP
RTP / RDT
UDP (or TCP)
TCP
IP
TCP
IP
RealSystem (4)
• ふくそう制御: SureStream
RTSPストリーミング用
ストリーミング
サーバ
ビューア
廃棄率、受信速度、等
*.rm
セッション中に
セッション中に
適応的にストリーム
適応的にストリーム
切り替え
切り替え
* TCPフレンドリと同様の
メカニズムが適用可能
R≤
1.22 ⋅ B
RTT ⋅ p
複数レートの圧縮ストリームを
ひとつのファイルに混合
詳細は未公開
RealSystem (5)
• ふくそう防止: SMIL の switch タグ
HTTP
サーバ
HTTPストリーミング用
① SMIL 記述
ビューア
② ストリームファイル指定
ISDN.rm
LAN.rm
レート毎に複数の
圧縮ストリームを用意
セッション開始時に
セッション開始時に
ストリームを選択
ストリームを選択
<smil>
<smil>
<body>
<body>
<switch>
<switch>
<ref
<refsrc="LAN.rm"
src="LAN.rm"system-bitrate="150000"
system-bitrate="150000"/>
/>
<ref
src="ISDN.rm"
system-bitrate="45000"
<ref src="ISDN.rm" system-bitrate="45000"/>
/>
<ref
src="modem56.rm"
system-bitrate="32000"
<ref src="modem56.rm" system-bitrate="32000"/>
/>
<ref
src="modem28.rm"
system-bitrate="20000"
/>
<ref src="modem28.rm" system-bitrate="20000" />
</switch>
</switch>
</body>
</body>
</smil>
</smil>
Windows Media (1)
ビューア
放送局
個人
圧縮
ストリーミング
サーバ
MediaPlayer
インターネット
MediaEncoder
MediaServer
企業
ファイア
ウォール
Windows Media に特化したプロキシ、
キャッシュサーバは提供されていない
ビューア
MediaPlayer
Windows Media (2)
目的
名称
キャプチャ・エンコーダ
Media Encoder 等
プレゼンテーション記述
Metafile Creator 他
各種エディタ
メタファイル
入出力フォーマット、プロトコル
入力: ライブ, .avi, .mov 他
出力: .wmv, .wma (WM Video, WM Audio), .asf
メタファイル: .asx
ファイル: .wmv, .wma, .asf 他
ストリームサーバ
Media Server
制御: MMS*
メディア: RTP, UDP, TCP, HTTP, IP Multicast
コンテント保護
Media Rights Manager
独自
ビューア
Media Player
入力: .wmv, .wma, .asf, .avi, .mpg 他
* MMS はマイクロソフト社の独自プロトコル
Windows Media (3)
• プロトコル階層
ストリーミングサーバ
音声
ビデオ
MS
Audio
MS
Video
プレゼン
テーション
記述
制御
データ
番組案内
&
メタファイル
RTCP
.wma
.wmv
WWWサーバ (番組案内)
MMS
ASX
.asx
HTTP
RTP ?
UDP (or TCP)
TCP
IP
TCP
IP
Windows Media (4)
• メディア圧縮
MS Audio は独自、MS Video は MPEG-4。
• ふくそう制御: Intelligent Streaming
詳細不明。SureStream と同様の効果。
• ASX: メタファイル兼プレゼンテーション記述
<ASX
<ASX version="3">
version="3">
<Entry>
<Entry>
<ref
<ref HREF="mms://mms_server/sample.wmv"
HREF="mms://mms_server/sample.wmv" />
/>
</Entry>
</Entry>
</ASX>
</ASX>
このほか、プレゼンテーション記述に関係する多数のタグを定義。
QuickTime (1)
ビューア
放送局
個人
圧縮
ストリーミング
サーバ
QuickTime
インターネット
QuickTime Pro
QuickTime
Streaming Server
企業
プロキシ
QuickTime
Proxy
ビューア
QuickTime
QuickTime (2)
目的
キャプチャ・エンコーダ
名称
QuickTime Pro,
Sorenson, Qdesign 他
プレゼンテーション記述
各種エディタ
メタファイル
入出力フォーマット、プロトコル
入力: .mov, .qt 他
出力: .mov, .qt 他
ファイル: .smi
メタファイル: .mov (詳細不明)
ファイル: .mov, .qt, .smi 他
ストリームサーバ
QuickTime
Streaming Server
制御: RTSP
メディア: RTP, UDP, TCP, HTTP, IP Multicast
ビューア
QuickTime Player
入力: .mov, .mpg 他
QuickTime (3)
• プロトコル階層
ストリーミングサーバ
音声
プレゼン
テーション
記述
制御
ビデオ
WWWサーバ (番組案内)
データ
番組案内
&
メタファイル
Qdesign Sorenson
Audio
Video
RTCP
.mov
RTSP
SMIL
.smi
.mov
HTTP
RTP
UDP (or TCP)
TCP
IP
TCP
IP
もっとも国際標準方式に忠実な実装
授業のまとめ
まとめ (1)
• プロトコル階層
明確なプロトコル階層。
アプリケーション
音声
ビデオ
G.72x
他
H.26x
他
制御
RTCP
アダプテーション
トランスポート
ネットワーク
プレゼン
テーション
記述
SMIL
等
各種
RTP
UDP (or TCP)
TCP
IP
まとめ (2)
• 説明項目
アプリケーション
ビデオ圧縮 (空間方向、時間方向の相関除去)
オーディオ・音声圧縮 (周波数解析、心理聴覚分析、音声生成モデル)
プレゼンテーション記述 (SMIL)、その他のコンテント (MPEG4 / VRML)
インターネット電話プロトコル (H.323 と SIP/SDP)
制御
能力交換メッセージ (H.245 と SDP)
サーバ機能 (RAS と SIP: サーバ登録、アドレス解決、リダイレクション)
ストリーミング制御 (RTSP)
アダプテーション
同期再生 (RTP/RTCP/NTP による三階層同期)
パケット廃棄対策 (RTP ペイロードフォーマット: 再同期、コンシールメント)
アプリケーションレベルのふくそう制御 (TCPフレンドリ、階層化マルチキャスト)
トランスポート
TCP のふくそう制御メカニズム (スロースタートとふくそう回避)
TCP の誤り対策 (シーケンスナンバとデータ再送)
UDP の処理の簡素化と低遅延性
ネットワーク
IP の経路制御メカニズム (RIP と OSPF)
IP レベルの QoS メカニズム (Differentiated Services、MPLS)
IP マルチキャスト
まとめ (3)
• 今後の課題
理想的な圧縮アルゴリズム (低レート、高品質、低演算量、高機能)
アプリケーション
圧縮パラダイムの見直し (適応信号処理、学習理論等の積極的な導入?)
仮想空間通信・放送
QoS シグナリング (ふくそう制御アルゴリズムに依存)
制御
モビリティ管理 (モビリティ制御アルゴリズムに依存)
ストリームキャッシング
アダプテーション
トランスポート
ネットワーク
TCP フレンドリふくそう制御
信頼性マルチキャストとストリーミング
TCP ふくそう制御
Qos ルーティング・QoS スケジューラ
モビリティ制御 (高速ハンドオフ、シームレスハンドオフ、物理・リンク層との協調)
まとめ (4)
• フリーソフトウェア
組織名
アルゴリズム
DivX
MPEG-4 Video
OggVorbis
OggVorbis
組織名
システム
OpenH323
H.323
UCB、UCL
RTP/SDP/SIP/SAP
Apple
RTSP
URL
http://www.divx.com
http://www.vorbis.com/
URL
http://www.openh323.org
http://www-mice.cs.ucl.ac.uk/multimedia/software/
http://developer.apple.com/quicktime/
このほかにもいろいろ
まとめ (5)
• 開発ライブラリ
目的
Windows
Linux
マルチスレッド
Win32, MFC
pthread
GUI
Win32, MFC
X11, GTK, QT, Tcl/Tk, ...
Video for Windows, DirectShow
Video 4 Linux
MCI, DirectSound
Open Sound System
Win32, MFC, DirectDraw
X11, GTK, QT, Tcl/Tk, ...
MCI, DirectSound
Open Sound System
ビデオキャプチャ
オーディオキャプチャ
ビデオ再生
オーディオ再生
ネットワーク
ソケット
このほかにもいろいろ