情報ネットワーク学基礎論

情報ネットワーク学基礎論ネットワークのQoS：インターネットでどこまで保証できるか？オーバーレイによるマルチメディア制御技術
山口弘純大阪大学大学院情報科学研究科情報ネットワーク学専攻 h-‐[email protected]‐u.ac.jp
2012/11/14
情報ネットワーク学基礎論
1
講義内容
•  動画配信の基礎 –  動画配信の歴史と世界の動画配信サービス –  動画の基礎 –  ストリーミングプロトコル •  マルチメディアを扱うためのオーバレイネット
ワーク技術 –  P2Pコンテンツ管理・動画配信・オーバレイマルチ
キャスト 2012/11/14
情報ネットワーク学基礎論
2
動画配信の現状と基礎
2012/11/14
情報ネットワーク学基礎論
3
動画配信の黎明期
•  1991年 Apple が Quick?me1.0 をリリース •  1993年 NCSA Mosaicの登場 •  1993年シアトルで RealNetworks が設立（当時は
Progressive Networks） –  1995年 RealAudio 1.0をリリース –  1997年 RealVideo（ビデオフォーマット）をリリース •  RealVideo と RealAudioを組み合わせたコーデックである
RealMediaを開発 –  ※コーデック＝音声や動画を別形式に変換するアルゴリズム •  その後，ADSLやFTTHの急速な普及で動画配信・コ
ミュニケーションが注目を集める 2012/11/14
情報ネットワーク学基礎論
4
動画配信の黎明期（続き）
•  1998年 Yahoo! USA がYahoo! Moviesを開始 •  2001年ブロードバンド元年 –  Yahoo!BB（ADSL）開始 –  Apple 初代iPod発売（1000曲収録） –  Sony Music Entertainment ブロードバンドサービ
ス「Morrich」開始 •  2002年 Hi-‐ho でWOWOWコンテンツの配信 •  2003年 Apple iTunes Music Store開始 •  2004年 ITU-‐Tが H.264/AVCの策定 2012/11/14
情報ネットワーク学基礎論
5
動画配信の新サービス
•  2005年 YouTubeの開始 •  2006年 NetFlix開始 •  2007年 –  ニコニコ動画開始 –  Ustream開始 –  Apple TV開始 ... 現在へと続く 2012/11/14
情報ネットワーク学基礎論
6
多様なサービスがしのぎを削る
世界における動画配信の現状
2012/11/14
情報ネットワーク学基礎論
7
動画ストリーミングサービスとソーシャル機能の威力
•  2009年米国政府が就任式のライブ中継依頼 –  CNN.com Live （facebook 連携コメント機能）．13
0万人，トータルアクセス数 2130万 –  Fox は Hulu（後述）でライブ放送を提供 –  CBSはJoost（動画投稿サイト）を活用 –  カレントTV＆Twièr •  同年，マイケルジャクソンの葬儀ライブ中継 –  CNN＆Facebookで78万人の同時視聴，970万
人のアクセス –  他のテレビ局の競合サービスによりやや分散 2012/11/14
情報ネットワーク学基礎論
8
米国における動画配信サイトトップ10
•  Googleが双方トップ，広告でHuluなど健闘
Property Total Internet : Total Audience Google Sites Yahoo! Sites AOL, Inc. VEVO FACEBOOK.COM Grab Media, Inc. Viacom Digital NDN Microsod Sites Amazon Sites Unique Viewers (000) Videos (000)* Minutes per Viewer 181,411 39,355,895
150,287 13,123,205 57,386 498,525 53,806 741,267 50,296 569,787 46,437 233,223 41,027 40,919 40,470 36,721 31,157 視聴
2012/11/14
267,138 362,148 422,914 376,505 106,758 Property 1,399.0 Total Internet : Total Audience 419.1 Google Sites 49.1 BrightRoll 39.4 Video Network 38.7 Hulu 13.6 LIVERAIL.COM 44.2 44.1 75.1 42.0 12.8 Video Ads Ad Min. Ads per (000) (MM) Viewer 9,436,158 3,377 60.2
1,760,636 1,354,354 142 681 19.6 10.2 1,170,014 1,153,928 456 552 51.0 12.3 ADAP.TV† 1,036,873 Specific Media 787,025 Tremor Video 758,561 Auditude, Inc. 744,082 TubeMogul 539,315 530 326 360 190 244 10.8 6.8 11.8 13.1 7.4 comScore Releases September 2012
U.S. Online Video Rankings より抜粋
情報ネットワーク学基礎論
広告
9
米国：Huluの躍進
•  2007年 FOX，NBC，ABCなどアメリカ大手テ
レビ会社が設立 –  見逃し放送配信サービス •  The Simpsons，Lost，Glee etc. –  無料（CMあり） •  米国のみからアクセス可能 •  コンテンツの充実 •  CEOにアマゾン副社長をヘッドハンティング http://www.hulu.com/
2012/11/14
情報ネットワーク学基礎論
10
米国：NetFlix
•  オンラインDVDレンタルサービス大手 •  2007年1月にオンライン動画サービス開始 •  $7.99/月で多くの映画などがオンライン視聴可能 –  ただし基本はDVD レンタル（月10ドルで借り放題） 2012/11/14
情報ネットワーク学基礎論
11
Ustreamの台頭
•  ライブストリーミングの
成功例 –  2006年シリコンバレー設立 –  2009年頃からブーム（オ
バマ大統領就任式は380
万人） –  イラク戦争のコミュニケー
ションサポートを思想 –  2010年2月で5000万人/月 –  ソフトバンクとの業務提携 –  日本語サービス 2012/11/14
情報ネットワーク学基礎論
12
中国の動画共有サービス(1)
•  インターネットサービスの驚異的な成長 –  "Comscore Ranks Top 30 Global Internet Proper?es, Undercounts Chineses Sites"にランクイ
ンした動画関連サービス •  Baidu（百度）：中国No.1検索サイト，大手動画サービス
Qiyi.com（奇芸）を傘下に •  Tencent（騰訊）：チャットソフトQQで5.7億人のユーザ，
動画サービスQQLiveを保持 •  Sina（新浪）：中国最大のポータル（ Sohu（捜狐），
Netease（網易）とあわせ3大ポータル），Sina Videoがア
クセス数増大に貢献， 2012/11/14
情報ネットワーク学基礎論
13
中国の動画共有サービス(2)
•  56.com（我楽網） h`p://www.56.com/ –  中国最大の動画共有サービス •  Tudou（土豆） –  YouTubeより8カ月早い2005年4月にサービスを
開始した老舗の動画共有サービス
–  1日の動画投稿数4万以上，中国第２位の動画
共有サービス
•  Youku（優酷網） –  アップロード容量制限なし –  1日のユニークユーザ3000万人
2012/11/14
情報ネットワーク学基礎論
14
動画配信サービス
•  ストリーミングサービス
•  TV局系サービス •  Ustream •  ニコニコ動画
•  動画共有サービス
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
2012/11/14
YouTube DailymoTon sevenload Daum tvpot PANDORA.TV Tudou（土豆） 56.com（我楽網）
Youku（優酷網）
ニコニコ動画
Ameba Vision 情報ネットワーク学基礎論
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
Hulu NBC Universal ON DEMAND ABC.com CBSInteracTve TNT.tv Fox InteracTve Media NHK オンデマンド TBSオンデマンドフジテレビ On Demand テレ朝動画 Gyao! 15
H.264/MPEG4-‐AVC
2012/11/14
情報ネットワーク学基礎論
16
H.264とMPEG
•  H.26xシリーズ –  電気通信に関する国際標準化機関 ITU-‐T によ
る動画像圧縮符号化の勧告（標準） –  Hは AV/Mul?media System 分野 –  260番台は符号化，261～264まで． •  MPEG –  ISO （国際標準化機構）と IEC（国際電気標準
会議）の合同設立によるJTC1という会議が策定
した動画像圧縮符号化標準 2012/11/14
情報ネットワーク学基礎論
17
H.26x シリーズの発展
•  一般に圧縮率は品質と逆比例の関係 •  標準化は符号化列のみを決めている（具
体的な符号化は実装依存）
ITU-‐T勧告策定年
特徴
圧縮率
H.261
1990
40kbps～2Mbpsの伝送速度，VHS程度の品質
1/20～1/200
H.262
1995
4Mbps～10Mbps，SDTV（現行TV品質，15Mbps
～30Mbps（HDTV，ハイビジョン） 1/12～1/50
H.263
1996
H.261の2倍の改造版で圧縮効率，20kbps～
2Mbps，誤り耐性（ビット誤りやパケット損失）
1/12～1/100
H.264 (=MPEG4 AVC) 2003
H.263の2倍の圧縮効率．10kbps～240Mbps
1/20～1/100
2012/11/14
※「H.264/AVC教科書」より
情報ネットワーク学基礎論
18
MPEGシリーズの発展
•  MPEG4 AVC(=Advanced Video Coding) （高度動画圧縮符
号化標準） –  MPEG4 Part 10: Advanced Video Coding の省略 –  ITU-‐T と ISO/IEC が合同チームを結成して標準化を行ったため，こ
のような名称がつけられている MPEG1ビデオ 1993 1.5Mbps，ビデオCDなど．DCTを利用
1/25（Video CD）
MPEG2ビデオ 1995 4Mbps～10Mbps（現行テレビ品質），15Mbps～ 1/12～1/50
20Mbps（ハイビジョン），ノンインタレースとイン
タレース
「H.264/AVC教科書」より
MPEG4ビジュ
アル
1998 10kbps～40Mbps，低伝送速度でオブジェクト単 1/20～1/200
位の動画像圧縮符号化を実現，インターネット
上や携帯電話のマルチメディア圧縮に適用
MPEG4 AVC (=H.264)
2003 H.263の2倍の圧縮効率．10kbps～240Mbps
2012/11/14
情報ネットワーク学基礎論
1/20～1/200
19
圧縮技術の必要性
•  ネットワーク容量は十分？？
理論上の最大速度
IEEE802.16(WiMAX) 75 IEEE802.11ac (5GHz帯) 6930 IEEE802.11n (2.4GHz/5GHz帯) 600 IEEE802.11g (5GHz帯) 54 IEEE802.11a 54 IEEE802.11b 11 1000 FTTH 2012/11/14
•  エンド間のスループットではない •  実スループットは無線の場合顕著に
低下（距離，障害物，クライアント数）
VDSL 52 ADSL 50 CATV 30 情報ネットワーク学基礎論
20
電話音声の場合 •  圧縮前は64kbps相当 •  ブロードバンドであれば圧縮の必要はない •  携帯電話なら？ –  3Gでも最大数百kbps，複数のユーザ –  1/5～1/15程度に圧縮 2012/11/14
情報ネットワーク学基礎論
21
動画ならどうなるか考えてみよう
•  圧縮しないと転送は厳しい –  SDTV（Standard Defini?on TV）：124Mbps –  HDTV（High Defini?on TV）：746Mbps •  DVDにも入らない –  片面両層で8.6GB（=68,800Mbit） –  SDで550秒程度，HDで90秒程度 •  1/40程度に圧縮できれば比較的現実的に 2012/11/14
情報ネットワーク学基礎論
22
主なアプリケーションと圧縮率
H.264/AVC (HDTV) 10 MPEG2 (HDTV) 20 MPEG2 (SDTV) 4 H.263 (テレビ電話) 4 MP3 (MPEG1) 746 124 圧縮後
圧縮前
40 0.384 1.5 0 2012/11/14
746 100 200 300 400 500 600 700 800 Mbps
情報ネットワーク学基礎論
23
圧縮技術の基本：デジタル化の仕組み
•  標本化（Sampling） •  量子化（Quan?za?on）ここではPCMと呼ばれる非圧縮符号化で説明 •  符号化（Encoding）（パルス符号変調）
情報ネットワーク学基礎論
符
号
化
2012/11/14
量
子
化
標
本
化
24
PCM (1) 標本化
•  標本化 –  固定電話の周波数は約4kHz –  周波数の２倍以上の周波数（＝標本化周波数
）で標本化（サンプリング）すれば情報は失われない •  ここでは8kHz （＝125μs/sample） 1秒に8,000個 •  「標本化定理」と呼ばれる 2012/11/14
情報ネットワーク学基礎論
25
非圧縮音声（PCM）で考えよう (2) 量子化
•  量子化ビット数に対しそのレベルに合わせ
る –  量子化ビット数k に
対し，2kのレベル –  合わせるときの誤
差が量子化誤差
7
6
5
4
3
2
1
0
-1
-2
-3
-4
-5
-6
-7
例：実際の値は6.4
→6に
2012/11/14
情報ネットワーク学基礎論
26
非圧縮音声（PCM）で考えよう (3) 符号化
7 = 0 1 1 1 6 = 0 1 1 0 5 = 0 1 0 1 .... 0 = 0 0 0 0 2012/11/14
-‐7 = 1 1 1 1 -‐6 = 1 1 1 0 -‐5 = 1 1 0 1 .... 0 = 0 0 0 0 情報ネットワーク学基礎論
27
コンポーネント変換
•  ビデオカメラの素子では3原色を表すRGBのデー
タが得られる（アナログ信号） –  各色は8ビットで表現できる（255:255:255） •  ビデオカメラ内では通常，Y Cb Cr に変換（コンポ
ーネント信号と呼ばれる） –  Y：輝度信号：0.299R+0.587G+0.114B –  Cb：色差信号：（B-‐Y）×0.5/0.886 –  Cr：色差信号：（R-‐Y）×0.5/0.701 •  人間は色差信号にそれほど敏感ではない –  Cb，Crともに画素数を1/2程度に落としても大丈夫（4:2:2） –  DVカメラなどは4:1:1 2012/11/14
情報ネットワーク学基礎論
28
A/D変換
•  PCM変換でアナログ→デジタル非圧縮データ
へ –  SDTV（e.g. 640x480pixels, 約307k pixcels）をPC
M圧縮すると，例えば120Mbps程度になる 2012/11/14
情報ネットワーク学基礎論
29
符号化の要素技術
•  動画像符号化の技術 –  フレーム内データ圧縮技術 •  DCT変換 –  フレーム間データ圧縮技術 •  動き補償フレーム間予測 •  双方向動き補償フレーム間予測 –  可変長符号化 2012/11/14
情報ネットワーク学基礎論
30
1. フレーム内データ圧縮(1/3)
•  ある画素の周辺画素は似通っている –  ある範囲の複数画素を集めてブロックを作成 –  数学的な変換（ＤＣＴ変換）をすることで冗長成分を除去 •  画像の周波数 –  例えば真っ白な画面＝相関関係が高い＝変化がない＝「周波数成分が低い」 –  例えば市松画面＝相関関係が非常に低い＝変化が大きい＝「周波数成分が高い」 –  自然な画像はその中間 2012/11/14
情報ネットワーク学基礎論
31
1. フレーム内データ圧縮(2/3)
•  離散コサイン変換を用いて，低周波や高周
波成分に分解 –  画素の関係（画素領域）→周波数の関係（周波
数領域） •  人間の眼は –  低周波成分に敏感（情報削減に敏感） –  高周波成分に鈍感（情報削減に鈍感）なので，この性質を利用 •  DCT変換自体は可逆である 2012/11/14
情報ネットワーク学基礎論
32
1. フレーム内データ圧縮(3/3)
DCT変換前（無圧縮）
低周波の
DCT係数
低周波の
DCT係数
高周波成分係数
（なだらかな自然画では
0が多い）のカット
高周波の
DCT係数
2012/11/14
DCT変換後（無圧縮）
高周波の
DCT係数
情報ネットワーク学基礎論
DCT変換データの圧縮
33
2. フレーム間データ圧縮
時刻T-‐1の画像
時刻Tの画像
動き補償フレーム間予測
時刻T-‐1の画像
時刻T+1の画像
過去の画像群から動き
を予測し，差分だけを取る
時刻T+1の画像
双方向動き補償フレーム間予測
2012/11/14
情報ネットワーク学基礎論
34
3. 可変長符号化
•  符号化：データ単位に対する語（ビット列）
の割り当て –  例：アルファベットA～Dの可変長符号化文字
出現確率可変長符号化
固定長符号化
A
0.6
0
0.6x1bit=0.6bit
00
0.6x2bit=1.2bit
B
0.3
01
0.3x2bit=0.6bit
01
0.3x2bit=0.6bit
C
0.05
011
0.05x3bit=0.15bit
10
0.05x2bit=0.1bit
D
0.05
0111 0.05x4bit=0.2bit
11
0.05x2bit=0.1bit
合計
1
2012/11/14
1.55bit/char
情報ネットワーク学基礎論
2bit/char
35
H.264/AVCの用途
•  ワンセグ，Blue Ray Disc, アップル iTunes Video Store, Apple TV, Quick?me, iPod, iPhone video, Adobe Flash Player 9 etc. ...
2012/11/14
情報ネットワーク学基礎論
36
ストリーミングプロトコル
2012/11/14
情報ネットワーク学基礎論
37
ストリーミングとその現状
•  ストリーミング –  動画などサイズの大きいデータを（転送完了前から）順
次再生する技術 •  FIFA WorldCup 2010 –  世界最大の視聴者を持つイベントの一つ –  過去最大のWEB視聴者を記録したイベントでもある –  視聴者の45%以上が家以外またはTV以外のプラットフ
ォームで視聴（HD品質） –  700万人のユニーク視聴者＠ESPN.com •  WEBストリーミングも大規模・高品質化へ 2012/11/14
情報ネットワーク学基礎論
38
RTP (RTCP) over UDPの一例
6 5 4 3 2 1
フィードバック
情報
RTP (w RTCP)
UDP
IP
2012/11/14
6 5 4 3 2 1
タイプスタンプを
付与して送付
欠損していても
再生
UDPは混雑制御や到着確認はしない
IP
IP
情報ネットワーク学基礎論
フィードバック
情報（損失率，
到着揺らぎ等）
RTP (w RTCP)
UDP
IP
39
HTTP Streaming の一例 (1)
6 5 4 3 2 1
6 5 4 3 2 1
HTTP
レスポンス
HTTP
TCP
IP
2012/11/14
HTTP
リクエスト
TCPによる -‐ 再送制御（ロス発生時） -‐ 速度調整（混雑発生時）
IP
IP
情報ネットワーク学基礎論
HTTP
TCP
IP
40
HTTP Streaming の一例 (2)
anife
m
(
t
s
e
u
req
6 5 4 3 2 1
response
HTTP
6:200kbps
6:400kbps
6:600kbps
6:800kbps
2012/11/14
st)
6 5 4 3 2 1
(manifes
t)
]:400kbp
request [1
1:200kbps
1:400kbps
1:600kbps
1:800kbps
]:600kb
request [2
s
ps
HTTP
もっとあげられる．．
混雑してる．．
]:200kbp
request [3
情報ネットワーク学基礎論
s
41
運用例
•  RTP (with RTCP) streaming –  3GPP Streaming （携帯電話） ※RTSPはエンド間ストリーム再生制御プロトコル •  HTTP Streaming –  Microsod : Smooth Streaming •  h`p://technet.microsod.com/ja-‐jp/library/
dd775200.aspx –  Apple : HTTP Live Streaming (HLS) •  h`p://developer.apple.com/resources/h`p-‐streaming/ •  MPEG2-‐TSを用いて転送 –  Adobe : Dynamic Streaming 2012/11/14
情報ネットワーク学基礎論
42
DASH (MPEG-‐DASH)
•  Dynamic Adap?ve Streaming over HTTP –  ISO/IEC 23001-‐6として標準化（2012/04） –  Apple HTTP Live Streamingなどと同様，コンテン
ツをセグメント分割して複数ビットレートで符号化 –  クライアントが通信品質に応じて適切なビットレ
ートを選択 –  VLCに実装 2012/11/14
情報ネットワーク学基礎論
43
マルチメディアを扱うためのオー
バレイネットワーク技術：広域・大
規模なメディア配信や管理 2012/11/14
情報ネットワーク学基礎論
44
一般的なオーバレイネットワークの Applica?on
Applica?on
概念図
Transport
Network
Data Link
Network
Data Link
Network
Data Link
Physical
Physical
Physical
Network
Data Link
Applica?on
Network
Data Link
Network
Data Link
Physical
Physical
Physical
2012/11/14
Network
Data Link
Physical
Applica?on
Transport
Transport
Transport
Network
Data Link
Physical
情報ネットワーク学基礎論
45
一般的なオーバレイネットワークの Applica?on
Applica?on
概念図
Transport
Network
Data Link
Network
Data Link
Network
Data Link
Physical
Physical
Physical
Network
Data Link
Applica?on
Network
Data Link
Network
Data Link
Physical
Physical
Physical
2012/11/14
Network
Data Link
Physical
Applica?on
Transport
Transport
Transport
Network
Data Link
Physical
情報ネットワーク学基礎論
46
何故オーバレイネットワークか
•  複数のエンドホストによるネットワークサー
ビス／アプリケーションサービスを（独自で
）実現したい –  マルチキャスト，グループ管理，ファイル共有，
多人数コミュニケーション，メール配送 etc •  コスト共有による負担減 –  エンドホスト：インフラ（ストレージ，帯域）の提
供によるサービスの享受（ただ乗りもいる） –  サービスプロバイダ：インフラへの投資節約 2012/11/14
情報ネットワーク学基礎論
47
インターネットトラフィックとマルチメディア
•  Cisco Visual Networking Index: Forecast and Methodology, 2008–2013 (Cisco White Paper, June 2009) –  h`p://wwwh`p://www.cisco.com/en/US/solu?ons/collateral/ns341/ns525/ns537/
ns705/ns827/
white_paper_c11-‐481360_ns827_Networking_Solu?ons_White_Paper.html –  CiscoのグローバルIPトラフィックの予測 •  インターネットは2013年には2009年の4倍規模に –  DVD 100億枚分が1か月に交換されるデータ量 •  ビデオ配信（ＴＶ，VoD, Webビデオ，P2P）は 2013
年までにコンシューマＩＰ通信の91％となる •  モバイルデータ通信の64%が2013年までにビデオ
となる 2012/11/14
情報ネットワーク学基礎論
48
コンシューマインターネットトラフィック予測
2011
2012
2013
2014
2015
2016
CAGR
20112016
By Network (PB per Month)
Fixed
Mobile
20,121
29,095
35,943
45,372
57,991
74,247
30%
402
879
1,717
3,116
5,213
8,313
83%
By Subsegment (PB per Month)
File sharing
Internet video
Web, email,
and data
Online gaming
VoIP
6,013
7,403
9,153
11,569
14,758
18,892
26%
10,423
16,880
20,904
26,722
34,755
45,280
34%
3,863
5,422
7,274
9,783
13,119
17,583
35%
77
115
170
251
404
630
52%
147
154
159
163
169
174
3%
引用元：Cisco Visual Networking Index: Forecast and Methodology, 2011–2016
2012/11/14
情報ネットワーク学基礎論
49
Internet Video: Breakdown
2011
2012
2013
2014
2015
2016
CAGR
2011-20
16
Short form
1,211
1,688
2,263
2,997
4,023
5,306
34%
Long form
6,372
9,922
10,959
12,438
14,489
17,250
22%
Internet video to TV
853
1,689
2,283
3,152
4,300
5,484
45%
Live Internet TV
989
1,608
1,900
2,441
2,929
3,580
29%
Ambient video
265
591
1,026
1,463
1,901
2,247
53%
Internet PVR
82
156
291
494
792
1,200
71%
Mobile video
308
737
1,546
2,918
4,882
7,615
90%
Short form: 7分以下のビデオ
Long form: 7分以上のビデオ
Internet video to TV: セットトップボックスや Xbox 360，インターネットTVなどへのビデオ配信
Live Internet TV:P2P TV (P2Pビデオダウンロードを除く) ，ライブTVインターネットストリーミング
Ambient video: ホームセキュリティ，ペット用監視カメラなど
Internet PVR: ライブTVコンテンツ録画
Mobile video: 2G, 3G, 4G ネットワークを介した全ビデオ配信
2012/11/14
情報ネットワーク学基礎論
50
P2P（Peer-‐to-‐Peer）
•  コンピュータ（peer）間の直接通信
により，リソース（コンテンツ，帯
域，計算機資源，サービス）を共
有する形態
•  コンピュータは対等な立場
–  どのノードもデータを取得，および
供給する可能性がある
•  分散システムである
–  フォールトトレランス
–  リソースが異なる計算機の混在
（Heterogeneity）
–  Self-‐Organized 2012/11/14
情報ネットワーク学基礎論
51 クライアントサーバ型vs.P2P
総務省：「Ｐ２Ｐネットワークの在り方に関する作業部会」報告書より
2012/11/14
情報ネットワーク学基礎論
52
分類
総務省：「Ｐ２Ｐネットワークの在り方に関する作業部会」報告書より
2012/11/14
情報ネットワーク学基礎論
53
P2Pの歴史・実装例：hybrid P2P
• 
1999 Napster （Shawn Fanning @ Northeastern University) – 
– 
– 
Hybrid P2P
MP3 交換用
1999年12月には全米レコード 協会などが著作権侵害で提訴
• 
– 
Hybrid P2P
インデックスサーバ
ピアE
(ファイルXを保持）
2001年サービス停止
query
最大で全世界2000万人超の ユーザが利用 ファイルX
resultダウンロード要求
ピアD
ダウンロード
ピアA
ピアB
(ファイルXを要求）
2012/11/14
情報ネットワーク学基礎論
ピアC
54 P2Pの歴史・実装例：pure P2P
• 
2000 Gnutella
– 
• 
2001 Kazaa (Skypeの開発者）
– 
• 
サーバを必要としないpure P2P Super Nodeの概念を導入ピアE
(ファイルXを保持）
query
ピアF
2001 BitTorrent – 
hit
分割配布の概念を導入（Contribu?onを促す）
query
query
query
hit
ピアD
query
ピアA
ピアB
(ファイルXを要求）
2012/11/14
情報ネットワーク学基礎論
ピアC
55
Skype
•  Niklas Zennström & Janus Friis super node (global IP + enough resources + stability)
authen?ca?on registra?on (login)
join
ordinary host
2012/11/14
情報ネットワーク学基礎論
56
Skypeの動作
•  クライアントは reachable な super node の
テーブルを構成する（host cache） –  registry に書き込む（数百ぐらいになるらしい） •  UDP（無理ならTCP）でメディア送受信，制御は
TCP –  最低32kbpsで音声通信可能 •  デフォルトポートはない –  インストールの際にランダムなポートを設定 –  TCP 80 (HTTP)，TCP 443 (HTTPS) でも待ち受け 2012/11/14
情報ネットワーク学基礎論
57
Skypeの動作
•  NAT/Firewallがある場合 –  通信相手がNAT内側にいる場合はSuper Nodeを
介して相手側から呼び出してもらう –  双方ともNATの内側ならSuper Nodeを介したNAT
エントリ作成を試みる –  Firewallの内側ならSuper Nodeを介したTCP音声
通信であきらめる •  Global Index によるユーザ検索 •  iPhone，Windows Mobile 版も 2012/11/14
情報ネットワーク学基礎論
58
BitTorrent
•  P2Pによるコンテンツ配信システム –  大容量データを素早く配信 •  2つのコンテンツ管理形態 –  サーバタイプ（トラッカー） –  サーバレスタイプ（DHT） •  Linuxディストリビューションの配布等にも利用 2012/11/14
情報ネットワーク学基礎論
59
BitTorrent: トラッカーによるコンテンツ管理
Webサーバ
torrentファイル取得
2012/11/14
トラッカー
トラッカーに問い合わせ
ピア一覧を取得
情報ネットワーク学基礎論
60
BitTorrent: DHTによるコンテンツ管理
Webサーバ
torrentファイル取得
2012/11/14
DHT
トラッカーに問い合わせ
ピア一覧を取得
情報ネットワーク学基礎論
61
DHT
DHT = Distributed Hash Table 初期の代表例：Chord，CAN ピア群を「規則的な」ある方法で組織化検索キーワードに対し，対応するコンテンツ
を管理するピアを「効率よく」発見し，返答 •  完全な分散システム •  時間とメッセージ数の点で単純な総当り検
索よりは効率がよい • 
• 
• 
• 
2012/11/14
情報ネットワーク学基礎論
62 Chord:準備
•  ハッシュ関数H：キー → N（=2m）のID空間 H(key1)=4
0
1
2
3
4
5
H(key2)=10 H(key3)=13
6
7
8
9 10 11 12 13 14 15
N=16
ピア0
ピア2
ピア4
ピア1
ピア3
•  ピアへのID割当：ピア→ID空間 –  従って N >= 全ピア数 •  各ピアは「Finger Table」と呼ばれるルーティングテ
ーブルを保持 2012/11/14
情報ネットワーク学基礎論
63 循環ID空間に配置されたピア
•  ピアがすべてのIDに存在している必要はない
ID空間を表現したリング
15
0
14
2
13
3
12
4
11
5
10
6
9
2012/11/14
対応するピアが存在する（青）
1
8
7
情報ネットワーク学基礎論
対応するピアが存在しない（白）
64 Successor と Predecessor
•  各ピアは Successor, Predecessorピアへの
ポインタを保持（ピアの参入・離脱に備えて） –  Successorは前方の最近傍ノード –  Predecessorは後方の最近傍ノード
15
0
1
14
2
13
Pred(2)=0 Succ(2) = 5
3
12
4
11
5
10
6
9
2012/11/14
情報ネットワーク学基礎論
8
7
65 キーに対するコンテンツ保持ピア
•  H（検索キー）として得られるIDの，最近の
前方ピアが保持する（実際にはコンテンツ
0
へのリンクを保持）
1
15
14
2
13
3
H(“Bruno Mars”)=3 12
なら，ノード5が保持
4
11
5
10
6
9
2012/11/14
8
7
情報ネットワーク学基礎論
66 Finger Table
•  各ピアは，自分から見て2k番目（のSucc）の
エントリを保持 •  Succ ( (ID + 2k) mod 2m) ; k = 0 .. m-‐1 ピア0 のFinger Table
k (ID + 2k) mod 2m
0 1
1
2
2
4
3
8
2012/11/14
15
左欄の
Succ 2
2
5
9
0
1
14
2
13
3
12
4
11
5
10
情報ネットワーク学基礎論
6
9
8
7
67 Finger Tableを用いたコンテンツ検索
•  ID = H（キー）に対し自分のFinger Table を参照 •  IDを含む部分ID空間の先頭ピアに渡す（H(キー)=1
3なら空間 8～0，先頭は9）ピア 0 のFinger Table
k (ID + 2k) mod 2m
0 1(～1) 1
2(～3)
2
4(～7)
3
8(～0)
2012/11/14
左欄の
Succ 2
2
5
9
15
0
1
14
2
13
3
12
4
11
5
10
情報ネットワーク学基礎論
6
9
8
7
68 Finger Tableを用いたコンテンツ検索
•  H（キー）で得られるIDに対し，自分のFinger Table を参照 •  IDを含む先頭ピアに渡す（H(キー)=13なら14に）ピア 9 のFinger Table
k (ID + 2k) 左欄の
mod 2m
Succ 0 10(～10)
10
1 11(～12)
14
2 13(～0)
14
3
1(～9)
2
2012/11/14
15
0
1
14
2
13
3
12
4
11
5
10
情報ネットワーク学基礎論
6
9
8
7
69 Finger Tableを用いたコンテンツ検索
•  ピア14はH(キー)=13のコンテンツ（へのリンク）を
保持しているので，それをピア0に返す •  ホップごとにkの値が少なくとも1つ小さくなるのが
わかる 0
1
15
•  検索：log(N) 14
2
•  テーブルサイズ：log(N) 13
•  全ピア分を保持するより 12
スケーラブル –  バランスが取れる 11
4
5
10
6
9
2012/11/14
3
情報ネットワーク学基礎論
8
7
70 CAN (Content Addressable Network)
•  A Scalable Content-‐Addressable Network in SIGCOMM2001 •  ID空間を，d次元座標空間で表現したもの –  d=3 なら (2h, 2h, 2h) 座標 •  ハッシュ関数は，d次元値を得るためにd回適用する（あるいは次元ごとに用意する） (0, 0)
2次元：(23, 23)
(0, 23 -1)
2012/11/14
情報ネットワーク学基礎論
(23 -1, 0)
(23 -1, 23-1 )
71 キーに対するコンテンツ担当ピア
•  最初のピアは全領域を担当 –  ID=(1,2)のピアが青を担当 •  ピアが参加したら領域分割 –  ID=(4,6)のピア→青を青，緑に –  ID=(6,2)のピア→緑を緑，赤に (0, 0)
(7, 0) (0, 0)
(1,2)
(7, 0) (0, 0)
(1,2)
2012/11/14
(7, 7) (0, 7)
(6,2)
(1, 2)
(4,6)
(0, 7)
(7, 0)
(7, 7) (0, 7)
情報ネットワーク学基礎論
(4,6)
(7, 7)
72 キーに対するコンテンツ担当ピア
•  ピアが離脱したら領域合成 –  矩形領域となるように •  各ピアは辺に隣接する矩形（の担当ノード）
を把握しておく (0, 0)
(7, 0) (0, 0)
(1,2)
(7, 0) (0, 0)
(1,2)
2012/11/14
(7, 7) (0, 7)
(6,2)
(1, 2)
(4,6)
(0, 7)
(7, 0)
(7, 7) (0, 7)
情報ネットワーク学基礎論
(4,6)
(7, 7)
73 キーに対する検索
•  隣接ピアのうち，検索キーのハッシュ座標
と最も近いものに投げてルーティング –  H(キー)=(3,1)なら，(7,6)→(4,6)→(1,2) (0, 0)
(3,1)
(7, 0)
(1, 2)
(6,2)
(6,5)
(0, 7)
2012/11/14
(4,6)
情報ネットワーク学基礎論
(7,6)
74 スペースと計算量
•  平均して各ピアは –  隣接ピア数 2d –  平均ホップ数 (d/4)*(n1/d) •  d = log n なら，他のアルゴリズムと同じ •  ノード数増加に対し，ホップ数増加がO(n1/d) 2012/11/14
情報ネットワーク学基礎論
75
参考：DHTの実装例
•  Banboo (h`p://bamboo-‐dht.org/) : 最新2006 –  PastryをベースとしたDHT実装 •  FreePastry (h`p://freepastry.rice.edu/) : 最新2009 –  Pastry をベースとしたDHT実装 •  OverlayWeaver : 最新2012 (h`p://
overlayweaver.sourceforge.net/index-‐j.html) –  オーバレイ構築ツールキット –  Javaによる実装 –  DHT（Chord, Kademlia, Koorde, Pastry, Tapestry）やマルチキャストなどのAPIを提供 –  ノードエミュレータも実装（仮想ノードを扱
える） 2012/11/14
情報ネットワーク学基礎論
overlayweaver webページより引用
76
BBブロードキャスト
•  TVバンク(株) （ソフトバンクグループ）とRoxBeam（中国）が開
発した動画配信システム –  他のピア（クライアント）とメッシュ状に接続 –  メッシュへの接続が完了するまでは配信サーバから受け取る –  接続次第，受け取ってないデータを細分化して受信 •  Yahoo!動画でのライブ，野球中継に利用（同時視聴者数約
6.8万人，総視聴者15.7万人のスケール） •  768kbpsで配信，ユニキャストでの必要帯域の4%に圧縮
2012/11/14
情報ネットワーク学基礎論
77
P2PTV •  Joost h`p://www.joost.com/ •  PPlive h`p://www.pplive.com/en/ •  Babelgum h`p://www.babelgum.com/home •  他 2012/11/14
情報ネットワーク学基礎論
78
CDN
•  CDN = Content Delivery Network –  ネットワークトラフィックの増加に
対し，効率よいコンテンツ配送を
提供するオーバレイネットワーク –  コンテンツの複製をネットワーク
エッジに配送するための技術 •  キャッシング，負荷分散，スケジュー
リング，リクエストルーティング，認証
etc. –  商用システムでは多数の顧客に
配送できる仕組みを提供 •  Akamaiが最大規模 •  Limelight CDNなど
2012/11/14
情報ネットワーク学基礎論
79
Akamai
•  CDN最大手 •  エンドユーザ付近に大規模ストレージをもつエッ
ジサーバを設置 –  73,000 secure servers equipped with proprietary sodware and deployed in 70 countries –  キャッシュ効果を高める –  エッジサーバ同士を高速ネットワークで接続，
ユーザリクエストに対し最適なサーバからコン
テンツを提供
2012/11/14
情報ネットワーク学基礎論
80
オーバレイマルチキャスト
•  高速ネットワークの普及に
伴い，マルチメディアデータ
の配信機会が増加 •  ユニキャストではクライアン
ト数増加に対処できない –  帯域・処理能力の限界 –  P2Pなど新しい利用形態ユニキャストの例
•  マルチキャスト＝中継ノード
によるデータ複製配信技術 –  音声配信，ビデオ会議，オン
ラインゲーム –  ネットワーク資源の利用効率
が高い 2012/11/14
情報ネットワーク学基礎論
マルチキャスト
81
IPマルチキャスト
•  ネットワークレベルのルータがマルチキャスト機能を持つ •  ISP内での多数へのデータ配信に多く利用される（特にIPv6） –  多チャンネル動画配信(4th Media)，地震速報(NTT Communica?ons) etc. –  ISP間では課金やISPをまたがる多人数配信アプリケーションの普及問
題，機器の普及問題もあって，それほど利用は進んでいない •  MBone(Mul?cast Backbone) で実験的に利用されてきた
（1992年～） –  UNIX用ルータソフトmrouterを各サブネットに設置 –  mrouter 間でのマルチキャストパケットをトンネリング mrouter
mrouter
ト
ン
ネ
リ
ン
グ
インター
ネット
mrouter
2012/11/14
情報ネットワーク学基礎論
82
Applica?on
オーバレイマルチキャスト Applica?on
複製・転送処理
Transport
Network
Data Link
Network
Data Link
Network
Data Link
Physical
Physical
Physical
Network
Data Link
Applica?on
Network
Data Link
Network
Data Link
Physical
Physical
Physical
2012/11/14
Network
Data Link
Physical
Applica?on
Transport
Transport
Transport
Network
Data Link
Physical
情報ネットワーク学基礎論
83
Applica?on
物理ネットワークでのパケットフロー
Applica?on
複製・転送処理
Transport
Network
Data Link
Network
Data Link
Network
Data Link
Physical
Physical
Physical
Network
Data Link
Applica?on
Network
Data Link
Network
Data Link
Physical
Physical
Physical
2012/11/14
Network
Data Link
Physical
Applica?on
Transport
Transport
Transport
Network
Data Link
Physical
情報ネットワーク学基礎論
84
ネットワークマルチキャスト（IPマルチ Applica?on
キャスト）でのパケットフロー Applica?on
Transport
Network
Data Link
Network
Data Link
Network
Data Link
Physical
Physical
Physical
Transport
Network
Data Link
Physical
複製・転送処理
複製・転送処理
Applica?on
Transport
Network
Data Link
Applica?on
Network
Data Link
Network
Data Link
Physical
Physical
Physical
2012/11/14
Transport
Network
Data Link
Physical
情報ネットワーク学基礎論
85
オーバレイマルチキャストの利点
•  マルチキャストインフラに頼らないグループ形成 –  マルチキャスト機器の有無に左右されない •  アプリケーションに応じたトポロジ・プロトコル設計 –  エラー制御，フロー制御，輻輳制御，QoS制御 –  IP Mul?cast はBest Effort •  帯域利用効率がユニキャストより良いユニキャスト×N << オーバレイマルチキャスト << ネットワークマルチキャスト 2012/11/14
情報ネットワーク学基礎論
86
オーバレイマルチキャストの問題点
1.  転送ノードの負荷・スケジューリング –  遅延・ジッタの増大を招く 2.  ネットワークオーバヘッド –  転送ノード付近での帯域制限（Degree Bound） –  ネットワークマルチキャストと比較したネットワーク資源
の非効率性（Bandwidth Inefficiency） 3.  ネットワークマルチキャストと比較した遅延の増大
（Delay Penalty） 4.  不安定ノードの存在（Node Reliability） 5.  ただ乗りユーザ（Free Rider）の存在 6.  プロトコル実装の複雑さ 2012/11/14
情報ネットワーク学基礎論
87
次数制約（Degree Bound）
入力ストリーム，転送ストリームがすべて同じLANを通る
理論上の最大次数 = LAN帯域 / ストリーム占有帯域
2012/11/14
情報ネットワーク学基礎論
88
帯域の非効率性（Bandwidth Inefficiency）
•  Link Stress = 物理リンクあたりの重複パケット数 –  以下の例では最大３ •  ただし，「経路はユニキャストルーティングとトポロジ
に依存」「経路情報やトポロジはアプリケーションか
ら見えない」理由のため，これを制御することは難し
い 2012/11/14
情報ネットワーク学基礎論
89
遅延の増大（Delay Penalty）
•  Rela?ve Delay Penalty (RDP) = オーバレイ遅延 / ユニキャスト遅延 –  以下の例で物理リンク遅延をすべて1とすれば，
6/4 = 1.5 となるユニキャスト経路（遅延4）
オーバレイ経路（遅延6）
2012/11/14
情報ネットワーク学基礎論
90
不安定ノードの存在（Node Reliability）
•  処理能力の低いノードの存在 •  滞在時間が短いノードの存在
転送が安定しない→下流ノードでジッタ増大，スループット低下すぐに離脱する→下流ノードでの配信が一時停止する
2012/11/14
情報ネットワーク学基礎論
91
なぜオーバレイマルチキャストが必要なのか？
•  IPマルチキャストを取り巻く諸問題 –  ハードウェア的問題 •  マルチキャスト対応機器の普及・運用問題（ルータ・エンドホスト） •  特に，ISPを超えたマルチキャストが困難 –  グループアドレス割り当て制御が面倒，品質制御が困難 •  一方で．． –  近年のネットワーク高速化・大容量化に伴い，ISPをまたが
る小規模～中規模でのユーザグループ内のアプリケー
ションへの要求が高まる •  e.g. ビデオチャット，音声会議 etc.，基本的にはP2P •  非力なクライアントが複数クライアントをハンドリングするための
負荷（処理負荷）を上手に分散したい –  大規模なユーザグループへのメディア配信における帯域
利用効率を上げたい 2012/11/14
情報ネットワーク学基礎論
92
オーバレイマルチキャスト
小
大
運用のしやすさ
ユニキャスト N本のコネクションを生成オーバレイマルチキャスト中間端末やサーバが k 本のユニキャストを生成 IPマルチキャスト IP層で1本の配信木を生成大
小
ネットワーク利用効率（規模適用性）
2012/11/14
情報ネットワーク学基礎論
93
まとめ
•  動画配信の基礎について概説 –  動画配信の歴史と世界の動画配信サービス –  H.264/MPEG4-‐AVC –  ストリーミングプロトコル •  マルチメディアを扱うためのオーバレイネット
ワーク技術を概説 –  P2P，CDN，オーバレイマルチキャストなど 2012/11/14
情報ネットワーク学基礎論
94

Download Report