「進化するブロードバンドネットワークアプリケーションとミドルウェア」 JGN2ワークショップ (2006年10月27日) ■ MidField：遠隔操作および 新通信モジュールの設計と実装 ［発表内容］ １．MidField System Ver.1.20 機能概要 ２．統合型対話的遠隔教育システム ３．新通信モジュール ４．MidField Cluster NICT東北リサーチセンター・特別研究員 岩手県立大学ソフトウェア情報学部・助教授 東北大学大学院教育情報学研究部・客員助教授 橋本浩二 1 ■ JGN2ワークショップ通信機器構成概要図 岩手県立大学アイーナキャンパス 岩手県立大学アイーナキャンパス 学習室１ 学習室１ 岩手県立大学 地域連携研究センター 100Mbps 広域イーサ ギガビットスイッチングハブ JGN2 Switch From:MF2 From:MF3 To:東北大学 プロジェクタ From:MF5 持込PC RGB切替器・分配器 MF1(受信用) DVTS (送信) AD変換器 東北大学 東北大学 JGN2 Switch ＪＧＮ２ DV スプリッタ Audioミキサー・分配器 To:MF1 スピーカー To:MF4 MF2(送信用) 全国受信サイト Audioミキサー・分配器 京都大学 京都大学 マイクx４ To:MF1 AD変換器 Video 切替器 JGN2 Switch カメラx３ To:MF4 From:MF2 MF3(プレゼン用) ∼ ∼ Digital Video Stream PCM Audio Stream Windows Media Video Stream (デスクトップイメージ) Univ. Univ. of of Illinois, Illinois, U.S.A U.S.A From:MF3 MF4(受信用) To:MF1 MF5(送信・プレゼン) 2 ■ MidField System ■ トランスポート層の上位層に ３階層・４プレーンで構成 ■ アプリケーションに対して， 柔軟なマルチメディア通信を 実現するための機能を提供 Application Layer System Plane Session Plane Stream Plane Synchronization Layer Data Transform Layer Flow Control Layer Transport Layer Event Process Plane MidField System ・ Stream Plane オーディオ・ビデオストリーム転送 −メディア内/メディア間同期 −データ変換 −フロー制御 ・ Session Plane 相互通信セッション管理 ・ System Plane 資源管理 ・ Event Process Plane システム内部イベント処理 MidField : Middleware for Flexible intercommunication environment by linking differences 3 ■ MidField System Ver.1.20 : DV・HDV対応 9端末(PC)のIEEE1394端子へDVカメラを接続すれば， DVストリームを転送できます． 9HDV(720p/1080i)カメラを接続すれば， HDVストリームを転送できます． DV映像 9複数拠点への同時配信や中継もＯＫ． 9受信データをファイルへ保存することも可能です． HDV(720p)映像 HDV(1080i)映像 4 ■ MidField System Ver.1.20 : WMV対応 9WMVを利用すれば，数100kbps ∼10数mbpsの範囲におけるエン コード/トランスコードが可能です． 9DVとWMVを混在させた相互通信 セッションも実現できます． WMV HD の再生 #1 WMV HD の再生 #2 9プレーヤーとしてWMVファイルを 再生したり，受信ストリームをプレ ビューしながらWMVファイルとして 保存することも可能です． 9図は，WMV HD(1080p)のビデオ ファイルを再生している 画面イメージです． The Magic of Flight (http://www.microsoft.com/japan/windows/windowsmedia/content_provider/film/contentshowcase.aspx) 5 ■ MidField System Ver.1.20 : ストリームビューワー 画面４分割 #1 9ストリームビューワーを使えば，縦横1×1∼ 9×9の範囲で表示領域を分割できます． 9分割した表示領域を複数まとめて，任意の 表示位置とサイズを相対的に指定できます． 9表示領域の分割パターンを複数用意し， それを切り替えることで，通信イベント等の 様々なシーンに適応できます． 画面４分割 #2 画面５分割 6 ■ MidField System Ver.1.20 : ストリームミキサー機能 合成表示例 #1 合成表示例 #2 透明度の指定 9ストリームミキサー機能を使って，複数 のストリームを合成することが可能です． 9合成したビデオの透明度・サイズ・配置や オーディオのボリュームを調整できます． 9デスクトップキャプチャ機能との組合せに より，例えば，プレゼ資料に発表者を合成 して，1本のストリームとして配信できます． デスクトップイメージとの合成 7 ■ IMPRESSION ： マルチメディア教材の対話型教授システム 東北大学の三石助教授らが提案している教授 設計プロセスモデル(Double Loop モデル)に 基づく対話型教授システム[1] 9対面授業/遠隔授業において，教師・生徒 双方向の授業実施を支援． 9動画・静止画・webページなどネットワーク 経由で提供されるマルチメディア教材の 自由な選択・提示が可能． 操作（教師）用端末イメージ 9ペン入力操作に対応しており，教師・生徒の 両者が質問・説明等を直感的に記述可能． [1] Y. Higuchi, T. Mitsuishi, and K. Go: “An Interactive Multimedia Instruction System: IMPRESSION for Double Loop Instructional Design Process Model”, IEICE Trans. on Information and Systems, Vol.E89-D, No.6, pp.1877-1884 (2006). 参加者（生徒）用端末イメージ 8 ■ 統合型対話的遠隔教育システム □操作（教師）用端末 授業配信サーバ □参加者（生徒）用端末 <?xml version="1.0" encoding="euc-jp"?> <lecture> <draw time="1837"> <line id="Web1-1" color="#FFFF0000"> <?xml version="1.0" encoding="euc-jp"?> <point x="332" y="111" /> <lecture> </line> <start data="2005/05/04/16:13:16" /> </draw> <operate time="1162"> <end date="2005/05/04/17:16:27" /> /> <present id="Image1-1" </lecture> </operate> encoding="euc-jp"?> <?xml version="1.0" <lecture> <end date="2005/05/04/17:16:27" /> <operate time="1680"> </lecture> <movie id="Movie1-1"> <seek time="36.2179832" /> </movie> </operate> <end date="2005/05/04/17:16:27" /> </lecture> 授業データ 教師 生徒 Webサーバ ■操作用端末 IMPRESSION IMPRESSION MidField Remote Commander 制御データ 各種メディアデータ MidField Remote Command Protocol Interconnected Computer Networks (IPv4,IPv6) ■参加者用端末 MidField System IMPRESSION Command IMPRESSION AcceptorMidField MidField System System IMPRESSION IMPRESSION Command Command Acceptor Acceptor MidField MidField System System Command Command Acceptor Acceptor 9 ■ 新通信モジュール Input: - Capture Device - Media Stream - Media File ： Stream Agent の構成 Output: - Playout Device - Media Stream - Media File StreamAgent StreamSegment MediaProcessor ・・・ ・PacketReceiver ・Encoder ・PacketSender ・Depacketizer ・Decoder ・Packetizer ▲ Connected Plug-In Modules Controls <<interface>> SegmentController ・setParameter() ・getParameter() 10 ■ 新通信モジュール ： 構成概要 MediaProcessor (Sender) Packetizer Packetizer [IOName] Packet Packet Sender Sender Socket 9ストリーム送受信端点の動的接続 9送信ストリームの分配 9受信ストリームの端末内分配 9UDP,TCP対応 9IPv4,IPv6対応 Packet Sample Data MediaProcessor (Receiver) Packet Packet Receiver Receiver ConnectionAcceptor Socket Packet Socket List Depacketizer Depacketizer Sample Data Socket [IOName] 11 ■ 新通信モジュール ： 端点接続フロー （UDP） MediaProcessor (Sender) Packetizer Packetizer 4) PacketSender 生成 Packet Packet Sender Sender [IOName] Socket 5) 送信元アドレス情報通知 [IOName, srcAddr, srcPort] Packet 3) 宛先追加要求 [IOName, dstAddr, dstPort] Sample Data 1) Packetizer 生成 [IOName, srcAddr] 告知 7) ストリーム送信 MediaProcessor (Receiver) Packet Packet Receiver Receiver Depacketizer Depacketizer Socket 6) 送信元ソケットへ接続 Packet Sample Data [IOName] 2) PacketReceiver 生成 12 ■ 新通信モジュール ： 端点接続フロー （TCP受信側接続） MediaProcessor (Sender) Packetizer Packetizer 6) PacketSender 生成 Packet Packet Sender Sender [IOName] Socket Packet 5) 宛先追加要求 [IOName, dstAddr, dstPort] Sample Data 1) Packetizer 生成 [IOName, srcAddr] 告知 8) ストリーム送信 MediaProcessor (Receiver) Packet Packet Receiver Receiver Depacketizer Depacketizer 7) 接続済ソケットを取得 Socket ConnectionAcceptor 4) 接続 Socket List Packet Sample Data Socket 2) ConnectionAcceptor 生成 ※送信側 [IOName] 3) PacketReceiver 生成 13 ■ 新通信モジュール ： 端点接続フロー （TCP送信側接続） MediaProcessor (Sender) Packetizer Packetizer 5) PacketSender 生成 Packet Packet Sender Sender [IOName] 7) 送信元アドレス情報通知 [IOName, srcAddr, srcPort] Socket Packet 4) 宛先追加要求 [IOName, dstAddr, dstPort] Sample Data 1) Packetizer 生成 [IOName, srcAddr] 告知 ConnectionAcceptor 6) 接続 9) ストリーム送信 MediaProcessor (Receiver) Packet Packet Receiver Receiver Socket Packet Socket List Depacketizer Depacketizer Sample Data Socket 8) 接続済ソケットを取得 3) ConnectionAcceptor 生成 ※受信側 [IOName] 2) PacketReceiver 生成 14 ■ MidField Cluster : PHASE-1 N-1 Audio Mixer MFT1 T1 Video Mixer MFT3 T3 MFT2 T2 U1-U4 Video Transcoder U3,U4 U1,U2 Video Mixer & Transcoder ... MFT4 T4 U1,U2,U3 MFCC MidField Cluster Interconnected Computer Networks (IPv4,IPv6) U2,U3,U4,T1 MFU1 U1 U1,T2,T1 MidField MFU User Station MFU3 U3 MFU2 U2 High Bitrate Video Stream U4,T3,T3,T1 Low Bitrate Video Stream MFC MidField Connector T4,T1 MFU4 U4 ... Audio Stream MFT MidField Transcoder 15 ■ MidField Cluster : PHASE-2 MidField Cluster 1 MF MFT11 T11 MF MFT12 T12 MF MFT13 T13 MF MFT14 T14 MidField Cluster 2 ... MF MFT21 T21 MF MFT22 T22 MF MFC1 C1 MF MFT23 T23 MF MFT24 T24 ... MF MFC2 C2 Interconnected Computer Networks (IPv4,IPv6) MF MF MF MFU13 MFU11 MFU12 U13 U11 U12 MF MFU14 U14 High Bitrate Video Stream MidField MFU User Station ... MF MF MF MFU23 MFU21 MFU22 U23 U21 U22 Low Bitrate Video Stream MFC MidField Connector MF MFU24 U24 ... Audio Stream MFT MidField Transcoder 16 ■ MidField Cluster : PHASE-3 MidField Cluster 1 MF MFT11 T11 ... MF MFT13 T13 MF MFT12 T12 MF MFT14 T14 MidField Cluster 2 MF MFT21 T21 MidField Cluster 3 ... MF MFT23 T23 MF MFT22 T22 MF MFT31 T31 MF MFT32 T32 MF MFT24 T24 MF MFC2 C2 MF MFC1 C1 ... MF MFT33 T33 MF MFT34 T34 MidField Cluster 4 MF MFT41 T41 ... MF MFT43 T43 MF MFT42 T42 MF MFC3 C3 MF MFT44 T44 MF MFC4 C4 MF MFMM Interconnected Computer Networks (IPv4,IPv6) MF MFU11 U11 MF MFU13 U13 MF MFU12 U12 ... MF MFU14 U14 MF MFU21 U21 MF MFU23 U23 MF MFU22 U22 ... MF MFU24 U24 MF MFU31 U31 MF MFU33 U33 MF MFU32 U32 ... MF MFU34 U34 MFU MidField MFC MidField MFT MidField MFM MidField User Station Connector Transcoder Mediator MF MFU41 U41 MF MFU43 U43 MF MFU42 U42 ... MF MFU44 U44 Control Message 17 ■ MidField Cluster : 多地点相互通信（イメージ） Interconnected Computer Networks (IPv4,IPv6) MidField Cluster MidField Cluster MidField Cluster MF MFTT MF MFTT MF MFTT MF MFTT MidField Cluster MidField Cluster MF MFCC MFC MidField Connector MFT MidField Transcoder Audio/Video Stream 18 ■ 今後の取り組み 9新通信モジュールブラッシュアップ 9インターネットを利用した相互通信実験 9海外拠点との通信実験・実運用 9IPv6通信実験 9XCAST導入の検討 9IMPRESSIONとの統合を目的とした遠隔操作用APIの追加実装 9MidField Cluster 導入実験 9MidField Cluster PHASE-1 詳細設計・実装 ■MidField System Ver.1.20 インストーラー・取扱説明書 http://www.sb.soft.iwate-pu.ac.jp/ hashi/MidField-System/ 19
© Copyright 2024 Paperzz
