オンラインストレージにおける冗長データを用いたダウンロード高速化手法の提案 An Approach to Accelerating Data Download for Online Storages Using Redundancy 分散システム学講座 0312010124 長畑暢 指導教員:王家宏 児玉英一郎 高田豊雄 1. はじめに 近年,オンラインストレージサービスの利用者が増 加し,それに伴いオンラインストレージサービスを提 供する企業も増加している.オンラインストレージサ ービスは,サーバマシンのディスクスペースをユーザ に貸し出し,そこにファイルをアップロードすること によりインターネット上でファイルを共有するサー ビスである. しかし,オンラインストレージを利用する上で問題 も存在する.まずセキュリティの問題がある.ユーザ または管理者のミスやプログラムの不具合によって, データの漏洩や消失が発生する危険性がある.また, サービスの停止や障害などによりデータへのアクセ スができなくなる可能性がある.さらに,インターネ ットを経由してサーバにアクセスするため,通信速度 や他のユーザの利用状況などの影響を受ける. ユーザがデータのアップロードを行う場合は,一般 的にアップロード開始後は操作や確認が必要ないの で多少時間がかかってもそれほど影響はない.しかし, ダウンロードの場合は取得したいデータが表示され るまで時間がかかるとストレスにつながってしまい やすい.これらの点から,本研究はダウンロード速度 と可用性という 2 つの問題について改善を目指し,よ り快適なオンラインストレージ環境を提供すること を目的とする. 2. 関連研究 関連研究として,オンラインストレージを用いた分 散仮想ディスクの開発 1),P2P 分散ファイル共有基盤 を活用した自己暗号化法によるプライベートストレ ージ 2),MyCloud3)などがある.関連研究 1)はプライバ シー保護に関して考慮されていない,2)はクライアン ト側で暗号化を行うため処理コストがかかる,3)は耐 故障性の確保や高速化にはコストが高い. 前述の問題を解決するための研究として RAID 技術 5) を用いたセキュアオンラインストレージシステム 4) がある.この研究では数種類のオンラインストレージ を用い,それぞれのストレージを 1 つのハードディス クと考えることで,オンラインストレージに RAID の 技術を適用している.データを分割して 2 つのパリテ ィデータを生成し,複数のオンラインストレージにア ップロードすることで,システムを構成するオンライ ンストレージのうち 2 つまでが停止した場合でもデー タを取得することができる.また,分割したデータを 複数のオンラインストレージに送信することでネッ トワーク帯域幅やファイルサイズ制限などの影響を 受けにくくなる.さらに,分割したことにより 1 つの ストレージが保持するデータの量が減少し,ファイル サイズがある程度大きい場合,アクセス速度の向上が 見込める.しかし,この手法では使用した複数のオン ラインストレージの中で最も更新に時間のかかるス 図 1 システムモデル トレージがボトルネックとなり,システム全体の更新 時間に大きく影響を与えていた. 本研究では,関連研究 4)をもとにして,ある程度の 容量コストを許容することで,可用性を維持しつつダ ウンロードの高速化を実現する手法の提案を行う. 3. 提案手法 以下,前述の RAID 技術を用いたセキュアオンライ ンストレージシステムにおける問題に対し,冗長デー タを利用する手法を提案する. 3.1. システムモデル 本提案のシステムモデルを図 1 に示す. 本提案では, 関連研究 4)と同様に,複数の異なるオンラインストレ ージを用い,それぞれのストレージを 1 つのハードデ ィスクと考えることで,オンラインストレージに RAID の技術を適用する.その上で動的なロードバラ ンシングを可能にし,データのダウンロード時の速度 を向上させる. 本システムを使用する際には,事前にデータの分割 数と使用するオンラインストレージを設定し,アップ ロードまたはダウンロードの対象となるファイルや フォルダをローカルで管理するためのフォルダ(以後 オンラインストレージフォルダと呼ぶ)をあらかじめ 用意する.アップロードしたいデータがある場合はオ ンラインストレージフォルダに移動させることでア ップロードされ,ダウンロードしたいデータがある場 合はオンラインストレージフォルダに保存してある ファイルのリストを表示し,その中から選択すること でダウンロードが行われるものとする. オンラインストレージフォルダにアップロードし たいデータを移動すると,そのデータが設定した数に 分割され,加えてパリティデータが 1 つ生成される. その後,複数のオンラインストレージに分散してアッ プロードする. また,オンラインストレージに保存されているファ イルのリストからダウンロードするものを選択する と,複数のオンラインストレージからデータを取得し, 元のデータを復元することでダウンロードを行う. おき,次回のデータ要求に利用する. サーバの故障などにより取得できないファイルデ ータがある場合,パリティを使用してファイルデータ の復元を行うことでオンラインストレージ 2 つの停止 までに対応可能である. 4. 図 2 アップロード時の処理 3.2. ファイルのアップロード ファイルアップロードアルゴリズムを以下に示す. Input:ファイル名,分割数 n Output:ファイルデータをオンラインストレージに保存する 1. オンラインストレージフォルダにファイルを入れる 2. ファイルを n 個に分割し,n 個のデータから XOR によ りパリティデータを作成する 3. 各パーティションデータを id = 0 から id = n – 1 とした 場合,id と((id + 1) mod n)を同じオンラインストレー ジに配置するものとし,パーティションデータとパリテ ィデータをそれぞれオンラインストレージにアップロ ードする 図 2 ではアップロードにおけるデータの分割,パリ ティ生成について,例としてデータを 4 分割し,オン ラインストレージを 5 つ用いた場合を示している.こ の例ではまずはデータを 4 分割して,そのデータから XOR によりパリティデータを 1 つ生成する.4 分割し たパーティションデータ A,B,C,D の id がそれぞ れ 0,1,2,3 となる.配置は id が(0,1),(1,2),(2,3), (3,0)の組み合わせとなるので,AB,BC,CD,DA が 各オンラインストレージにアップロードされる. 3.3. ファイルのダウンロード ファイルを復元するアルゴリズムを以下に示す. Input:ファイル名 Output:取得したいファイル 1. アップロード時に利用したオンラインストレージを対 象とする 2. 各オンラインストレージの通信速度に比例したサイズ のパーティションデータとパリティデータを要求する 3. それぞれのストレージからデータを取得し,その際に通 信速度を計測し,次回のために保存する 4. サーバの故障などにより,取得できないパーティション データがある場合,取得できたパーティションデータと パリティを使用し,そのデータの復元を行う 5. 取得したパーティションデータから元データを復元し, ユーザに提供する 各オンラインストレージの通信速度から効率的に ダウンロードできる配分を算出し,ダウンロードを行 う.図 2 の例では各オンラインストレージが元のデー タの 50%を保持しているので,ダウンロード時の通信 速度に比例して,例えば,ストレージ 1 から 40%,ス トレージ 2 から 20%,ストレージ 3 から 30%,スト レージ 4 から 10%のように配分してデータを要求する. 通信速度に関してはダウンロードする度に計測して 考察 本提案手法は,各オンラインストレージに対してそ のストレージからどれだけのデータを取得するのか を指定できることが前提条件となっている. データを分割してアップロードすることで,それぞ れのストレージが保持するデータが少なくなり,ファ イルサイズがある程度大きい場合,アクセス速度を向 上させることができ,ファイルサイズ制限の影響を受 けにくくなる.ダウンロード時には,通信速度に応じ てどのオンラインストレージからどれだけのデータ を取得するか調節することで,よりダウンロード速度 を向上させる.また,データの一部の複製とパリティ データにより,サーバ 1 台の障害ならパリティを使用 せずにデータの取得が可能で,サーバ 2 台の障害なら パリティを使用しての復元が可能であり,耐故障性も 確保できる. しかし,容量コストが大きくなっていること,プラ イバシー保護について考慮していない点については 関連研究 4)と比較した場合の欠点となっている.本研 究では対象としなかったが,データの分割に加えて暗 号化も行うことでプライバシー保護については補う ことも可能となる. 5. おわりに 本研究では,オンラインストレージにおける冗長デ ータを用いたダウンロード高速化手法について提案 を行った.今後は性能評価を行い,手法の有効性を示 すとともに,より効率的な分割ダウンロードのための 処理についても検討する. 最後に,本研究において実験の協力と助言を頂いた 藤原貴正氏に感謝致します. 参考文献 1) 野尻祐,金井遵,並木美太郎:オンラインストレ ージを用いた分散仮想ディスクの開発,情報処理 学 会 研 究 報 告 (OS) , Vol.2007, No.36, pp.139-146 (2007). 2) 遠藤 大礎,川原 圭博,浅見 徹:P2P 分散ファ イル共有基盤を活用した自己暗号化法によるプ ライベートストレージ,情報処理学会研究報告 (QAI),Vol.2007, No.104, pp.45-50 (2007). 3) 堀内公平:複数ベンダのクラウドを用いた秘密 分散ストレージ「MyCloud」の開発-安全で高 速なクラウドのある未来のために-,情報処理 推進機構(2009). 4) 藤原貴正,王家宏,児玉英一郎,高田豊雄:RAID 技術を用いたセキュアオンラインストレージシ ステム,電子情報通信学会技術研究報告(NS), Vol.113,No.388,pp.53-58 (2014). 5) David A. Patterson,Garth Gibson,Randy H. Katz : A Case for Redundant Arrays of Inexpensive Disks(RAID),Proceedings of the International Conference on Management of Data (SIGMOD) , Vol.17, No.3, pp.109-116 (1988).
© Copyright 2024 Paperzz