Cold Storage概要紹介 PRESENTATION TITLE GOES HERE 2015年7月9日(木) SNIA日本支部Cold Storage分科会 柴山司((株)日立製作所) 目次 背景 市場動向 Cold Storageとは何か？ Cold Storageという用語について SNIA-Jが考えるCold Storageの定義 Cold Storageの対象 Cold Storageの特徴 Cold Storageの使い方の例 目次 背景 市場動向 Cold Storageとは何か？ Cold Storageという用語について SNIA-Jが考えるCold Storageの定義 Cold Storageの対象 Cold Storageの特徴 Cold Storageの使い方の例 背景（市場動向） 第三のプラットフォーム（モバイル、ソーシャル、ビッグデータ、クラウド）の台頭(*1) データ量の爆発（2013年4.4ZB⇒ 2020年44ZB） (*2) 大量のデータ保存の必要性増加（例：モバイルデータ、SNSデータ、センサデータ） 低コスト（TCOの観点）、大容量のデータ保存が求められる データ長期保管の必要性 長期間保存した数年分の大量データの分析 法規制の増加（例：HIPAA(*3)、OSHA(*4)等の医療情報保管規制） 長期間のデータ保存が求められる このような市場動向を満足するストレージの需要が増している。 （後述のSNIA-J国内市場調査でも82%のユーザが興味ありとの結果） (*1)IDC:238044, IDC Predictions 2013:Competing on the 3rd Platform (*3)HIPAA: Health Insurance Portability and Accountability Act of 1996 (*2) http://www.emc.com/leadership/digital-universe/index.htm http://www.hhs.gov/ocr/privacy/hipaa/understanding/ (*4)OSHA: Occupational Safety and Health Administration https://www.osha.gov/ SNSでの利用例 アクセス頻度 SNSアップ後, 数分間にアクセス集中 SNSに於けるデータアクセス頻度 コスト 追記はあるが 一度書いたデータの更新は無い ただひたすら貯まっていく 急速に アクセス減少 殆ど アクセスなし 数分 Flash card 数時間 SSD 数日 数週間 HDD Cloud Service (ex. Amazon S3, …) アクセスゼロ になることはない 数ヶ月 大容量HDD 数年 Blu-ray/Tape,低速大容量HDD Archive Cloud Service (ex. Google Nearline, Glacier) 目次 背景 市場動向 Cold Storageとは何か？ Cold Storageという用語について SNIA-Jが考えるCold Storageの定義 Cold Storageの対象 Cold Storageの特徴 Cold Storageの使い方の例 Cold Storageという用語について 世の中にCold Storageという用語は既にあり 調査会社、各ベンダ、個人により意見が千差万別 ユーザ視点では、このようなストレージの導入検討時の判断基準がわからない SNIA-JがCold Storageの定義を考える理由 これまでストレージに関する仕様の標準化やストレージ業界用語の標準 化を推進してきたSNIAで統一見解を出したい 最終的にはユーザへCold Storage利用時のチュートリアルを提供したい この分野は日本企業の活動が活発 富士通 / 東京エレクトロンデバイス / 東芝 / 日立 / 日本電気 / ソニー パナソニック / HGST / 富士フイルム / 三菱化学メディア / 日本IBM 現在はSNIA USとも連携して活動中 SNIA-Jが考えるCold Storageの定義 共通の考え方 比較的アクセス頻度の低いData(いわゆるCold Data)を低コストで保存する Data Storage 対象 デバイス、システム、サービスを含む(*) 特徴 性能よりも低コストを重視するために、 大容量化、 長期保管性、 低消費電力、 といった特徴を持つストレージ (*) デバイス：HDD、テープ、光ディスクなど システム：分散ストレージ(Riakなど) サービス：クラウドサービス(Amazon Glacier, Google Cloud Storage Nearline)など Cold Storageの対象 デバイス（HDD） デバイス（Tape） デバイス（光ディスク） システム・サービス 共通の考え方 比較的アクセス頻度の低いData(いわゆるCold Data)を低コストで保存する Data Storage 対象 デバイス、システム、サービスを含む 特徴 性能よりも低コストを重視するために、 大容量化、 長期保管性、 低消費電力、 といった特徴を持つストレージ HDD HDD Cold Storage要求背景 SNS/Bigdata分析による爆発的なデータ量増加、Active Archiveへの要求 HDD Cold Storageへの要求仕様 コスト：ビット単価はNearline HDDに対して20~30%低価格 応答速度：Nearline HDD同等から最大秒単位 信頼性：Nearline HDD同等が基本要求であるが、ビット単価とのTradeoff Cold Storage Nearline Nearline HDDの新たなセグメンテーション Capacity Enterprise (He – PMR) Active Archive (SMR) Deep Archive • あらゆるアプリケーションに対応 • 高容量、高速、ランダム性能 • 高品質・信頼性・多機能 • 順次書き込み、頻繁に読まれるがまれにしか更新されないアプリケーション • テープやオプティカルよりは遥かに早い待ち時間が期待される • コスト重視でパフォーマンス、信頼性、機能のトレードオフ可 • 一回書きのみ、まれに読まれるアプリ • データアクセスは順次で頻度は低い • もっとも低いコスト、現在はテープやオプティカルディスク Source : HGST Tape Cold Storage Tape要求背景 従来から低コストな保存媒体として利用されており、低コスト・大容量・長期保管が 求められる昨今、その重要性が見直され始めている。 Tapeのメリット 大容量 ： 最大容量 10TB（圧縮時30TB) 年率30~40%の容量向上継続、220TBの将来技術まで実証 高速転送 低コスト ： 最大転送速度360MB/s(圧縮時1080MB/s) ： 低消費電力、低コスト媒体 メディア保管の電力は「0」+低コストな媒体によるTCOに優れたストレージ 長期保存 ： 30年以上のメディア長期保管性 室温環境で30年以上の保管可能（高温高湿下の加速テストから推定） セキュリティ ： 改ざん防止（WORM）仕様、暗号化機能 データ保障 ： データ長期保管に安心、安全 Read while Write機能、高エラー訂正能力による低い読み出しエラー ドライブ故障と独立なメディア上のデータ Source : Fuji film 光ディスク Cold Storage 光ディスク要求背景 Tapeと同様、低コストな保存媒体として利用されており、低コスト・大容量・ 長期保管が求められる昨今、その重要性が見直され始めている。 光ディスクのメリット 長寿命で高信頼なメディア メディア寿命は50年以上 環境変化に強い（電磁界の影響を受けず、水没にも耐える） 非接触アクセス方式なので、繰り返し読み出しに強い コンプライアンス用途に最適 追記型（WORM）構造の光ディスク上のデータは改ざん不能 世代間の互換性が高い (33年前のCDが今でも再生可能) 環境に優しいグリーンメディア オフラインに強く、空調費用を低減できる 定期的なメディア交換が不要で、廃棄物の発生が少ない さらなる大容量、低コスト化、転送速度向上 各社で次世代光ディスクを開発中。 Source : SONY, Panasonic システム（分散ストレージ） Cold Storage としての分散ストレージ要求背景 PCサーバ等の汎用的な機器を組み合わせて低コストで環境を構築したい 非構造化データ用スケーラブル構成 3rd Party製ゲートウェイ CIFS/NFSでのアクセス HTTP(RestAPI)でGET/PUT/DELETE Cluster NODE NODE NODE NODE NODE OS OS OS OS OS x86サーバー x86サーバー x86サーバー x86サーバー x86サーバー KVS:Key Value Storeでの実装 HTTP(S3API)で GET/PUT/DELETE データの分散配置による冗長性確保 NODE NODE NODE NODE NODE OS OS OS OS OS x86サーバー x86サーバー x86サーバー 可用性 データセンターB x86サーバー Cluster NODE OS NODE NODE NODE NODE OS OS OS OS x86サーバー x86サーバー x86サーバー x86サーバー x86サーバー データセンターC Cluster RESTful APIでアクセス(ゲートウェイ 経由でCIFS/NFS等の従来型のプロ トコルも利用可能) PBクラスの拡張可能、拡張自動化 データセンターA x86サーバー データアクセス 拡張性 図1:(分散)オブジェクトストレージの構成例 Cluster 汎用サーバとソフトウェアで構成 NODE OS x86サーバー NODE OS x86サーバー NODE OS x86サーバー NODE OS x86サーバー NODE OS x86サーバー 図2:複数データセンター間でのレプリケーション例 障害回復自動化、DC間レプリケー ション製品多数あり データ保存先 主にServer内HDD, 光ディスクを 利用する試みあり Source : TED サービス Cold Storage Service要求背景 Private Cloud(オンプレミス）環境を所有せずに利用するだけにしたい Cold Storage Serviceのメリット 初期投資コストが低く、導入が容易 ユーザ側の消費電力コストが発生しない 保管管理の手間が少ない 容量や性能、長期保管性などでサービスレベルを規定することで、 Cold Storage Serviceごとの特色を出している。 特徴 サービス例 用途 サービス例 容量コストが 低い Amazon Glacier, Google Nearline, Oracle Archive Storage Could Service Basic Storage Service Amazon Glacier, Google Nearline, EVault Social Media Facebook, Twitter Archiving Bloomberg, HP Autonomy Backup Carbonite, Intronis クラウド同期＆共 有 SugarSync, Dropbox, Box, Barracuda Copy 性能 Google Nearline, EVault 長期保管性 EVault, Facebook Source : IDC 246732_ww cold storage ecosystem Systemでの利用例（階層化ストレージ） 階層化ストレージにおけるCold Storageの要求背景 データの特性に応じたストレージ階層を構築し、低コスト・大容量・長期保管システム を実現したい Application Server 階層化コントローラ データ階層化ストレージ： アクセス頻度等の統計情報によりデータを最 適ストレージへ移行しコスト/性能を最適化 プライマリストレージ データ階層化ストレージの特徴 セカンダリストレージ 複数種のストレージで構成されるシステム DR(Disaster Recovery）、レプリケーション といった機能と組み合わせることも可能 コールドストレージ 図:階層化ストレージ （外付けコントローラの例） Source : Toshiba Cold Storageの特徴 プライマリストレージと比較しての特徴 性能対コスト 大容量 長期保管性 低消費電力 共通の考え方 比較的アクセス頻度の低いData(いわゆるCold Data)を低コストで保存する Data Storage 対象 デバイス、システム、サービスを含む 特徴 性能よりも低コストを重視するために、 大容量化、 長期保管性、 低消費電力、 といった特徴を持つストレージ 性能対コスト クラウドストレージサービスの Storage Service応答時間 vs GB単価/月 クラウドストレージサービス 容量単価とLatencyの関係を ベース価格（ ¥/GB月） メディア別に示す（右図） 1000 コールドストレージは右図 赤丸四角の範囲に該当 JAN 2014 July 2015 DRAM 100 Jan 2017 Flash 2014年度SNIA-J市場調査に よる顧客期待値とほぼ一致 時間軸では、ムーアの法則に 従って容量当り価格が低下 ※１ ストレージサービス価格には、一般的に ストレージ装置以外に運用費用、電気料金、 フロア費用、ＤＣファシリティ費用、保守費用、 マージンなどが含まれる ※２ データの転送量に応じた追加課金（＝通信料金） は右図には含まない HDD 10 Low-speed Large Capacity HDD Optical 1.00E-08 1.00E-06 1.00E-04 1.00E-02 1 1.00E+00 0.1 0.01 Disc 1.00E+02 Cold Storage Tape 1.00E+04 応答 時間 （秒） 大容量 ストレージ大容量化技術のイノベーションと、使い勝手を向上さ せたビジネスモデルにより、圧倒的な大容量を実現 大容量を実現するイノベーションとビジネスモデル 高密度記録による低ビットコスト SMR技術（HDD） BaFe磁性体（Tape） トラック間ノイズ低減技術（光ディスク） Tracks N-1 N N+1 使い易さ向上 容量自動拡張（分散Storage） 容量に上限なく、使用量に応じた課金 （Cloud Service） N-1 N N+1 スケールアウト スモールスタート Track pitch SMR技術：重ね書きにより記録密度を向上 容量の自動拡張によりスケールアウトを容易化 長期保管性 デバイス、システムで、長期保管性を実現 テープデバイス 光ディスクデバイス BaFe磁性体は、酸化による 劣化がほとんど起こらない 30年相当の負荷を加えても 安定したデータのRWが可能 分散ストレージシステム 化学的に非常に安定な材料を 相変化させることでデジタル 記録。 劣化しにくい。 長期互換、50年以上の寿命。 Node交換のみでシステムを 自動修復・入替可能。 Cluster NODE NODE NODE 1.E-01 24 ℃ 65 ℃ Byte Error Rate 1.E-02 旧Node撤去 1.E-03 NODE 1.E-04 1.E-05 1.E-07 1.E+01 新Node導入 記録後1年 1.E-06 1.E+03 1.E+05 Time (sec) 1.E+07 1.E+09 常温30年に相当する環境で 保存してもエラーレートは安定 システム新陳代謝による 長期保管の実現 Source : Fujifilm, Sony, Panasonic,TED 低消費電力 低速大容量HDD、リムーバブルメディアの使用で、データ保存 に必要な消費電力を低減 低速大容量HDD ヘリウム充填でのHDDモータ摩擦低減、 ディスクの近接化実現による 消費電力低減(テラバイト当たり49%消費電力低減 (*1)) リムーバブルメディア（テープ、光ディスク） オフサイト保管が可能 ⇒保管時の消費電力はゼロ データアクセスが少ない場合、プライマリストレージより優位 [事例]フラッシュ、ディスク、テープストレージによるハイブリッドの階層化ストレー ジ導入により消費電力1/9を実現(*2) (*1) https://www.hgst.com/ja/science-of-storage/emerging-technologies/helium-technology (*2) http://techtarget.itmedia.co.jp/tt/news/1505/28/news03.html 目次 背景 市場動向 Cold Storageとは何か？ Cold Storageという用語について SNIA-Jが考えるCold Storageの定義 Cold Storageの対象 Cold Storageの特徴 Cold Storageの使い方の例 Cold Storageの使い方の例(1)： 長期アーカイブ 核融合科学研究所様 目的 1日1.5TB、年70TBの実験 データのアーカイブ ストレージとして利用 実験データは30年以上の 長期アーカイブが必要 データフロー 制御サーバ /NASストレージ 実験設備 LAN 1.5TB/日 圧縮データ 採用のポイント 大容量 長期保管性 メディア運用の手軽さ 信頼性 ローカルI/F コールドストレージ データ参照 クライアント 制御室 Cold Storageの使い方の例(2)： 長期アーカイブ＋高速読み出し 製造業A 目的 生産ラインの検査工程での 製品画像を蓄積（20年分、 毎年100TB増加） クレーム受付時に出荷時 状態を迅速に証明 BMP, JPG, ・・・ BMP, JPG, ・・・ 迅速に 証明 検査工程 採用のポイント 大容量（スケールアウト） 応答速度 長期保管性 暗号機能、改竄防止機能 階層化（必要に応じて） DB 画像検索システム コールドストレージ スモールスタート スケールアウト まとめ 背景 低コスト・大容量・長期保管可能なCold Storageの要求増 （国内市場調査でも８割以上がCold Storageに興味あり） Cold Storageについて SNIA-Jが考える定義を紹介 比較的アクセス頻度の低いData(いわゆる Cold Data)を低コストで保存するData Storage デバイス、システム、サービスを含む 性能よりも低コストを重視するために、 大容量化、 長期保管性、 低消費電力、 といった特徴を持つストレージ Cold Storageの対象,特徴,事例を紹介 Thank you! PRESENTATION TITLE GOES HERE
© Copyright 2024 Paperzz
