close

Enter

Log in using OpenID

Cold Storage概要紹介

embedDownload
Cold Storage概要紹介
PRESENTATION TITLE GOES HERE
2015年7月9日(木)
SNIA日本支部Cold Storage分科会
柴山司((株)日立製作所)
目次
背景
市場動向
Cold Storageとは何か?
Cold Storageという用語について
SNIA-Jが考えるCold Storageの定義
Cold Storageの対象
Cold Storageの特徴
Cold Storageの使い方の例
目次
背景
市場動向
Cold Storageとは何か?
Cold Storageという用語について
SNIA-Jが考えるCold Storageの定義
Cold Storageの対象
Cold Storageの特徴
Cold Storageの使い方の例
背景(市場動向)
第三のプラットフォーム(モバイル、ソーシャル、ビッグデータ、クラウド)の台頭(*1)
データ量の爆発(2013年4.4ZB⇒ 2020年44ZB) (*2)
大量のデータ保存の必要性増加(例:モバイルデータ、SNSデータ、センサデータ)
低コスト(TCOの観点)、大容量のデータ保存が求められる
データ長期保管の必要性
長期間保存した数年分の大量データの分析
法規制の増加(例:HIPAA(*3)、OSHA(*4)等の医療情報保管規制)
長期間のデータ保存が求められる
このような市場動向を満足するストレージの需要が増している。
(後述のSNIA-J国内市場調査でも82%のユーザが興味ありとの結果)
(*1)IDC:238044, IDC Predictions 2013:Competing on the 3rd Platform (*3)HIPAA: Health Insurance Portability and Accountability Act of 1996
(*2) http://www.emc.com/leadership/digital-universe/index.htm
http://www.hhs.gov/ocr/privacy/hipaa/understanding/
(*4)OSHA: Occupational Safety and Health Administration
https://www.osha.gov/
SNSでの利用例
アクセス頻度
SNSアップ後,
数分間にアクセス集中
SNSに於けるデータアクセス頻度
コスト
追記はあるが
一度書いたデータの更新は無い
ただひたすら貯まっていく
急速に
アクセス減少
殆ど
アクセスなし
数分
Flash card
数時間
SSD
数日
数週間
HDD
Cloud Service
(ex. Amazon S3, …)
アクセスゼロ
になることはない
数ヶ月
大容量HDD
数年
Blu-ray/Tape,低速大容量HDD
Archive Cloud Service
(ex. Google Nearline, Glacier)
目次
背景
市場動向
Cold Storageとは何か?
Cold Storageという用語について
SNIA-Jが考えるCold Storageの定義
Cold Storageの対象
Cold Storageの特徴
Cold Storageの使い方の例
Cold Storageという用語について
世の中にCold Storageという用語は既にあり
調査会社、各ベンダ、個人により意見が千差万別
ユーザ視点では、このようなストレージの導入検討時の判断基準がわからない
SNIA-JがCold Storageの定義を考える理由
これまでストレージに関する仕様の標準化やストレージ業界用語の標準
化を推進してきたSNIAで統一見解を出したい
最終的にはユーザへCold Storage利用時のチュートリアルを提供したい
この分野は日本企業の活動が活発
富士通 / 東京エレクトロンデバイス / 東芝 / 日立 / 日本電気 / ソニー
パナソニック / HGST / 富士フイルム / 三菱化学メディア / 日本IBM
現在はSNIA USとも連携して活動中
SNIA-Jが考えるCold Storageの定義
共通の考え方
比較的アクセス頻度の低いData(いわゆるCold Data)を低コストで保存する
Data Storage
対象
デバイス、システム、サービスを含む(*)
特徴
性能よりも低コストを重視するために、
大容量化、
長期保管性、
低消費電力、
といった特徴を持つストレージ
(*)
デバイス:HDD、テープ、光ディスクなど
システム:分散ストレージ(Riakなど)
サービス:クラウドサービス(Amazon Glacier, Google Cloud Storage Nearline)など
Cold Storageの対象
デバイス(HDD)
デバイス(Tape)
デバイス(光ディスク)
システム・サービス
共通の考え方
比較的アクセス頻度の低いData(いわゆるCold Data)を低コストで保存する
Data Storage
対象
デバイス、システム、サービスを含む
特徴
性能よりも低コストを重視するために、
大容量化、
長期保管性、
低消費電力、
といった特徴を持つストレージ
HDD
HDD Cold Storage要求背景
SNS/Bigdata分析による爆発的なデータ量増加、Active Archiveへの要求
HDD Cold Storageへの要求仕様
コスト:ビット単価はNearline HDDに対して20~30%低価格
応答速度:Nearline HDD同等から最大秒単位
信頼性:Nearline HDD同等が基本要求であるが、ビット単価とのTradeoff
Cold Storage
Nearline
Nearline HDDの新たなセグメンテーション
Capacity
Enterprise
(He – PMR)
Active
Archive
(SMR)
Deep
Archive
•
あらゆるアプリケーションに対応
•
高容量、高速、ランダム性能
•
高品質・信頼性・多機能
•
順次書き込み、頻繁に読まれるがまれにしか更新されないアプリケーション
•
テープやオプティカルよりは遥かに早い待ち時間が期待される
•
コスト重視でパフォーマンス、信頼性、機能のトレードオフ可
•
一回書きのみ、まれに読まれるアプリ
•
データアクセスは順次で頻度は低い
•
もっとも低いコスト、現在はテープやオプティカルディスク
Source : HGST
Tape
Cold Storage Tape要求背景
従来から低コストな保存媒体として利用されており、低コスト・大容量・長期保管が
求められる昨今、その重要性が見直され始めている。
Tapeのメリット
大容量
: 最大容量 10TB(圧縮時30TB)
年率30~40%の容量向上継続、220TBの将来技術まで実証
高速転送
低コスト
: 最大転送速度360MB/s(圧縮時1080MB/s)
: 低消費電力、低コスト媒体
メディア保管の電力は「0」+低コストな媒体によるTCOに優れたストレージ
長期保存
: 30年以上のメディア長期保管性
室温環境で30年以上の保管可能(高温高湿下の加速テストから推定)
セキュリティ : 改ざん防止(WORM)仕様、暗号化機能
データ保障 : データ長期保管に安心、安全
Read while Write機能、高エラー訂正能力による低い読み出しエラー
ドライブ故障と独立なメディア上のデータ
Source : Fuji film
光ディスク
Cold Storage 光ディスク要求背景
Tapeと同様、低コストな保存媒体として利用されており、低コスト・大容量・
長期保管が求められる昨今、その重要性が見直され始めている。
光ディスクのメリット
長寿命で高信頼なメディア
メディア寿命は50年以上
環境変化に強い(電磁界の影響を受けず、水没にも耐える)
非接触アクセス方式なので、繰り返し読み出しに強い
コンプライアンス用途に最適
追記型(WORM)構造の光ディスク上のデータは改ざん不能
世代間の互換性が高い (33年前のCDが今でも再生可能)
環境に優しいグリーンメディア
オフラインに強く、空調費用を低減できる
定期的なメディア交換が不要で、廃棄物の発生が少ない
さらなる大容量、低コスト化、転送速度向上
各社で次世代光ディスクを開発中。
Source : SONY, Panasonic
システム(分散ストレージ)
Cold Storage としての分散ストレージ要求背景
PCサーバ等の汎用的な機器を組み合わせて低コストで環境を構築したい
非構造化データ用スケーラブル構成
3rd Party製ゲートウェイ
CIFS/NFSでのアクセス
HTTP(RestAPI)でGET/PUT/DELETE
Cluster NODE
NODE
NODE
NODE
NODE
OS
OS
OS
OS
OS
x86サーバー x86サーバー x86サーバー x86サーバー x86サーバー
KVS:Key Value Storeでの実装
HTTP(S3API)で
GET/PUT/DELETE
データの分散配置による冗長性確保
NODE
NODE
NODE
NODE
NODE
OS
OS
OS
OS
OS
x86サーバー
x86サーバー
x86サーバー
可用性
データセンターB
x86サーバー
Cluster
NODE
OS
NODE
NODE
NODE
NODE
OS
OS
OS
OS
x86サーバー x86サーバー x86サーバー x86サーバー x86サーバー
データセンターC
Cluster
RESTful APIでアクセス(ゲートウェイ
経由でCIFS/NFS等の従来型のプロ
トコルも利用可能)
PBクラスの拡張可能、拡張自動化
データセンターA
x86サーバー
データアクセス
拡張性
図1:(分散)オブジェクトストレージの構成例
Cluster
汎用サーバとソフトウェアで構成
NODE
OS
x86サーバー
NODE
OS
x86サーバー
NODE
OS
x86サーバー
NODE
OS
x86サーバー
NODE
OS
x86サーバー
図2:複数データセンター間でのレプリケーション例
障害回復自動化、DC間レプリケー
ション製品多数あり
データ保存先
主にServer内HDD, 光ディスクを
利用する試みあり
Source : TED
サービス
Cold Storage Service要求背景
Private Cloud(オンプレミス)環境を所有せずに利用するだけにしたい
Cold Storage Serviceのメリット
初期投資コストが低く、導入が容易
ユーザ側の消費電力コストが発生しない
保管管理の手間が少ない
容量や性能、長期保管性などでサービスレベルを規定することで、 Cold
Storage Serviceごとの特色を出している。
特徴
サービス例
用途
サービス例
容量コストが
低い
Amazon Glacier, Google
Nearline, Oracle Archive
Storage Could Service
Basic Storage
Service
Amazon Glacier, Google
Nearline, EVault
Social Media
Facebook, Twitter
Archiving
Bloomberg, HP Autonomy
Backup
Carbonite, Intronis
クラウド同期&共
有
SugarSync, Dropbox, Box,
Barracuda Copy
性能
Google Nearline, EVault
長期保管性
EVault, Facebook
Source : IDC 246732_ww cold storage ecosystem
Systemでの利用例(階層化ストレージ)
階層化ストレージにおけるCold Storageの要求背景
データの特性に応じたストレージ階層を構築し、低コスト・大容量・長期保管システム
を実現したい
Application
Server
階層化コントローラ
データ階層化ストレージ:
アクセス頻度等の統計情報によりデータを最
適ストレージへ移行しコスト/性能を最適化
プライマリストレージ
データ階層化ストレージの特徴
セカンダリストレージ
複数種のストレージで構成されるシステム
DR(Disaster Recovery)、レプリケーション
といった機能と組み合わせることも可能
コールドストレージ
図:階層化ストレージ
(外付けコントローラの例)
Source : Toshiba
Cold Storageの特徴
プライマリストレージと比較しての特徴
性能対コスト
大容量
長期保管性
低消費電力
共通の考え方
比較的アクセス頻度の低いData(いわゆるCold Data)を低コストで保存する
Data Storage
対象
デバイス、システム、サービスを含む
特徴
性能よりも低コストを重視するために、
大容量化、
長期保管性、
低消費電力、
といった特徴を持つストレージ
性能対コスト
クラウドストレージサービスの Storage Service応答時間 vs GB単価/月
クラウドストレージサービス
容量単価とLatencyの関係を
ベース価格( ¥/GB月)
メディア別に示す(右図)
1000
コールドストレージは右図
赤丸四角の範囲に該当
JAN 2014
July 2015
DRAM
100
Jan 2017
Flash
2014年度SNIA-J市場調査に
よる顧客期待値とほぼ一致
時間軸では、ムーアの法則に
従って容量当り価格が低下
※1 ストレージサービス価格には、一般的に
ストレージ装置以外に運用費用、電気料金、
フロア費用、DCファシリティ費用、保守費用、
マージンなどが含まれる
※2 データの転送量に応じた追加課金(=通信料金)
は右図には含まない
HDD
10
Low-speed
Large Capacity
HDD Optical
1.00E-08
1.00E-06
1.00E-04
1.00E-02
1
1.00E+00
0.1
0.01
Disc
1.00E+02
Cold Storage
Tape
1.00E+04
応答
時間
(秒)
大容量
ストレージ大容量化技術のイノベーションと、使い勝手を向上さ
せたビジネスモデルにより、圧倒的な大容量を実現
大容量を実現するイノベーションとビジネスモデル
高密度記録による低ビットコスト
SMR技術(HDD)
BaFe磁性体(Tape)
トラック間ノイズ低減技術(光ディスク)
Tracks
N-1
N
N+1
使い易さ向上
容量自動拡張(分散Storage)
容量に上限なく、使用量に応じた課金
(Cloud Service)
N-1 N N+1
スケールアウト
スモールスタート
Track pitch
SMR技術:重ね書きにより記録密度を向上
容量の自動拡張によりスケールアウトを容易化
長期保管性
デバイス、システムで、長期保管性を実現
テープデバイス
光ディスクデバイス
 BaFe磁性体は、酸化による
劣化がほとんど起こらない
 30年相当の負荷を加えても
安定したデータのRWが可能
分散ストレージシステム
 化学的に非常に安定な材料を
相変化させることでデジタル
記録。 劣化しにくい。
 長期互換、50年以上の寿命。
 Node交換のみでシステムを
自動修復・入替可能。
Cluster
NODE
NODE
NODE
1.E-01
24 ℃
65 ℃
Byte Error Rate
1.E-02
旧Node撤去
1.E-03
NODE
1.E-04
1.E-05
1.E-07
1.E+01
新Node導入
記録後1年
1.E-06
1.E+03
1.E+05
Time (sec)
1.E+07
1.E+09
常温30年に相当する環境で
保存してもエラーレートは安定
システム新陳代謝による
長期保管の実現
Source : Fujifilm, Sony, Panasonic,TED
低消費電力
低速大容量HDD、リムーバブルメディアの使用で、データ保存
に必要な消費電力を低減
低速大容量HDD
ヘリウム充填でのHDDモータ摩擦低減、 ディスクの近接化実現による
消費電力低減(テラバイト当たり49%消費電力低減 (*1))

リムーバブルメディア(テープ、光ディスク)


オフサイト保管が可能
⇒保管時の消費電力はゼロ
データアクセスが少ない場合、プライマリストレージより優位
[事例]フラッシュ、ディスク、テープストレージによるハイブリッドの階層化ストレー
ジ導入により消費電力1/9を実現(*2)
(*1) https://www.hgst.com/ja/science-of-storage/emerging-technologies/helium-technology
(*2) http://techtarget.itmedia.co.jp/tt/news/1505/28/news03.html
目次
背景
市場動向
Cold Storageとは何か?
Cold Storageという用語について
SNIA-Jが考えるCold Storageの定義
Cold Storageの対象
Cold Storageの特徴
Cold Storageの使い方の例
Cold Storageの使い方の例(1):
長期アーカイブ
核融合科学研究所様
目的
1日1.5TB、年70TBの実験
データのアーカイブ
ストレージとして利用
実験データは30年以上の
長期アーカイブが必要
データフロー
制御サーバ
/NASストレージ
実験設備
LAN
1.5TB/日
圧縮データ
採用のポイント
大容量
長期保管性
メディア運用の手軽さ
信頼性
ローカルI/F
コールドストレージ
データ参照
クライアント
制御室
Cold Storageの使い方の例(2):
長期アーカイブ+高速読み出し
製造業A
目的
生産ラインの検査工程での
製品画像を蓄積(20年分、
毎年100TB増加)
クレーム受付時に出荷時
状態を迅速に証明
BMP,
JPG,
・・・
BMP,
JPG,
・・・
迅速に
証明
検査工程
採用のポイント
大容量(スケールアウト)
応答速度
長期保管性
暗号機能、改竄防止機能
階層化(必要に応じて)
DB
画像検索システム
コールドストレージ
スモールスタート
スケールアウト
まとめ
背景
低コスト・大容量・長期保管可能なCold Storageの要求増
(国内市場調査でも8割以上がCold Storageに興味あり)
Cold Storageについて
SNIA-Jが考える定義を紹介
比較的アクセス頻度の低いData(いわゆる
Cold Data)を低コストで保存するData Storage
デバイス、システム、サービスを含む
性能よりも低コストを重視するために、
大容量化、
長期保管性、
低消費電力、
といった特徴を持つストレージ
Cold Storageの対象,特徴,事例を紹介
Thank you!
PRESENTATION TITLE GOES HERE
Author
Document
Category
Uncategorized
Views
9
File Size
1 862 KB
Tags
1/--pages
Report inappropriate content