ソフトウェア製品とソリューション - メラノックス テクノロジーズ ジャパン

VMA
メッセージングアクセラレーションソフトウェア
メラノックスのメッセージングアクセラレーションソフトウェア
(VMA)により、金融機関の市場
データ環境や Web 2.0クラスタ環境などで利用されている、メッセージベースのアプリケーショ
ンやストリーミングアプリケーションのパフォーマンスが強化されます。従来の InfiniBand なら
びにEthernetインターコネクトネットワークで稼働するアプリケーションと比較して、最大 67%
のレイテンシーの短縮と、サーバあたりで 200%ものアプリケーションスループットの向上が実
現されます。
VMAを使用したメッセージ(TCP/IP)高速化ソリューション
memcachedの一般的な使われ方
アプリケーションサーバ
RDBMS RDBMS
アプリケーション
VMA ライブラリ
アプリケーションと
memcached サーバが
直接通信を行う
memcached サーバ
初回アクセス:RDBMS からデータを取得しmemcached に格納
2度目以降:memcached からデータを引き表示
低レイテンシー、パフォーマンス強化
画期的なファブリックモデルによる管理
memcachedの構成
ブラウザ
TCP/IP は
memcached
サーバへのアクセスに
不要なプロトコルの
処理が多い
Socket Lib
TCP/IP
memcached
サーバ
memcachedのレスポンス性能を10 倍以上に向上
ソリューションの特長
・ダイナミックリンクが可能な BSD-Socket インタフェースに準拠したライブラリ、アプリケーションの変更は一切不要
・ カーネルバイパスで CPU の TCP/IP 処理に関するオーバーヘッドを削減、アプリケーション性能を向上
・ RDMA によりmemcached サーバ間をゼロコピーでデータ転送、I/O 性能を劇的に向上
・ 低レイテンシー、ジッターの削減により、メッセージロスによる再送を激減
・ memcached など分散型メモリキャッシュシステムからのレスポンス性能を劇的に向上
UFM
データセンター管理用ソフトウェア
メラノックスの Unified Fabric Manager(UFM)は、スケールアウト型の InfiniBand ならびに
Ethernetコンピューティング環境を管理するための強力なプラットフォームです。UFMでは、
データセンターの担当者が最新のデータセンターファブリックの効率的なプロビジョニングや
監視、運用を行うことが可能になりま す。
MLNX- OS
メラノックス独自のスイッチ管理用
組み込みオペレーティングシステム
メラノックス
ソフトウェア製品とソリューション
Fabric Collective Accelerator(FCA)
MPI のコレクティブ通信処理を CPU から
ネットワークへオフロード
メラノックス テクノロジーズ ジャパン株式会社
151-0053 東京都渋谷区代々木2-13-5 KT新宿ビル10階
電話: 03-6383-4691 Fax: 03-6383-4692
E-mail: japan_sales@mellanox.com www.mellanox.co.jp
© Copyright 2013. Mellanox Technologies. All rights reserved.
Mellanox、BridgeX、ConnectX、CORE-Direct、InfiniBridge、InfiniHost、InfiniScale、PhyX、Virtual Protocol Interconnect および Voltaireは、メラノックステクノロジーズ社の登録商標です。FabricIT、
MLNX-OS、Unbreakable-Link、UFM および Unified Fabric Managerは、メラノックステクノロジーズ社の商標です。記載されているその他の会社名および製品名は、各社の商標または登録商標です。
2013.3
アクセラレーションソフトウェア
メラノックスは、スケールアウト型の InfiniBand および 10/40ギガビットEthernetスイッチとのコンビネーションで
最高レベルのパフォーマンスを実現するソリューションを提供しています。
このアクセラレーションソフトウェアにより、レイテンシーの低減とスループットの向上、さらにCPU サイクルのオフ
ロードを実現することが可能となり、アプリケーションのパフォーマンスが大幅に向上し、新たなハードウェアに対す
る投資を行う必要がなくなります。
マネジメントソフトウェア
メラノックスのマネジメントソフトウェアにより、アプリケーションを中心とした革新的なアプローチが可能となり、
サーバ、アプリケーションおよびファブリックの構成要素の間に存在するギャップを埋めることができます。
実現される画期的なファブリックモデルでは、例えばスピードが重視されるアプリケーションやサービスなど、ビジネ
スに関連する一連の構成要素としてファブリックを管理することが可能です。また、個別のポートやデバイスレベル
ではなく、アプリケーションの論理レベルでのファブリックの監視やパフォーマンスの最適化が可能となります。
Software
高速化ソフトウェア製品とソリューション
VSA
ストレージアクセラレーションソフトウェア
UDA
非構造化データアクセラレーションソフトウェア
メラノックスの非構造化データアクセラレーションソフトウェア
(UDA)は、Hadoopアプリケー
ションのパフォーマンスを加速すると同時に、Hadoopクラスタのスケーリング性能を向上させ
るプラグインソフトウェアです。効率的なデータのマージソートアルゴリズムとRDMAを組み合
わせて使用する新しいデータ転送プロトコルにより、メラノックスの RDMA 対応 InfiniBand
HCA および RoCE* 対応 Ethernet NICをベースとするHadoopクラスタで Hadoopフレーム
ワークが加速され、サーバ間の効率的なデータ転送が可能になります。
メラノックスのストレージアクセラレーションソフトウェア
(VSA)は、Tier1ストレージおよびゲー
トウェイに優れた拡張性とハイパフォーマンス、そして低レイテンシーをもたらすソフトウェアソ
リューションです。このソフトウェアにより、リモートストレージへのブロックレベルの超高速アク
セスが可能と なり、SAN、DAS、または Flash ベースのストレージへのアクセスが加速されます。
*RoCE(RDMA over Converged Ethernet)
SSD の特性を活かしたストレージサーバソリューション
ビッグデータ解析 におけるMap/Reduceプロセスの RDMA による高速化ソリューション
SSD を大容量キャッシュとして活用し、低レイテンシーの InfiniBandで外部共有することでコストを大幅に削減
Hadoopクラスタの高性能化とコストの削減を両立
・高速ネットワーク経由で共有することにより、高性能だが高価な SSDを効率良く最大限に活用することが可能
・Hadoopジョブに要するCPU 負荷を低減し、処理実行時間を大幅に短縮
・InfiniBandのエンドトゥエンドレイテンシーは 1.3 マイクロ秒のため、性能に影響を与えずにネットワーク経由で SSDの共有が可能
コンポーネントによるレイテンシーの違い
コンポーネント
InfiniBand
レイテンシー(マイクロ秒)
0.7
Ethernet RDMA (RoCE)
1.3
Ethernet TCP
6
Fibre Channel
20
SSD リード
25
Disk リード
Fibre Channel での
SSD の総レイテンシー
InfiniBand での
SSD の総レイテンシー
Fibre
Channel
44%
SSD
Read
56%
・UDA は Hadoop ユーザに透過的、既存アプリケーション実行にも影響なし
SSD
Read
97%
Shuffle
InfiniBand
3%
Mapper
RDMA
Data
Split
6000
Merge
Sort
合計 : 25.7 マイクロ秒
Mapper
ストレージアクセラレーションサーバを活用する高速化ソリューション
SSD
FC RAID
ストレージ
アクセラレーションサーバ
Replication
バースト的な特性のIO処理が
Terasort ベンチマーク
集中するフェーズ
(ファイルサイズ 20GB, ノード当たり 16GB のデータ,
900
Mapper
ソリューションの特長
RDMA
Data
・SSD はストレージサーバの台数分で済むため、投資削減が可能
Split
Data
Split
10GE
45%
600
Merge
500
Sort
Reducer
400
300
約 2 倍の高速化!
200
100
0
Mapper
RDMA
処理実行時間を
大幅に短縮
Out
Split
…
・DB のマスターテーブルもSSD キャッシュから読込み可能
・8Gbps FC の 7 倍のスループット、50 万 IOPS/SSD の性能
・SSD を DRBD でレプリケーションすることで二重化が可能
・SSD 搭載サーバとInfiniBand で接続することで、直付けと同等の
応答性能
1GE
800
700
8Nodes
10Nodes
Out
Split
RDMA*
*ReplicationのRDMA対応は将来サポート予定
ソリューションの特長
8 Mappers, 4 reducers, 4 Disks)
1000
Reducer
ネットワーク負荷が
集中するステージ
・Shuffle
・HDFS Replication
Data
Split
Shuffle
RDMA*
RDMA
Mapper
Execution Time(sec)
アプリケーション
DB サーバ
40/56Gbps
InfiniBandスイッチ
VSA
Merge
Sort
…
VSA
IB + DRBD でミラーリング
Out
Split
RDMA
Data
Split
ストレージの統合において特定の I/O に集中しがちな処理を SSD によって高速処理可能
SSD
Reducer
…
合計 : 45 マイクロ秒
Replication
バースト的な特性のIO処理が
集中するフェーズ
12Nodes
IPoIB
UDA IB
UDA 10GE
RDMA*
・オープンソース
・Hadoopアプリケーションを変更せずに処理能力を倍増
・Hadoopプラグインソフトウェア
・RDMA によるバースト転送
インメモリ型処理に RDMA を活用
・Shuffle 処理と並行してReduce 処理を開始
ディスクI/O オペレーションを大幅に削減
・InfiniBand(RDMA)
とEthernet(RoCE)
で利用可能
・ゼロコピー、トランスポートオフロード、カーネルバイパス
Software
高速化ソフトウェア製品とソリューション
VSA
ストレージアクセラレーションソフトウェア
UDA
非構造化データアクセラレーションソフトウェア
メラノックスの非構造化データアクセラレーションソフトウェア
(UDA)は、Hadoopアプリケー
ションのパフォーマンスを加速すると同時に、Hadoopクラスタのスケーリング性能を向上させ
るプラグインソフトウェアです。効率的なデータのマージソートアルゴリズムとRDMAを組み合
わせて使用する新しいデータ転送プロトコルにより、メラノックスの RDMA 対応 InfiniBand
HCA および RoCE* 対応 Ethernet NICをベースとするHadoopクラスタで Hadoopフレーム
ワークが加速され、サーバ間の効率的なデータ転送が可能になります。
メラノックスのストレージアクセラレーションソフトウェア
(VSA)は、Tier1ストレージおよびゲー
トウェイに優れた拡張性とハイパフォーマンス、そして低レイテンシーをもたらすソフトウェアソ
リューションです。このソフトウェアにより、リモートストレージへのブロックレベルの超高速アク
セスが可能と なり、SAN、DAS、または Flash ベースのストレージへのアクセスが加速されます。
*RoCE(RDMA over Converged Ethernet)
SSD の特性を活かしたストレージサーバソリューション
ビッグデータ解析 におけるMap/Reduceプロセスの RDMA による高速化ソリューション
SSD を大容量キャッシュとして活用し、低レイテンシーの InfiniBandで外部共有することでコストを大幅に削減
Hadoopクラスタの高性能化とコストの削減を両立
・高速ネットワーク経由で共有することにより、高性能だが高価な SSDを効率良く最大限に活用することが可能
・Hadoopジョブに要するCPU 負荷を低減し、処理実行時間を大幅に短縮
・InfiniBandのエンドトゥエンドレイテンシーは 1.3 マイクロ秒のため、性能に影響を与えずにネットワーク経由で SSDの共有が可能
コンポーネントによるレイテンシーの違い
コンポーネント
InfiniBand
レイテンシー(マイクロ秒)
0.7
Ethernet RDMA (RoCE)
1.3
Ethernet TCP
6
Fibre Channel
20
SSD リード
25
Disk リード
Fibre Channel での
SSD の総レイテンシー
InfiniBand での
SSD の総レイテンシー
Fibre
Channel
44%
SSD
Read
56%
・UDA は Hadoop ユーザに透過的、既存アプリケーション実行にも影響なし
SSD
Read
97%
Shuffle
InfiniBand
3%
Mapper
6000
合計 : 25.7 マイクロ秒
Mapper
ストレージアクセラレーションサーバを活用する高速化ソリューション
VSA
FC RAID
Shuffle
ストレージ
アクセラレーションサーバ
Replication
バースト的な特性のIO処理が
Terasort ベンチマーク
集中するフェーズ
(ファイルサイズ 20GB, ノード当たり 16GB のデータ,
Mapper
ソリューションの特長
Data
・SSD はストレージサーバの台数分で済むため、投資削減が可能
Split
Data
Split
1GE
800
10GE
700
600
Merge
500
Sort
45%
Reducer
400
300
Mapper
100
0
RDMA
処理実行時間を
大幅に短縮
Out
Split
約 2 倍の高速化!
200
…
・DB のマスターテーブルもSSD キャッシュから読込み可能
・8Gbps FC の 7 倍のスループット、50 万 IOPS/SSD の性能
・SSD を DRBD でレプリケーションすることで二重化が可能
・SSD 搭載サーバとInfiniBand で接続することで、直付けと同等の
応答性能
900
RDMA
8Nodes
10Nodes
Reducer
Out
Split
RDMA*
RDMA*
*ReplicationのRDMA対応は将来サポート予定
ソリューションの特長
8 Mappers, 4 reducers, 4 Disks)
1000
Out
Split
ネットワーク負荷が
集中するステージ
・Shuffle
・HDFS Replication
Data
Split
Execution Time(sec)
アプリケーション
DB サーバ
40/56Gbps
InfiniBandスイッチ
VSA
Reducer
RDMA
Mapper
IB + DRBD でミラーリング
SSD
Merge
Sort
…
SSD
RDMA
Data
Split
ストレージの統合において特定の I/O に集中しがちな処理を SSD によって高速処理可能
Merge
Sort
…
合計 : 45 マイクロ秒
RDMA
Data
Split
Replication
バースト的な特性のIO処理が
集中するフェーズ
12Nodes
IPoIB
UDA IB
UDA 10GE
RDMA*
・オープンソース
・Hadoopアプリケーションを変更せずに処理能力を倍増
・Hadoopプラグインソフトウェア
・RDMA によるバースト転送
インメモリ型処理に RDMA を活用
・Shuffle 処理と並行してReduce 処理を開始
ディスクI/O オペレーションを大幅に削減
・InfiniBand(RDMA)
とEthernet(RoCE)
で利用可能
・ゼロコピー、トランスポートオフロード、カーネルバイパス
VMA
メッセージングアクセラレーションソフトウェア
メラノックスのメッセージングアクセラレーションソフトウェア
(VMA)により、金融機関の市場
データ環境や Web 2.0クラスタ環境などで利用されている、メッセージベースのアプリケーショ
ンやストリーミングアプリケーションのパフォーマンスが強化されます。従来の InfiniBand なら
びにEthernetインターコネクトネットワークで稼働するアプリケーションと比較して、最大 67%
のレイテンシーの短縮と、サーバあたりで 200%ものアプリケーションスループットの向上が実
現されます。
VMAを使用したメッセージ(TCP/IP)高速化ソリューション
memcachedの一般的な使われ方
アプリケーションサーバ
RDBMS RDBMS
アプリケーション
VMA ライブラリ
アプリケーションと
memcached サーバが
直接通信を行う
memcached サーバ
初回アクセス:RDBMS からデータを取得しmemcached に格納
2度目以降:memcached からデータを引き表示
低レイテンシー、パフォーマンス強化
画期的なファブリックモデルによる管理
memcachedの構成
ブラウザ
TCP/IP は
memcached
サーバへのアクセスに
不要なプロトコルの
処理が多い
Socket Lib
TCP/IP
memcached
サーバ
memcachedのレスポンス性能を10 倍以上に向上
ソリューションの特長
・ダイナミックリンクが可能な BSD-Socket インタフェースに準拠したライブラリ、アプリケーションの変更は一切不要
・ カーネルバイパスで CPU の TCP/IP 処理に関するオーバーヘッドを削減、アプリケーション性能を向上
・ RDMA によりmemcached サーバ間をゼロコピーでデータ転送、I/O 性能を劇的に向上
・ 低レイテンシー、ジッターの削減により、メッセージロスによる再送を激減
・ memcached など分散型メモリキャッシュシステムからのレスポンス性能を劇的に向上
UFM
データセンター管理用ソフトウェア
メラノックスの Unified Fabric Manager(UFM)は、スケールアウト型の InfiniBand ならびに
Ethernetコンピューティング環境を管理するための強力なプラットフォームです。UFMでは、
データセンターの担当者が最新のデータセンターファブリックの効率的なプロビジョニングや
監視、運用を行うことが可能になりま す。
MLNX- OS
メラノックス独自のスイッチ管理用
組み込みオペレーティングシステム
メラノックス
ソフトウェア製品とソリューション
Fabric Collective Accelerator(FCA)
MPI のコレクティブ通信処理を CPU から
ネットワークへオフロード
メラノックス テクノロジーズ ジャパン株式会社
151-0053 東京都渋谷区代々木2-13-5 KT新宿ビル10階
電話: 03-6383-4691 Fax: 03-6383-4692
E-mail: japan_sales@mellanox.com www.mellanox.co.jp
© Copyright 2013. Mellanox Technologies. All rights reserved.
Mellanox、BridgeX、ConnectX、CORE-Direct、InfiniBridge、InfiniHost、InfiniScale、PhyX、Virtual Protocol Interconnect および Voltaireは、メラノックステクノロジーズ社の登録商標です。FabricIT、
MLNX-OS、Unbreakable-Link、UFM および Unified Fabric Managerは、メラノックステクノロジーズ社の商標です。記載されているその他の会社名および製品名は、各社の商標または登録商標です。
2013.3
アクセラレーションソフトウェア
メラノックスは、スケールアウト型の InfiniBand および 10/40ギガビットEthernetスイッチとのコンビネーションで
最高レベルのパフォーマンスを実現するソリューションを提供しています。
このアクセラレーションソフトウェアにより、レイテンシーの低減とスループットの向上、さらにCPU サイクルのオフ
ロードを実現することが可能となり、アプリケーションのパフォーマンスが大幅に向上し、新たなハードウェアに対す
る投資を行う必要がなくなります。
マネジメントソフトウェア
メラノックスのマネジメントソフトウェアにより、アプリケーションを中心とした革新的なアプローチが可能となり、
サーバ、アプリケーションおよびファブリックの構成要素の間に存在するギャップを埋めることができます。
実現される画期的なファブリックモデルでは、例えばスピードが重視されるアプリケーションやサービスなど、ビジネ
スに関連する一連の構成要素としてファブリックを管理することが可能です。また、個別のポートやデバイスレベル
ではなく、アプリケーションの論理レベルでのファブリックの監視やパフォーマンスの最適化が可能となります。