Elastic製品のご紹介
Elasticスタック、X-Pack、Elastic Cloud、
Elasticサブスクリプションパッケージ 12016年年3⽉月
今⽇日の現実的な問題を解決するミッションクリティカルな
アプリケーションを強化するために、お客様がご⾃自分のデータを
リアルタイムで活⽤用できるようにします
55,000以上
コミュニティ
メンバー数
2
40,000以上
1,800以上
オープンソース製品への
コミットメント件数
サブスクリプション
顧客数
ダウンロード件数（百万単位）
5千万件以上のダウンロード数（現在も増加中） 50.
30.
10.
現在までの全Elastic製品の累累積ダウンロード件数
2012年年
3
2013年年
2014年年
2015年年
2016年年
グローバルな顧客
ハイテク
⾦金金融サービス
テレコム
⼩小売業
4
現実の問題を解決
リアルタイムの
臨臨床判断により
患者ケアを改善
5
グローバルな
⼈人⾝身売買問題の
解決に活⽤用
1⽇日に30〜～40億件の
イベントをマイニン
グしセキュリティ
インテリジェンス
を確保
ホスト型の
Elasticsearchにより
⾃自社ビジネスに専念念 取引の最適化から
⼈人材採⽤用に⾄至るまで
数多くのユースケー
スに活⽤用
優れたツールはあるが、それらは分散アプリケーションの
構築に必要となる今⽇日の主な要件を満たしていない 独⾃自の
システム
⾼高度度なスケーリングとバッ
チを提供。
リアルタイムはサポートし
ない 6
構造化データ、複雑な結合を
サポート。⾮非構造化
データはサポートしない
Key/Valueストア、
スキーマレスをサポート。
分析機能は含まれていない
単⼀一のユースケースを
サポート。複数のユースケー
スをサポートするようには
構築されていない
今⽇日の開発に必要な要件
7
⽔水平的なスケーリング
リアルタイムの利利⽤用可能性
柔軟なデータモデル
迅速なクエリ実⾏行行
洗練されたクエリ⾔言語
スキーマレス
Elasticは分散アプリケーションの構築を簡単にします
データ
複雑/多種多様
ソーシャル
位置情報
ユーザーアクティビティ
ユースケース
多数のユーザー / ユースケース
アプリ
検索索
組み込み型
の検索索
ログ分析
セキュリティ
分析
マシン/ログファイル
ドキュメント
運⽤用の分析
バリュー/ビジネス影響
短期/中期/⻑⾧長期 収益の増加
新しいアプリや、収益化サービ
スを開始：ユーザーエクスペリ
エンスのパーソナライズ
コスト削減/リスク管理理
次世代アーキテクチャ、既存シ
ステムの再ツール化、リスクお
よびコンプライアンスの管理理
その他
開発者要件を満たすことが可能
⽔水平的な
スケーリング
8
リアルタイム
の利利⽤用可能性
柔軟な
データモデル
迅速な
クエリ実⾏行行
スキーマレス
洗練された
クエリ⾔言語
Elastic社の製品ポートフォリオ Elastic
スタック
セキュリティ
Kibana
ユーザー
インターフェイス
アラート
保存、インデックス、
分析
Elasticsearch
+
X-Pack
取り込み
Logstash
Beats
Elastic Cloud
9
監視
グラフ
あらゆる業種で多数のユースケースを解決
IT運⽤用
アプリケーション管理理
セキュリティ分析
セキュリティ
マーケティング洞洞察
ビジネス配備
顧客センチメント分析
ログ分析
内部システム / アプリケーション
Webサイト検索索
内部/イントラネット検索索
URL検索索
アナリティクス
外部システム / アプリケーション
開発者 IT / 運⽤用 ビジネスユーザー
10
検索索
elasticsearch
11
保存、インデックス、分析
分散型かつ
スケーラブル
開発者にとって
親しみやすい
検索索と分析
• 弾⼒力力性のある、スケール
アウトを考慮した設計
• スキーマレス
• リアルタイム
• ネイティブなJSON
• 全⽂文検索索
• クライアントライブラリ
• 集計
• Apache Lucene
• 地理理空間データ
• ⾼高可⽤用性、マルチテナン
シー
• 構造化/⾮非構造化データ
に対応
12
• 多⾔言語データ
カラム型ストア ⽇日付
ストア
製品
顧客
通常の逆インデックスではない
13
価格
地理理的ロケーション 14
パイプライン集計
70
70
60
60
50
50
40
40
30
30
20
20
10
10
Thu 31 August
Smooth Average
平滑滑移動平均
15
Aug 03
Tue 05
Data
Value
データ値
Thu 07
Sat 09
Mon 11
Upper Control Limit
上部管理理限界線
Wed 13
Fri 15
Aug 17
Tue 19
kibana
16
可視化と探索索 洞洞察の発⾒見見
カスタマイズと
共有
アプリ構築向け
UXプラット
フォーム
• データ内に存在するパ
ターンの探索索と分析：任
意のレベルへのドリルダ
ウンが可能
• 棒グラフ、折れ線グラフ
や散布図、マップ、ヒス
トグラムの作成
• 組込み可能なアーキテク
チャ：ダッシュボードや可
視化をアプリとして作成
• ダッシュボードを共有し、
運⽤用ワークフローに組み
込み
• セッション管理理、ユーザー
ロール、セキュリティ統合
• Elasticsearchの強⼒力力な
分析機能を活⽤用
17
⿊黒の画⾯面再び
18
フィールドフォーマッタ―
19
ヒートマップ
20
Timelion
21
logstash
取り込み
22
取り込み ES-Hadoop
• データ収集とリッチ化：
200種類以上のプラグイン
• 次世代データパイプライ
ン：マイクロバッチ。イベ
ントのグループを処理理
23
• 軽量量型データシッパーを
構築するためのプラット
フォーム
• ホストベースの数値指標
やあらゆるデータを
Elasticsearchに転送
• HDFS、Spark、
MapReduceなどとの統
合を⾏行行う双⽅方向型のコネ
クタ
• Hadoopデータに関する
リアルタイムの検索索クエ
リを実現
収集、リッチ化、転送
分析
ログおよび数値指標データ
Elasticsearch + 任意のデータストア
アラート
Watcher+任意の通知ツール
センサーおよびデバイスデータ
Webおよびソーシャルデータ
監視
Marvel+任意の監視ツール
データストアおよびストリーム
アーカイブ
Hadoop+任意のクラウドストレージプラット
フォーム
24
軽量量型データシッパー
25
Libbeat
Packetbeat
Topbeat
ホストベースの数値指標を
Elasticsearchに転送するための
ライブラリ
Web、データベース、任意の
ネットワークプロトコルに関す
るリアルタイムのネットワーク
パケット分析
CPUやメモリなどのリソース利利
⽤用率率率に関するデータを収集
Filebeat
Winlogbeat
{Future}beats
ログファイルの収集、前処理理、転
送を⾏行行う次世代のLogstashフォ
ワーダー
Windowsイベントログからシス
テム、アプリケーション、セ
キュリティに関する情報を収集
http、Redis、Nginx、Docker、
Twitterなどのデータを収集する
beatsがコミュニティにより多数
作成されている
Packetbeat
26
Topbeat
27
Elasticsearch for Hadoop
Hadoopから
Elasticsearchへの直接
的なインデクシングを
実施
Hadoop経由で
Elasticsearchへの
クエリを実施
ElasticsearchをHDFS
にバックアップ
28
Elasticsearch
Kibana
x-pack
29
X-Pack：単⼀一の拡張 30
セキュリティ
アラート
Elasticスタック⽤用の
セキュリティ機能
（Shield） Elasticスタック⽤用の
アラートおよび通知機能
（Watcher） 監視
グラフ
Elasticスタック⽤用の
監視機能（Marvel）
リアルタイムのグラフ分析。
Elasticスタックの新しい
ユースケースを実現
X-pack
セキュリティ
アラート
監視
グラフ
セキュリティ 基本セキュリティ
• ユーザー名/パスワードによる保護
X-pack
⾼高度度なセキュリティ
• LDAP/ADとの統合
• ロールベースのアクセス制御
• IPフィルタリング • フィールドおよびドキュメントレ
ベルのセキュリティ
• 暗号化通信
• 監査ロギング 31
セキュリティ
アラート
監視
グラフ
セキュリティ フィールドおよびドキュメント
レベルのセキュリティ
32
セキュリティ
セッション管理理
ログインおよびログアウト機能
開発者以外にも利利⽤用を拡⼤大 33
アラート
基本設定
• データに基づいてWatcherを作成
X-pack
• ⾃自動通知をトリガ
• チェーン⼊入⼒力力の設定
通知と統合
• Slack、Hipchat、JIRA、Pagerduty
• 電⼦子メール
• Elastic監視機能（Marvel）
• その他
34
セキュリティ
アラート
監視
グラフ
アラート
アラートと通知をトリガする
場合のワークフロー
アラート
• 通知
• 項⽬目2
• 項⽬目3
35
監視 Elasticsearchの監視
• すべてのクラスタとノードに関す
るリアルタイムの統計量量と数値指
標を収集
X-pack
問題の診断
• 過去またはリアルタイムのデータ
を分析することで根本原因を分析 パフォーマンスの最適化
• 詳細分析を使⽤用することにより
クラスタの性能を改善
36
セキュリティ
アラート
監視
グラフ
監視 37
グラフ
リアルタイムのグラフ分析
• 検索索のスピードおよび関連性ランキング
をグラフ探索索と結合
X-pack
• データにおけるグラフ関係性を⾃自動的に
可視化することで最も重要な関連性を
特定 • ユースケースの新しいセットの拡張と
実現：⾏行行動分析、不不正⾏行行為、サイバー
セキュリティ、創薬、推奨事項など
• APIおよび/またはUIを通じて消費 38
セキュリティ
アラート
監視
グラフ
グラフ
39
cloud
40
ホスト型のElasticsearch
Elastic社のエンジニアによりサポートされている唯
⼀一の公式なホスト型のElasticsearch製品 • 常にElasticスタックおよびX-Packの最新リリース
によりサポート
• 開発環境で開始し、本番環境へとスケーリング、
任意の時点でスケールアップ/スケールダウンを
簡単に実施
• メモリ1GBごとに16GBのストレージを含めるこ
とが可能
• レプリケーションにより⾼高可⽤用性を実現 • ElasticサブスクリプションパッケージによりSLA
をサポート
• データセンターは⽶米国、EMEA、南⽶米、東京、
シンガポール、シドニー
41
多くのユースケースをサポート
検索索
アナリティ
クス
ログ分析
Elasticサブスクリプション：製品＋サポート＋専⾨門知識識 セキュリティ
テクニカル
サポート
アーキテクチャ/インデックス/シャードデザイン
アラート
監視
グラフ
専⾨門知識識
開発環境
クラスタ管理理（チューニング）
クエリ性能の最適化
本番環境
開発環境から本番環境への移⾏行行＆アップグレード
ベストプラクティス（Elasticスタック、X-Pack
に関するもの）
42
Elasticサブスクリプションパッケージ 開発
ゴールド
プラチナ
Elastic Stack
Elastic Stack
Elastic Stack
製品
セキュリティ
(Shield)
専⾨門家による
サポート
X-Pack
アラート
(Watcher)
監視
(Marvel)
無制限
サポートリクエスト
3名
指名サポート担当者の⼈人数
2営業⽇日
応答時間
43
セキュリティ
(Shield)
X-Pack
アラート
(Watcher)
監視
(Marvel)
無制限
サポートリクエスト
6名
指名サポート担当者の⼈人数
4時間
応答時間
重⼤大な問題
セキュリティ
X-Pack
アラート
(Shield)
フィールドレベルのセキュリティ
ドキュメントレベルのセキュリティ
カスタムレルム
(Watcher)
監視
(Marvel)
無制限
サポートリクエスト
8名
指名サポート担当者の⼈人数
1時間
応答時間
重⼤大な問題
Elasticのコンサルティングサービス
プライベートトレーニング
コースあたり20〜～25名（最⼤大25名
まで）の受講者を対象
顧客向けにカスタマイズしたト
レーニングを顧客の施設内で提供 Elasticの専⾨門家やパートナーが、
サブスクリプション顧客向けに提供 コースあたり2名以上の講師により
提供
受講者が15名以上の場合にコスト
効率率率が⾼高い（パブリックトレーニ
ングと同じコースを提供）
アーキテクチャ、設計、移⾏行行、統合
に関する助⾔言を含む グローバルトレーニングコース：
purchases.elastic.co/
44
コンサルティングサービス
パブリックトレーニング
プライベートトレーニングの申し
込み先:
[email protected]
詳細情報:
www.elastic.co/services
Elasticのパートナー
テクノロジーおよびプラット
フォームパートナー
テクノロジーインテグレーション、
認定資格、共同製品
ソリューション
チャネルおよびソリューション
パートナー
システムインテグレーション、
コンサルティング、実装、
調達サポート
⽇日本国内リセラー
45
OEMパートナー
Elasticsearchのサポートと
プラグインをコアとする製品
およびソリューションに組み込み
導⼊入事例例: ワールドワイドおよび⽇日本の概要
46
“
Elasticsearchは、銀⾏行行向け
戦略略テクノロジーのトップ
5のうちの１つであり、こ
れにより我々は⽂文字通り、
数⼗十万名もの⼈人々の時間を
節約できます ”
Don Duet⽒氏、テクノロジー部共同経営者
Elastic{ON} ’15キーノートスピーチより
47
“
我々はElasticスタックを使⽤用
して、⽕火星探査機から1⽇日4回
送信される3万件以上のメッ
セージと10万件以上のドキュ
メントをログ分析することで、
我々のスペースミッションを
最適化しています
”
Dan Isla⽒氏
データサイエンティスト
48
“
我々は、クリティカルな内部アプ
リケーションの検索索と分析を有効
にすることで1⽇日に6千万件のクエ
リを処理理しています。Elasticのセ
キュリティプラグインを使うこと
で、これらのデータのすべてを傍
受や破損から保護しています
”
Peter Vulgaris⽒氏、ソフトウェアエンジニア
49
“
我々はElasticsearchを使っ
て1⽇日に4千万件の⽂文書を処
理理し、我々のグローバルな
Webプロパティを通じてリ
アルタイムの分析を提供し
ています
”
Graham Tackley⽒氏、アーキテクチャー部ディレクター
50
“
Elasticsearchは、すべての
Wikimediaサイトを通じたバッ
クボーンであり、毎⽇日数⼗十億件
のリアルタイムなユーザープレ
フィックス検索索および全⽂文検索索
に使⽤用されています
”
Chad Horohoe⽒氏
ソフトウェアエンジニアリング部⾨門
51
“
Elasticsearch、Logstash、Kibana
は、1⽇日あたり3億件以上のイベン
トに関するリアルタイムなインデ
クシング、検索索、分析を可能にし
ます。これにより、我社のネット
ワーク、サービス、システムを、
セキュリティ上の脅威から保護で
きます
”
52
Jeff Bryner⽒氏
セキュリティエンジニア
“
我々はElasticsearchを使⽤用し
て、5千億件以上のドキュメ
ントのインデクシングを⾏行行う
ことにより、ミッションクリ
ティカルなアプリケーション
のリアルタイムなログ分析や
分析を実現しています
”
Bhaskar Karambelkar⽒氏
シニアセキュリティデータ
サイエンティスト
53
“
我々はElasticsearchを使⽤用
することで、2億5千万のユ
ニークなビジターにサービ
スを提供し、5千万件のア
イテムを売買し、世界中の
14のビジネスに関して1秒
あたり15万件のクエリを⽣生
成しています
”
Peter Maas⽒氏
データおよびアーキテクチャ部⾨門ディレクター
54
“
Elasticスタックとそのプラ
グインを組み合わせて使⽤用
することで、我々はテラバ
イトのデータを通じた検索索
が簡単に⾏行行えるようになり、
サプライチェーンとロジス
ティック運⽤用の最適化を実
現しています ”
Oliver Cruickshank⽒氏
統合アーキテクチャ部⾨門最⾼高責任者
55
“
Elasticsearchは1秒間に最⼤大
400件のクエリ要求を処理理し
ます。しかもダウンタイム
はゼロで、遅延はミリ秒単
位です ”
Jean-Pierre Paris⽒氏
技術主任
56
“
Elasticsearchにより、我々は
数千万の顧客とポリシーデー
タをインデクシングすること
が可能となり、新しい検索索パ
ターンでデータを取得するこ
とにより、弊社のアプリケー
ションが新しいカスタマーエ
クスペリエンスを提供できる
ようにしています
”
Christian Phan Trong⽒氏
アーキテクチャ部⾨門ディレクター
57
“
Elasticスタックを使⽤用するこ
とで、弊社は1秒あたり最⼤大
6500件のメッセージを処理理し、
アプリケーション、Webサイ
ト、サーバーからなるグロー
バルな分散環境に関する運⽤用
上の洞洞察を獲得しています
David Bruce⽒氏
プラットフォームエンジニアリング部⾨門
シニアマネージャー
58
”
あらゆる業種で多数のユースケースを解決
IT運⽤用
アプリケーション管理理
セキュリティ分析
セキュリティ
マーケティング洞洞察
ビジネス配備
顧客センチメント（⼼心理理）
ログ分析
内部システム / アプリケーション
Webサイト検索索
内部/イントラネット検索索
URL検索索
アナリティクス
外部システム / アプリケーション
開発者 IT / 運⽤用 ビジネスユーザー
59
検索索
ケーススタディ: 株式会社はてな（はてなブックマーク）
• 課題/背景
– はてなブックマークはユーザーの活動の集約と編集スタッフの編成
によるソーシャルブックマークサービスを提供
– 当初導⼊入したSolrでは、運⽤用⾯面、index・検索索クエリの仕様の貧弱さ、
リアルタイム検索索の弱さなどが課題であった
• ソリューション
– サービスに蓄積された過去から現在までの価値あるユーザーデータ
をより活⽤用するためElasticsearchへの移⾏行行を実施した
• 導⼊入効果
– 検索索基盤のリッチ化により、新企画の⾃自由度度が向上
– ニューストピックの⾃自動認識識、ユーザーの好みに応じた配信をする
ニュースアプリ、検索索精度度改善といった技術的にチャレンジな内容
に挑戦しやすくなった
• 今後
60
– はてなが運営するあらゆるサービスの価値ある情報を横断的に抽出
し、各サービスの価値を最⼤大化する検索索・集約基盤の構築を⽬目指す
ケーススタディ: 株式会社ドワンゴ
• 課題/背景
– どのようにして、⽉月800万を超えるアクティブユーザーに対して、増えていくサービスの検索索を
提供していくかが課題であった
– 全⽂文検索索に求められる要件の質は⾼高まっており、導⼊入コストを下げるためにも全社的な統合検索索
基盤が求められていた
• ソリューション
– サービスを横断する統合検索索基盤として、全⽂文検索索を1秒以内という安定した応答性能で提供で
きるようにする
– 増加するサービスとユーザーに対して、無停⽌止かつ、適切切なタイミングで、スケールアウトでき
るようにするなど
• 導⼊入効果
– コンテンツ到達時間の短縮
– メンテナンスのコスト低下など
• 今後
61
– 数億件規模のユーザーのお気に⼊入りデータの検索索や、ユーザーのアクションを検索索することによ
るタイムライン機能への活⽤用などを計画
ケーススタディ: 株式会社ビズリーチ
• 課題/背景
– 当初はクラウド型の全⽂文検索索サービスも検討していたが、
検索索精度度の詳細なチューニングができなかった
• ソリューション
– Elasticsearch / Elasticsearch for Hadoop 2.1
– Apache Spark 1.3 でのシステム構築
• 導⼊入効果
– プラグインを活⽤用することで検索索結果の柔軟な チューニングを⾏行行うことができるようになった
– Apache Sparkと組み合わせることで⼤大量量データの ⾼高速なインデキシングが可能になった
• 今後
62
– 柔軟なクラスタ構成を活かし、負荷分散しつつメンテナ
ンスコストを下げる⼯工夫をしていきたい
⽇日本最⼤大級の求⼈人検索索エンジン
「スタンバイ」
ケーススタディ – 株式会社ホットリンク
• 課題/背景
– 数百億のソーシャルメディアを瞬時に検索索が必要
– メディアに合わせた⾼高度度な分析がリアルタイムで必要
– 増え続けるデータに対して柔軟にスケールが必要
• ソリューション
– Elasticsearch
• 導⼊入効果
– 数百億の記事検索索が1秒以内に可能
– ⾃自然⾔言語処理理の分析プラグインをElasticsearch⽤用に作成し、
Elasticsearchを活⽤用したSNS分散分析フレームワークの構築
を実現。（Hazelcast,akka/Dynamoとの連動）
– データ増に対して柔軟にサーバーの台数増加で対応可能に
• 今後
– さらに世界各国のソーシャルメディアを投⼊入
63
– ⾼高度度な分析フレームワークをマルチランゲージ対応
ケーススタディ– 株式会社インティメート・マージャー
• 課題/背景
– 既存のビッグデータソリューションでは、数億件のデー
タのアドホックな集計・分析が応答速度度的に困難であっ
たため、検索索エンジンで対応可能なものを探していた
• ソリューション
– Elasticsearch + Python Client
• 導⼊入効果
– 容量量や性能のスケールアウトが可能に
– 億件単位のデータの集計が数秒で⾏行行えるようになった
• 今後
– 検索索対象となるドキュメント数の増加や、スキーマの変
更更があったため、再度度パフォーマンスのチューニングを
⾏行行っていく予定
64
ケーススタディ– BlogPeople
• 課題/背景
– 膨⼤大なブログ記事の全⽂文検索索をMySQLにより実装して
いたが、⽇日々増加するデータに耐えきれずにいた
• ソリューション
– Elasticsearch 1.5.2 + kuromoji1.5
• 導⼊入効果
– CPU負荷もほとんどかかることなくインデックス化及び
検索索処理理が可能に。
– 導⼊入及び実装にわずか数⽇日しかかからなかった。
• 今後
– Elasticsearchに対する理理解がまだ深くないので、今後よ
り学習しよりよい検索索結果が得られるようチューニング
していく
65
ケーススタディ– エムスリー株式会社
• 課題/背景
– m3.comという医師・薬剤師を含む医療療従事者向けに医療療
ニュース・掲⽰示板・求⼈人情報等様々なサービス満載のポータルサ
イト
– 6つのサービスがSolrやLuceneを使って検索索機能を個別に実装
• ソリューション
– 複数サービスで扱うコンテンツをElasticsearchに集約
• 導⼊入効果
– メンテナンス性が⼤大幅に改善され、新規サービス構の検索索実装
が容易易になった
– 関連する記事やコメントを取得でき、ユーザの回遊性向上につ
ながった
• 今後
66
– m3.comが取り扱う全ての記事やコンテンツの横断検索索基盤と
して活⽤用
ケーススタディ– 株式会社クラウドワークス
• 課題/背景
– 「クラウドワーカーや仕事の検索索」というコアな機能を
InnoDB FTSで実装していた
– サービスが成⻑⾧長するに伴いボトルネックに
• ソリューション
– Elasticsearch + analysis-‐‑‒kuromoji on Found
– 性能・リソース監視はNewRelicやDatadog
• 導⼊入効果
– クラウドワーカーや仕事の検索索が平均10倍速に
– サービス無停⽌止でスケールアップ・ダウン、
データ構造の変更更が可能に
• 今後
– サービスのより多くの機能にElasticsearchを横展開
67
ケーススタディ– Increments株式会社
• 課題/背景
– Qiitaでは当初、MySQLでのLIKE SQLで検索索を⾏行行っていましたが、検索索対象や検索索回数の増
加、タグやストック数等のメタデータによる絞り込みなどを実現するために、Elasticsearch
を導⼊入しました。
• ソリューション
– 検索索アクションの応答性が改善しました。
– また、クエリの表現⼒力力が⾼高いので、新しくあがってくる要求にも、インデックスの変更更を伴わ
ない限りは、柔軟に対応できるようになりました。
• 導⼊入効果
– “Elasticsearchでこういうことができるけど、これをQiitaに⽣生かせないか?”という技術ドリブ
ンで施策を思いつくことがあります。
• 今後
– 検索索システム以外にも、情報の集約等を⾏行行っていきたいと考えています。また、Kibanaなど
のツールの導⼊入も検討していきたいです。
68
ありがとうございました
Webサイト：www.elastic.co
製品：https://www.elastic.co/products
フォーラム：https://discuss.elastic.co/
コミュニティ：https://www.elastic.co/community/meetups
Twitter：@elastic
お問い合わせは下記までお願い致します。
elastic-‐‑‒[email protected]
69
© Copyright 2024 Paperzz
