データ分析プラットフォーム Splunkご紹介資料 2013/6 マクニカネットワークス株式会社 Splunkセールスチーム Splunk社 会社概要 Company • • • • (NASDAQ: SPLK) 2004年設立, 2006年製品リリース HQ: San Francisco, CA 地域別本社：香港、ロンドン 14か国 700名以上の従業員 Financials • 年間売上：198万ドル（約200億円） • 毎年2倍以上の成長率（2009~2012） • 2012年4月18日 NASDAQに上場 5,600+ Customers • • • Copyright © 2012, Macnica Networks Corp. 2 90か国5,600社以上の実績 Fortune 100の内54社が導入 最大ユーザでは100TB/日のデータを分析 Listen to your data. 製品の歩み 1 2 3 Tool “Google for the datacenter” Copyright © 2012, Macnica Networks Corp. 4 4.1 4.2 4.3 Engine “Engine for machine-generated data” 3 5 Platform “Platform for operational intelligence” Listen to your data. 最近のトピック • SC Magazine • 「2013年ベストSIEMソリューション賞」を受賞 • Fast Company Magazine • • 世界で最も革新的な企業、第4位 Big Data Innovatorとしては、第1位 • Gartner SIEM Magic Quadrant, 2013 • Leaderの評価を獲得 Copyright © 2012, Macnica Networks Corp. 4 Listen to your data. マクニカネットワークス - Splunk Business History • 2009年1月 Splunk国内一次代理店契約 Splunk社と連携して弊社にて日本語化を実施 • 2010年1月 SplunkからBest Partner and Engineer として受賞 • 2012年2月 APACで最も早い成長率を達成したとして “Fastest Growing Partner Award” を受賞 • 2013年6月現在 国内80社以上導入、構築実績 Splunk社認定資格を持つ営業、エンジニアが ご提案からサポートまで対応させて頂きます Copyright © 2012, Macnica Networks Corp. 5 Listen to your data. Machine-generated “Big Data” ITシステムから生成されるデータの急拡大 から2020までのデジタル “2009 データは44倍以上に増加 6 IDC 2010 Storage Market View “ デジタルの世界で生まれる データの90%以上が非構造 化データである “ Copyright © 2012, Macnica Networks Corp. “ GPS, RFID, Most enterprise data is Hypervisor, machine-generated Web Servers, Email, Messaging Clickstreams, Mobile, Telephony, IVR, Databases, Sensors, Telematics, Storage, Servers, Security devices, Desktops IDC 2011 Digital Universe Study: Extracting Value from Chaos Listen to your data. 幾何学的に複雑化するマシンデータ Industrial Data + Additional Sources Core IT Customer-facing IT Web Services Shipping RFID Databases Desktops Developers Applications Telecoms Online Shopping Carts Security GPS/Cellular Energy Servers Storage Networking Manufacturing Clickstream Messaging クラウド Copyright © 2012, Macnica Networks Corp. Social Media 仮想化 7 物理インフラ Listen to your data. エスカレーションの問題 ＝ 伝言ゲーム WEBサイ トにアク セスでき ない。 アプリケーション サポート担当 アプリケーション 開発者 管理コンソール 上は問題ありま せん。アプリ担 当にエスカレー ションします。 監視ツールで も問題ありませ ん。開発者に エスカレーショ ンします。 システム管理 者にログを要求 します。 エスカレーション エスカレーション エスカレーション サービスデスク Copyright © 2012, Macnica Networks Corp. アプリケーション 開発者 データベース 管理者 開発者にログ を提供します。 ログ調査、アプ リの問題ではな い。DB管理者 にエスカレー ションします。 DB管理者は監 査ログを調査し、 問題を特定しま す。 レスポンス エスカレーション 原因特定 システム管理者 8 Listen to your data. マシンデータとは？ Sources Order Processing Middleware Error Care IVR Twitter Copyright © 2012, Macnica Networks Corp. 9 Listen to your data. マシンデータに含まれる情報 Sources Customer ID Order ID Product ID Order Processing Order ID Customer ID Middleware Error Time Waiting On Hold Customer ID Care IVR Twitter ID Twitter Customer’s Tweet Company’s Twitter ID Copyright © 2012, Macnica Networks Corp. 10 Listen to your data. マシンデータに含まれる情報 Sources Customer ID Order ID Product ID Order Processing Order ID Customer ID Middleware Error Time Waiting On Hold Customer ID Care IVR Twitter ID Twitter Customer’s Tweet Company’s Twitter ID Copyright © 2012, Macnica Networks Corp. 11 Listen to your data. Splunkによるデータ活用 トラブル原因の迅速な調査、セキュリティインシデントの分析等 全てのITインフラを対象に実現 Web Services RFID Shipping Energy GPS/Cellular Developer s Desktops Server s Security Telecom s Copyright © 2012, Macnica Networks Corp. Online Shopping Carts App Support Web Services Social Media Storage Networking Manufacturing Databases/ DWH Messaging 12 Clickstream Listen to your data. あらゆるデータを一元化 どんなソースからのどんな形式のテキストデータでも 高速にインデックス化を行います Ad hoc search Monitor and alert Report and Custom analyze dashboards Developer Platform Data collection and indexing Splunk storage Copyright © 2012, Macnica Networks Corp. 13 Other Big Data stores Listen to your data. あらゆるデータを一元化 どんなソースからのどんな形式のテキストデータでも 高速にインデックス化を行います Ad hoc search Monitor and alert Report and Custom analyze dashboards Developer Platform Not RDBMS 事前のスキーマ設計不要 データ別に収集用のコネクタ不要 Splunk storage Other Big Data stores データのフィルタ等不要 Data collection and indexing Copyright © 2012, Macnica Networks Corp. 14 Listen to your data. Splunkの利用シーン ITインフラマネジメント アプリケーションマネジメント システム状態の把握 迅速なトラブル解決 システム稼働の安定 アプリケーションの稼働状態把握 レスポンスタイムの測定 トラブル原因の特定 セキュリティ＆コンプライアンス Big Data 異常の検知 インシデントレスポンス向上 ログ相関分析 Copyright © 2012, Macnica Networks Corp. 異なるデータの分析 大量データの高速処理 15 Listen to your data. フレキシブルに調査・分析・活用 Three Primary Capabilities あらゆるデータを一元化 サーチ&ナビゲート • • • • データのドリルダウン “Needle in a haystack” 各種トラブルシューティング 障害原因分析 インシデント調査 Copyright © 2012, Macnica Networks Corp. シングルインタフェース さまざまな用途に活用 ヒストリカル分析 リアルタイムモニタ • • • • • • リアルタイムレポート ライブダッシュボード イベントの相関分析 イベントの監視・アラート トランザクションの追跡 SLAのトラッキング 16 • • • • ベースライン・しきい値の設定 傾向分析 過去からのパターン分析 各種レポーティング Listen to your data. Webブラウザから自由に情報にアクセス 直感的な検索 + データへのアクセス 高度な統計、相関分析、レポーティング 柔軟なカスタマイズ機能を持つユーザインターフェイス、ダッ シュボード Copyright © 2012, Macnica Networks Corp. リアルタイム及びスケジュールによる検索、アラーティング 17 Listen to your data. 様々な活用シーン IT部門 16TB/day 6TB/day 2.5TB/day 監査 マーケティング 経営層 4TB/day 1.5TB/day アプリ 管理 IT セキュリ コンプライ ビジネ オペレー ティ アンス ス分析 ション ウェブ 分析 1TB/day Copyright © 2012, Macnica Networks Corp. 18 Listen to your data. お客様事例 90か国、5600社以上の導入実績 Fortune100の半分以上が採用 Cloud and Online Services Education Energy and Utilities Financial Services and Insurance Government Healthcare Manufacturing Media Retail Technology Telecommunications Travel and Leisure Copyright © 2012, Macnica Networks Corp. 20 Listen to your data. ITインフラマネジメント アプリケーションマネジメント セキュリティ＆コンプライアンス Big Data サポート部門での活用 マルチテナントのWebサイトを運営しており、数百規模のドメインのアプリケーションを管理 対象のログは散在しており、以前はアプリケーションごとに各システムにログインして調査する必要があった Splunkですべてのドメインのログの一元管理をし、横断的な検索機能を利用することにより、探したい情報を瞬時に抽出 Splunkを利用することで開発部門にエスカレーションせず、サポート部門で解決できるようになった Webという共通のインターフェースで、簡単な操作（時間帯、キーワードの検索）が可能になり、 属人性を排除した効率的なオペレーションで、ユーザーからの問い合わせに対しての対応時間を大幅に短縮 ①遅く感じるのですが。。 開発部門へのエスカレーション ②登録できないのですが。。 ③メールが届かないのですが。。 Splunk導入前 Splunkで即解決 Splunk導入後 ①具体的に何秒かかっているかを調査 ②具体的なアクセス履歴を調査 ③メールの配信状況を調査 Copyright © 2012, Macnica Networks Corp. 21 Listen to your data. ITインフラマネジメント アプリケーションマネジメント セキュリティ＆コンプライアンス Big Data 音楽配信事業での活用 データを紐付けて各ユーザのアクティビティを把握 ユーザはMDN(電話番号)を使い認 証、IPアドレスが払い出される。(認 証ログにはMDNとIPアドレスが記載 される) MDN (電話番号) IP アドレス MDNとIPアドレスを紐づける ユーザの 認証後のアクティビティはIP アドレスにより特定できる - 検索ワード & コンビネーション - ダウンロードした曲 - ブラウズした曲・アーティスト Copyright © 2012, Macnica Networks Corp. IP アドレス 検索内容 ブラウズ履歴 ダウンロード履歴 22 各ユーザの動きを理解する鍵 ーサポート、IT、ビジネスにとっ てのインサイト Listen to your data. ITインフラマネジメント アプリケーションマネジメント セキュリティ＆コンプライアンス Big Data テレコム系サービスプロバイダ様 クラウド型セキュリティGWにおけるログ分析基盤での活用 背景 – – FW、IPSをクラウドでサービス提供 各エンドユーザから自社利用環境の可視化をしたいとの要望 → DBベースの基盤を自作し情報提供 Jul 28 2009 15:39:18 '<?xml version="1.0" encoding="UTF-8" standalone="yes"?><events xmlns="http://www.cisco.com/cids/idiom" schemaVersion="2.00"><evAlert eventId="1235907844626179837” … 基盤システムのリプレース → 時間をかけずに実現したい → 自社ポータルとAPIで連携させたい 009-9-18 8:27:58 Local7.Notice 192.168.202.1 Oct 15 2008 00:00:21 ASA VDN1 : %ASA 5 106100: access list inbound denied udp outside/83.167.112.55(53057) > inside/64.254.232.248(10702) hit cnt 1 first hit [0x91c26a3, 0x0] 適用範囲 5種類のFW、IPSのログデータ – Fri Sep 18_18:20:01_PDT_2009|peizhuwxp02|64.104.161.154|2389|449|2009-06-01 19:51:28.343|The process 'C:¥Program Files¥Youdao¥DeskDict2¥YodaoDict.exe' (as user CISCO¥peizhu) attempted to initiate a connection as a client on UDP port 2000 to 効果 – – – 大量・複雑な各セキュリティGW機器のログを一元化 API連携によって自社ポータルと容易に連携 お客様からの調査要求に対して、素早く結果をレスポンスが可能に Sep 24 2009 09:59:28 192.168.2.1 ns5gt-wlan: NetScreen device_id=ns5gt-wlan [No Name]system-notification00257(traffic): start_time="2009-09-24 09:59:28" duration=3 policy_id=1 service=dns proto=17 src zone=Trust dst zone=Untrust action=Permit sent=145 rcvd=208 src=192.168.2.37 dst=68.87.72.130 src_port=63528 dst_port=53 src-xlated ip=71.239.55.211 port=2608 Next Step – – 今後、WAFなどのセキュリティGWの追加も予定 取込対象機器の制限なし、柔軟に取込対象データの拡張が可能 → サービスメニューの拡大 Copyright © 2012, Macnica Networks Corp. 23 Listen to your data. ITインフラマネジメント アプリケーションマネジメント セキュリティ＆コンプライアンス Big Data オンラインゲーム会社様 Splunk Use: クラウド、物理環境の両方から、一日あたり10TBのデータを収集 – 主にはWeb serverとapplicationのログをSplunkに収集して、Business 状況可視化、トラブルシューティング、モニタリングに活用 – Splunkをgame operations, 開発者, 社内IT部門の担当者が利用 – SplunkのValue: 本番環境で発生する問題をリアルタイムに把握することで、gameのリリース を加速することができている – 数時間かかっていた問題解決が、分単位まで低減 – インフラの管理、モニタリングにより、拡大するシステムの効率化を実現 – 新ゲームのリリースが加速 Copyright © 2012, Macnica Networks Corp. 24 ソーシアルゲームのリーディングカンパニー 月間232百万人のアクティブユーザ 60 百万人のデイリーアクティブユーザ Listen to your data. Splunk ROI – Fast, Compelling, Diverse 売上Up Macys.com Webサイトに関連するトラブル低減により 2400万円/インシデントの機会損失を防いでいる Uptime向上 Trans Union インシデントあたりのダウンタイムを90％低減。 ダウンタイムによる機会損失を年間数億円レベルで防御 生産性向上 Health Trans トランザクションのトレースに7，8時間かけていたものを 5分に短縮 コスト削減 Large mutual fund 監査などのコンプライアンスの際に、ログトレースでかけていた時間を短 縮 不正アクセス検出 Large telecoms company 不正アクセス、システム不正利用の検出、対策によって 売上損失を防止 Copyright © 2012, Macnica Networks Corp. 25 Listen to your data. Copyright © 2012 Splunk, Inc. お問合せ：マクニカネットワークス株式会社 Splunk製品担当 TEL：045-476-1973 E-mail: [email protected] http://www.macnica.net/splunk/ Copyright © 2012, Macnica Networks Corp. Make Machine Data Accessible, Usable and Valuable to IT and Business Listen to your data. 26 Appendix Copyright © 2012, Macnica Networks Corp. 27 Listen to your data. Splunkアーキテクチャ Apps and Solutions Application Monitoring IT Operations Security Web Intelligence Stats/ Analytics Alerts Business Analytics SDK APIs User Interface Access Controls Compliance Reports Dashboard s Search Indexing No RDB No Custom Collector Collection APP OS テキスト化されたあらゆるデータが対象 Storage Copyright © 2012, Macnica Networks Corp. Network Devices 28 Servers 仮想環境 • • • • • • ディレクトリ監視 / syslog / スクリプト エージェント Logs Metrics Events SNMP Traps Listen to your data. データ収集 収集 保存 分析 機能 活用 アプリケーション ログ ミドルウェア スクリプト サーバ・ＯＳ ネットワーク FTP（※1）, SCP, CIFS Samba ps, top, vmstat, … WMI, OPSEC, DBI... 変更 コンフィグ Syslog（※2）, SNMP（※1） Splunkフォワーダー ① ファイルシステム ディレクトリの監視による 取り込み ② スクリプト実行による 取り込み ③ ネットワークポートからの 取り込み アラート （※1）Splunkサーバに別途デーモンを立てて 頂く必要があります。 （※2）syslogを直接受け取る、またはsyslogd経由での 取り込み、両方可能です。 Copyright © 2012, Macnica Networks Corp. 29 Listen to your data. データストア・インデックス Mar 11 10:22:06 172.30.255.252 id=firewall sn=0017C514CBB8 time="2010-03-11 10:18:56" fw=221.186.88.32 pri=6 c=1024 m=537 msg="Connection Closed" n=0 src=211.19.55.156:9809:X2 dst=202.232.2.38:53:X7 proto=udp/dns sent=74 rcvd=90 Index化 Mar 11 10:22:06 172.30.255.252 id=firewall sn=0017C514CBB8 time="2010-03-11 10:18:56" fw=221.186.88.32 pri=6 c=1024 m タイムスタンプ分析 - 複数行で1イベントのフォーマットも タイムスタンプを軸に自動判別 イベント境界分析 元データ保存 収集 保存 分析 機能 活用 約10%に圧縮されて ファイルシステム上に保 存 セグメント処理 インデックス処理 - カンマ、コロン、スペース区切りでIndexデータ を作成 Hot Warm Cold Frozen Copyright © 2012, Macnica Networks Corp. 30 取込後の経過期間またはファイルサイズに応じて Hot→Warm→Cold→Frozen フォルダに自動ローテート。 Frozenフォルダのデータは削除または 指定先へアーカイブ可能。 Listen to your data. 分析機能 – 検索 • データの絞り込み（検索） • どのデータから？ （データソースの指定） • • • • • 全データからの抽出 ホスト、ソースタイプ、ソースを選択してから抽出 • • カレンダーによる年月日時分秒単位での指定 タイムバーによる絞り込み • • 任意のキーワード（数字、アルファベット、漢字、ひらがな、カタカナ） 正規表現 収集 保存 分析 機能 活用 なにを （抽出条件） どうやって？ (検索方法) • 検索式を作成 • • 独自コマンド AND OR NOT パイプによる連携 • • ログ部分 フィールド値部分 • 予め指定された入力値のBOXを作成 Web上でのマウスオーバーによる絞り込み フォームサーチ Copyright © 2012, Macnica Networks Corp. アラート レポート いつの？ （時間範囲の指定） • • • 検索 31 Listen to your data. 分析機能 – アラート 収集 保存 分析 機能 活用 検索 アラート レポート ①アラートルール設定 検索で利用した検索式を保存して、 そのままアラートルールとして利用。 ②サーチタイミング設定 設定した任意のタイミングでサーチ実行 単位：リアルタイム / 分 / 時間 / 日 ③アラートアクション アラートルールにヒットした場合、下記アクションを実行 E-mail通知 / スクリプト実行 / RSS ④アラートメッセージの管理 アラート一覧を管理画面から確認可能 Copyright © 2012, Macnica Networks Corp. 32 Listen to your data. 分析機能 - レポート・ダッシュボード ①カスタマイズ １．検索機能で必要なデータを抽出 収集 保存 分析 機能 活用 ２．抽出した結果をワンクリックでレポート化、 保存して繰り返し利用可能 Enterprise Security Security PCI Compliance 10種類以上のレポート形式 から選択可能 BlueCoat ProxySG Unix and Linux Sendmail Copyright © 2012, Macnica Networks Corp. VMware ダッシュボード項目が定義 されたAppにより データ取込みからダッシュ ボード化まで容易に実現 SNORT 33 アラート レポート ダッシュボード ②App利用 検索 Listen to your data. 400種類以上のAppsによる活用支援 ・各種デバイス用レポートテンプレート ・データ収集用スクリプト など Weather BigFix Sendmail PDF Report Server F5 Radio Sta ons XenDesktop NetScaler WebSphere Mul cast MS Exchange FISMA Ruby on Rails Google Maps Whois lookup Twi er Windows Nagios Security Javamail BlueCoat ProxySG Security SCOM PCI Compliance Unix and Linux Solera DeepSee TCP/UDP Sending IronPort IronPort WSA WSA NetFlow Audible Alerts Splunk Monitoring SNORT FireEye Malware YouTube Encrypt/Decrypt Enterprise Security Puppet Conf. Mgt Sourcefire Python Mail IMAP RSS Input JMS receiver Geo Loca on VMware Stock Quote POST/GET Rqsts FISMA Monitoring Citrix NetScaler AS/400 - iSeries Transac on Profiling Fin. Inf. eXchange Splunk Mobile DEVELOPER FRAMEWORK Copyright © 2012, Macnica Networks Corp. 34 Listen to your data. • インデックスサーバのサポートOS ・Solaris 9, 10 (x86, SPARC) システム要件 Linux Kernel vers 2.6.x and above (x86: 32 and 64-bit) FreeBSD 6.1 and 6.2 (x86: 32 and 64-bit) ・Windows Server 2003/2003 R2 (64-bit,) ・Windows Server 2008/2008 R2 (64-bit) ・Windows XP (32-bit) ・Windows Vista (32-bit, 64-bit) ・Windows 7 (32-bit, 64-bit) ・MacOSX 10.5 and 10.6 GUI用サポートブラウザ • Firefox 3, 4, and 8 ・ • Internet Explorer 6, 7, 8,・ and 9. Internet Explorer 8 is supported in IE7 compatibility mode only. Internet Explorer 9 is not supported in compatibility mode. • Safari (latest) • Chrome (latest) (32-bit and 64-bit in one download. 10.6 is only supported in 32-bit mode.) ・AIX 5.2, 5.3, and 6.1 ・HP-UX 11iv2 (11.22) and 11iv3 (11.31) (PA-RISC or Itanium, gnu tar is required to unpack the tar.gz archive) • 推奨ハードウェアスペック (インデックスサーバ) Windows, 非Windows共通 2×quad-core, 2.5GHz以上, 16GB RAM, RAID 0 or 1+0 (64bit OS使用を前提) RAID 0 or 1+0 (64bit OS使用を前提), 15000rpm, 800IOPS以上 Splunkインストール（Forwarder含む）に最低２GBのハードディスクスペースが必要 *Splunk Enterpriseはソフトウェアのみのご提供です。 *Indexサーバ、ストレージ等は別途ご用意が必要です。 Copyright © 2012, Macnica Networks Corp. 35 Listen to your data. ライセンス体系 • （体系：1日当り取込みデータ量で決定） • • • • • 500MB/日 1GB/日 2GB/日 5GB/日 10GB/日 ・・・・・・ !!! （超過回数） ① ③ （ライセンス以上のデータ取込み） • 過去30日間で4回までOK • 5回目超過時でデータ取込み以外の機能が STOP • ライセンス追加 or カウント4回以下になるこ とで復旧 Copyright © 2012, Macnica Networks Corp. 30日 ② ※データ増加時は、アップグレード可能 • 復旧 ④ ⑤ × サーチ機能 停止期間 36 Listen to your data. 拡張性 複数のインデックス情報への一括検索と統計処理･レポートが可能 大量データにもスケールアウトで対応可能 Copyright © 2012, Macnica Networks Corp. 37 Listen to your data. Hadoopとの連携 リアルタイムな 収集と分析 ダッシュボード, レポート, アクセスコントロール Hadoopが不得意な処理を Splunkが実現 Splunk Hadoop Connect • • > > > > > > Copyright © 2012, Macnica Networks Corp. 信頼性の高いデータエキスポート HadoopデータのINDEX化 Splunk App for HadoopOps • 38 トラブルシュート,、モニタリング、エン ドtoエンドのHadoop環境の分析 Listen to your data.
© Copyright 2024 Paperzz
