Oracle ExadataとOracle Advanced Analyticsでビッグ・データを より大きなインサイトへ Senior Director、Product Mgt. OAA、Charlie Berger Product Manager、OAA、Marcos Arancibia dunnhunby、Science Director R&D、Michael Bramley オラクルのビッグ・データ・ソリューション・アーキテクチャ 決定 Oracle Real-Time Decisions Oracle Event Processing Apache Flume Oracle GoldenGate ストリーム 2 Copyright © 2013, Oracle and/or its affiliates.All rights reserved. Endeca Information Discovery Cloudera Hadoop Oracle BI Foundation Suite Oracle Big Data Connectors Oracle NoSQL Database Oracle R Distribution Oracle Data Integrator 取得 - 体系化 - 分析 Oracle Database Oracle Advanced Analytics Oracle Spatial & Graph オラクルのデータベース内分析 統計関数 データ・マイニングと 予測分析 テキスト・マイニング テキスト検索 グラフ分析 空間分析 セマンティック分析 In-Database MapReduce 3 Copyright © 2013, Oracle and/or its affiliates.All rights reserved. Oracle Advanced Analytics スケーラブルで全社的な予測分析を最短期間で提供 おもな機能 データベース内のデータ・マイニング・アルゴ リズムとオープンソースのRアルゴリズム SQL、PL/SQL、R言語 スケーラブルなデータベース内パラレル実行 ワークフローGUIとIDE 統合データベース・コンポーネント エンタープライズ分析アプリケーションの 実現 4 Copyright © 2013, Oracle and/or its affiliates.All rights reserved. Oracle Advanced Analytics 低い総所有コストでパフォーマンスとスケーラビリティを実現 従来の分析 Oracle Advanced Analytics データの インポート データはデータベース内のまま SQLカーネルでのスケーラブルなパラレル・データ・マイニング・アルゴリズム データ・マイニング モデルの“ スコアリング" データベース内でのデータ準備によるRオープンソース・パッケージの効率的な実行 データの準備と 節約 変換 データ・マイニング・モデルとRオープンソース・モデルの高パフォーマンスなパラレル・ スコアリング データからインサイトまでの最短パス データ・マイニング モデルの構築 統合GUIによる予測分析 データの準備と 変換 データベース・スコアリング・エンジン 最小のTCO データの抽出 モデルの"スコアリング" 組込みデータの準備 モデルの構築 データの準備 数時間/数日/数週間 5 数秒/数分/数時間 Copyright © 2013, Oracle and/or its affiliates.All rights reserved. データの重複排除 単独分析サーバーの不要化 Oracle Advanced Analyticsアーキテクチャ SQL Developer Rクライアント OBIEE アプリケーション Oracle Database Enterprise Edition Oracle Advanced Analytics ネイティブSQL-PL/SQLの分析ライブラリと高パフォーマンスなRインタフェース スケーラブルな分散パラレル実行 Oracle R Distribution 6 Copyright © 2013, Oracle and/or its affiliates.All rights reserved. Oracle Advanced Analyticsアーキテクチャ SQL Developer Rクライアント OBIEE アプリケーション Oracle Database Enterprise Edition Oracle Advanced Analytics ネイティブSQL-PL/SQLの分析ライブラリと高パフォーマンスなRインタフェース スケーラブルな分散パラレル実行 Oracle R Distribution 7 Copyright © 2013, Oracle and/or its affiliates.All rights reserved. Oracle Advanced Analytics データベース内のデータ・マイニング・アルゴリズム アルゴリズム 適用範囲 分類 ロジスティック回帰(GLM) ディシジョン・ツリー Naive Bayes サポート・ベクター・マシン 従来の統計手法 人気/規則/透明性 組込みアプリケーション 範囲が広い/狭いデータ/テキスト 回帰 線形回帰(GLM) サポート・ベクター・マシン(SVM) 従来の統計手法 範囲が広い/狭いデータ/テキスト 異常検出 1クラスSVM 未知の不正ケースまたは異常 属性の重要度 最小記述長(MDL) 主成分分析(PCA) 属性縮約、データ・ノイズの低減 相関ルール アプリオリ マーケットバスケット分析/次善策の提案 クラスタリング 階層型k-means 階層型O-Cluster 期待値最大化(EM)クラスタリング 製品分類/テキスト・マイニング 遺伝子およびタンパク質分析 非負行列因子分解(NMF) 特異値分解(SVD) テキスト分析/特徴削減 A1 A2 A3 A4 A5 A6 A7 特徴抽出 F1 F2 F3 F4 8 Copyright © 2013, Oracle and/or its affiliates.All rights reserved. Oracle Advanced Analytics 幅広いデータベース内のデータ・マイニングと統計関数 データの理解と視覚化 データベース内のアルゴリズム – サマリー統計と記述統計 – 分類モデル – クロス集計 – 回帰モデル – 相関テスト(t検定、ピアソン、ANOVA) – クラスタリング – ヒストグラム、散布図、箱ひげ図、棒グラフ – 異常検出 – Rグラフィックス:3Dプロット、リンク・プロット、特殊なRグ – 対応付け/マーケットバスケット分析 ラフ・タイプ – テキスト・マイニング – 選択されたBase SASと同等の機能 – ほとんどのOAAアルゴリズムが非構造化データを サポート(顧客のコメント、電子メール、要約など) データの選択、準備、変換 Rの統合: – 結合、表、ビュー、データ選択、データ・フィルタ – 複数データベースの結合 – Oracle DatabaseとHadoopに対して実行可能なアルゴリズ – 選択、フィルタリング、ランク付け ム(ニューラル・ネットワークやステップワイズ回帰など) – SQL時間枠 を含む追加のカスタムOracle Rパッケージ – サンプル – オープンソースRパッケージ - オープンソースのR CRAN – コード変更、値の欠落 パッケージを実行可能 – 集計 – 空間データ – RからSQLへの透過性とプッシュ・ダウン * すべてのOracle Databaseに含まれる 9 Copyright © 2013, Oracle and/or its affiliates.All rights reserved. OAA SQL DMの不正例 R begin dbms_data_mining.create_model('CLAIMSMODEL', 'CLASSIFICATION', 'CLAIMS', 'POLICYNUMBER', null, 'CLAIMS_SET'); end; / -- Top 5 most suspicious fraud policy holder claims select POLICYNUMBER, round(prediction_probability(CLAIMSMODEL, '0' using *)*100,2) prob_fraud from CLAIMS where PASTNUMBEROFCLAIMS in ('2to4', 'morethan4') order by prob_fraud desc fetch first 5 rows only; 10 Copyright © 2012, Oracle and/or its affiliates.All rights reserved. Insert Information Protection Policy Classification from Slide 13 POLICYNUMBER -----------6532 64.78 2749 64.17 3440 63.22 654 63.1 12650 62.36 PERCENT_FRAUD RNK ---------------------1 2 3 4 5 For Automated Monthly “Application”!Just add: Create View CLAIMS2_30 As Select * from CLAIMS2 Where mydate > SYSDATE – 30 Oracle Advanced Analyticsアーキテクチャ SQL Developer Rクライアント OBIEE アプリケーション Oracle Database Enterprise Edition Oracle Advanced Analytics ネイティブSQL-PL/SQLの分析ライブラリと高パフォーマンスなRインタフェース スケーラブルな分散パラレル実行 Oracle R Distribution 11 Copyright © 2012, Oracle and/or its affiliates.All rights reserved. Insert Information Protection Policy Classification from Slide 13 Oracle Data MinerのGUI SQL Developer 4.0の拡張機能 OTNから無料でダウンロード可能 使いやすさ – データ分析用のOracle Data Miner GUI – "ワークフロー"パラダイム 高性能 – さまざまなアルゴリズムとデータ変換 – 100%データベース内で実行 – モデルの構築、評価、適用 自動化とデプロイ – 分析ワークフローの保存と共有 – デプロイ用SQLスクリプトの生成 12 Copyright © 2013, Oracle and/or its affiliates.All rights reserved. Oracle Advanced Analyticsアーキテクチャ SQL Developer Rクライアント OBIEE アプリケーション Oracle Database Enterprise Edition Oracle Advanced Analytics ネイティブSQL-PL/SQLの分析ライブラリと高パフォーマンスなRインタフェース スケーラブルな分散パラレル実行 Oracle R Distribution 13 Copyright © 2013, Oracle and/or its affiliates.All rights reserved. ビジネス・インテリジェンスと高度な分析 SQLとRを使用した統合 すべての予測、インサイト、モデルは データベース内に - SQLを使用した任意の BIツールからアクセスおよび問合せが可能 OBIEEの統合空間マッピングを使用した マップ予測 OBIEEダッシュボードからパラメータ化した R計算を起動し、データまたは視覚表現を 表示 SQLをサポートする任意のBIツールまたは アプリケーションで利用可能 14 Copyright © 2013, Oracle and/or its affiliates.All rights reserved. 将来的に価値が「高い」または 「非常に高い」顧客となる"可能性 がもっとも高い"顧客 ダッシュボードに直接 出力された高度なR統計 グラフィック ビジネス・インテリジェンスと高度な分析 SQLとRを使用した統合 すべての予測、インサイト、モデルは データベース内に - SQLを使用した任意の BIツールからアクセスおよび問合せが可能 OBIEEの統合空間マッピングを使用した マップ予測 OBIEEダッシュボードからパラメータ化した R計算を起動し、データまたは視覚表現を 表示 SQLをサポートする任意のBIツールまたは アプリケーションで利用可能 15 Copyright © 2013, Oracle and/or its affiliates.All rights reserved. Oracle Advanced Analyticsアーキテクチャ SQL Developer Rクライアント OBIEE アプリケーション Oracle Database Enterprise Edition Oracle Advanced Analytics ネイティブSQL-PL/SQLの分析ライブラリと高パフォーマンスなRインタフェース スケーラブルな分散パラレル実行 Oracle R Distribution 16 Copyright © 2013, Oracle and/or its affiliates.All rights reserved. 予測アプリケーションの実現 Oracle Advanced Analyticsを使用したOracleアプリケーションの例 • HCM Fusion • Oracle Fin.Services Analyticアプリケーション – 労働力の予測 - 従業員の離職率とパフォーマンス予測、"What if" 分析 • CRM Fusion • サプライ・チェーン・マネジメント - 経費申請における違反や異常のリアルタイム・フラグ付け • ID管理 – Oracle Adaptive Access Manager—リアルタイム・セキュリティと不正分析 • 業種別データ・モデル – 通信データ・モデル - 顧客の解約予測、セグメント化、プロファイリングの実装 – 小売データ・モデル - ロイヤルティとマーケットバスケット分析の実装 – 航空会社データ・モデル - 高頻度利用者の分析とロイヤルティの分析の実装 17 – エンタープライズ・パフォーマンス、金融犯罪およびコンプライアンス • OFSAA CI Retail Customer Analytics – 販売予測エンジン - 販売機会、販売製品、販売数、タイミングなどの予測 – 支出の分類 – 顧客インサイト、企業リスク管理 Copyright © 2013, Oracle and/or its affiliates.All rights reserved. – 減少分析- ローンの繰上げ返済、普通預金の減少、定期預金、カード・・・ – 生存分析 – 顧客生涯価値 – 傾向モデル - クレジット・カード<->自動車ローン、貯蓄額<->カード • 小売分析 – Oracle Retail Customer Analytics — "ショッピング・カート分析"と次善策の 提案 • カスタマ・サポート – Predictive Incident Monitoring(PIM) - Oracle Database顧客に対するカス タマ・サービス オラクルの通信業界データ・モデル 事前構築済みの予測モデル スケーラブルな全社的予測分析を 最短期間で提供 OAAのクラスタリングと予測を データベース内でOBIEE用に 利用可能 顧客の自動セグメント化、 解約予測、感情分析 18 Copyright © 2013, Oracle and/or its affiliates.All rights reserved. SNA分析によって改善されたOCDMの通信顧客離れ 分析 大量のCDRデータに対する ソーシャル・ネットワーク分析 OCDM、OBIEEとの統合、特殊なSNA コードを使用したOracle Data Miningの 利用 ソーシャル・ネットワーク・コミュニティの 識別 ノード・レベルでの顧客離れと影響力に 対する予測スコア、潜在的なリスクのあ る収益/価値 ビジネス・ユーザー向けのユーザー・ インタフェースと柔軟な非定型レポート 19 Copyright © 2013, Oracle and/or its affiliates.All rights reserved. Fusion HCMの労働力予測 OAAを利用したFusion Human Capital Management Oracle Advanced Analyticsに事前 インストールされた予測分析 離職しそうな従業員 おもな理由、期待される実績 リアルタイムの"What-If"分析 20 Copyright © 2013, Oracle and/or its affiliates.All rights reserved. Oracle Advanced Analyticsアーキテクチャ SQL Developer Rクライアント OBIEE アプリケーション Oracle Database Enterprise Edition Oracle Advanced Analytics ネイティブSQL-PL/SQLの分析ライブラリと高パフォーマンスなRインタフェース スケーラブルな分散パラレル実行 Oracle R Distribution 21 Copyright © 2013, Oracle and/or its affiliates.All rights reserved. 統計学者/データ・アナリストがRを使用する理由 RはBase SASまたはSPSS Statisticsに似た統計言語 R環境は・・・ 高性能 拡張可能 グラフィカル 幅広い統計 'ツマミ'が多数あり、デフォルト設定でも 優れた性能を発揮するOOTB機能 容易なインストールと使用 無料 22 Copyright © 2013, Oracle and/or its affiliates.All rights reserved. ©2012 Oracle – All Rights Reserved オラクルのR戦略 スケーラブルで高パフォーマンスなR環境をOracle RDBMSおよび Hadoopと緊密に統合 Rユーザー向け 23 Oracle Databaseおよび ビッグ・データ開発者向け • Oracle DatabaseとHDFSオブジェクトに対する • 任意のRアルゴリズムまたは計算を含む フル・アクセス • すべてのR操作で高いパフォーマンスと スケーラビリティを実現 • スケーラブルなネイティブの統合マシン学習 アルゴリズム • Oracle DatabaseまたはHadoop内での RスクリプトのデプロイとR計算結果の保存 組込みRスクリプトの実行 • Oracle DatabaseまたはHadoop内に保存 されたR結果へのアクセス • XMLやPNGなどのグラフィカル形式での R計算結果の取得 • BIアプリケーションへのR結果の統合 Copyright © 2013, Oracle and/or its affiliates.All rights reserved. Oracle Advanced Analytics:Oracle Databaseとの統合 データベース内統合とオープンソースRパッケージの使用 Oracle Databaseサーバー クライアント・インタフェース Oracle Databases Rクライアント・インタフェース Oracle R Enterprise パッケージ • 透過性 • 組込みR SQL、PL/SQLまたはR Advanced Analyticsオプション SQLによる基本統計 Σ(x) データ・マイニング・アルゴリズム SQLから登録済みRスクリプトをコール ∂(x) パラレルのExtProcインターコネクト SQLインタフェース • 任意のSQLとPL/SQL • ODM GUIでの新しい "SQL問合せノード" 24 Copyright © 2013, Oracle and/or its affiliates.All rights reserved. Oracle R Distribution 線形代数パフォーマンスの向上 • R言語構文を利用したパラレル分散分析技術 • カスタムRアルゴリズム:ニューラル/ステップ ワイズ • オープンソースRパッケージへのアクセス • Oracle Advanced Analytics:Hadoopとの統合 Hadoop-HDFS統合とカスタムのオープンソースRパッケージの使用 Hadoopクラスタ クライアント・インタフェース Rクライアント・インタフェース Oracle R Connector for Hadoopパッケージ: • Hadoop • MapReduce • HIVE透過レイヤー Oracle R Enterprise パッケージ • 透過性 • 組込みR Oracle Databases SQL、PL/SQL、R Oracle R Connector for Hadoop R、Java Advanced Analyticsオプション Oracle R Distribution Hadoopに対するRリクエストの変換: Oracle Big Data Connectors Σ(x) • HDFSユーティリティ:データの移動と統計、 Rへのデータ・プッシュ、データのサンプリング • ORCHユーティリティ:Rセッションの接続/切断 • HIVEインタフェース:表のメタデータと インタフェースのロード ∂(x) • ORCHのカスタムRアルゴリズム:ニューラル、 GLM、kMeans、NMF、LMF • マッパーおよびリデューサ・フレームワーク向けに カスタムR分析を一度作成すると、そのまま再利 用可能。Oracle DatabaseとHadoopの両方に対す るI/Oが構築される。 パラレルのMapReduceコール HDFSエンジン 25 Copyright © 2013, Oracle and/or its affiliates.All rights reserved. Oracle Advanced Analytics 新機能サマリー Oracle Advanced Analytics 12c – 新しいSQLデータ・マイニング・アルゴリズム(期待値の最大化、PCA、特異値分解、テキスト・マイニング、 その他のアルゴリズムの改善) – 予測的SQL問合せ - SQL問合せ内で自動的に構築、適用 Oracle Data Miner/SQL Developer 4.0(Oracle Database 11gおよび 12c向け) – 新しいグラフ・ノード(箱ひげ図、散布図、棒グラフ、ヒストグラム) – SQL問合せノード+Rスクリプトの統合 – デプロイ用SQLスクリプトの自動生成 Oracle R Enterprise 1.4(Oracle Database 11gおよび12c向け) 26 – Oracle Databaseデータに対してore.neural()を使用した、パラレル化ニューラル・ネットワーク – オープンソースRモデルを使用したデータベース表のスコアリング、データベース内のサンプリング – 日付および時刻のデータ型サポートによる時系列分析 – データベース内でのRオブジェクトの永続化と管理、OBIEEとの統合の強化 Copyright © 2013, Oracle and/or its affiliates.All rights reserved. OAAについての詳しい情報 Google:“Oracle Advanced Analytics” – OTN:http://www.oracle.com/technetwork/database/options/advanced-analytics/index.html Oracle Demo Campgroundsデモ・ポッド – OOW展示ホール、営業時間(月~水)、Moscone South, Left Workstation ID:SL-063、Database、Data Warehousing OAAハンズオン・ラボ: – Big Data, Bigger Insights with Oracle Advanced Analytics and Oracle SQL Developer [HOL10074] 9月23日(月)午後3時15分~4時15分、Marriott Marquis - Salon 3/4 – Make the Right Offers to Customers Using Oracle Advanced Analytics [HOL10075] 9月24日(月)午前10時30分~11時30分、Marriott Marquis - Salon 3/4 27 Copyright © 2013, Oracle and/or its affiliates.All rights reserved. 28 Copyright © 2013, Oracle and/or its affiliates.All rights reserved. 29 Copyright © 2013, Oracle and/or its affiliates.All rights reserved.
© Copyright 2024 Paperzz