#odddtky for your Skill Oracle DBA & Developer Days 2014 データベース・エンジニアのためのHadoop活用術 Oracle Big Data SQL 日本オラクル株式会社データベース事業統括製品戦略統括本部プリンシパル・セールスコンサルタント能仁信亮プリンシパル・セールスコンサルタント立山重幸 Copyright © 2014, Oracle and/or its affiliates. All rights reserved. 使える実践的なノウハウがここにある • 以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することをコミットメント（確約）するものではないため、購買決定を行う際の判断材料になさらないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよび時期については、弊社の裁量により決定されます。 OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。文中の社名、商品名等は各社の商標または登録商標である場合があります。 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 3 本セッションのアジェンダ 1 Big Data SQLが生まれた背景 2 Big Data SQLを理解するためのHadoop再入門 3 Big Data SQL Technical Overview 4 Big Data SQL Demo Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 4 Big Data SQLが生まれた背景 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 5 Hadoopの活用例 – Skybox Imaging http://www.skyboximaging.com/ • 参考情報: – http://blog.cloudera.com/blog/2012/10/sneak-peek-into-skybox-imagings-cloudera-powered-satellite-system/ – http://searchbusinessanalytics.techtarget.com/feature/Companies-using-Hadoop-for-analytics-bring-meaning-to-satellite-data Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 6 Hadoopの活用例 – データウェアハウスの拡張論理データウェアハウス (Logical Data Warehouse) Gartnerが提唱旧来のデータストアに加えて、Hadoopなどの複数の最適な技術を組あわせてデータウェアハウスを構築 Hadoopを組み合わせて大規模データウェアハウスを構築している例 Facebook 300PB Nokia 数PB https://code.facebook.com/posts/229861827208629/scalingthe-facebook-data-warehouse-to-300-pb/ Strata NY 2012にて講演 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 7 典型的なデータ活用パターンデータの特性や活用目的にあわせ、最適なテクノロジーを組み合わせる NoSQL •KeyとValueのシンプルな構造 •低コストでのスケールアウト Hadoop RDBMS •分散ファイルシステム •並列分散処理用フレームワーク •業務トランザクション •データ分析 •ミッション・クリティカル環境 Hadoop Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 8 Big Data Management Systems      低コストでの拡張性  オープンプラットフォーム  急速な技術的な進化 Big Data Appliance Exadata for Hadoop, NoSQL Database for Oracle Database 究極のパフォーマンス高いセキュリティ豊富な連携ツール群幅広いカバー範囲 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 9 Oracle Big Data Appliance 事前に設定／最適化されたビッグデータ用Hadoopプラットフォーム最適化済み処理時間の短縮 低リスク、事前構築／調整済みEngineered System製品 独自機能Perfect Balanceにより、MapReduce の処理時間を短縮 DIYと比べて21%のコスト削減、30%の構築期間短縮 最大15倍MapReduce処理を高速化 Oracle Databaseとの親和性高度なセキュリティ Oracle Big Data SQLとの活用により、 RDBMSとHadoopの利点を組み合わせた統合DWHをシンプル、かつ迅速に、セキュアに構築可能 Kerberos／LDAP認証、Apache Sentryによる認可、ネットワークおよびHDFSデータのHDD暗号化をサポート Oracle Big Data Connectorsとの活用により HadoopからOracle Databaseへのロードを最大15TB／時間と高速化 Oracle Audit Vault & Database Firewallによる一元化された監査 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 10 Oracle Big Data Appliance 事前に設定／最適化されたビッグデータ用Hadoopプラットフォーム Full Rack : 18 ノード Big Data Appliance ノード Sun X4-2L Server •288 Intel® Xeon® E5 Processor cores •1152 GB メモリ •864TB の合計ディスク容量 •2 ×8Core Intel® Xeon® E5-2650 V2 Processors (2.6 GHz) •12 x 4 TB 7.2K RPM 高容量 SAS (hot-swap) •64 GB (8 x 8GB) 512GBまで拡張可能 Starter Rack : 6 ノード •96 Intel® Xeon® E5 Processor cores •384 GB メモリ •288TB の合計ディスク容量 Oracle Big Data Appliance ソフトウェア InfiniBand Network •40Gb/sec InfiniBand 合計 100 port (内部接続とExadataへの接続で利用) •10Gb/sec Ethernet 合計16 ports (データセンターの機器との接続) In-Rack Expansionを利用して 6ノードずつ追加可能 •Oracle Linux •Oracle Java VM •Cloudera Distribution of Apache Hadoop (CDH) •Cloudera Manager •Cloudera Impala, Search, Navigator, HBase & BDR •Oracle R Distribution •Oracle NoSQL Database ＊ハードウェアのサポート契約で、上記ソフトウェアのサポートを追加料金なしでご提供（Oracle NoSQL Databaseを除く） Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 11 データ分析の課題分断されたサイロな環境を対象に分析を実施する必要がある Hadoop Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 12 データ分析の課題それぞれが異なるデータアクセスインターフェースをもつ Hadoop Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 13 SQL on Hadoopは時代の流れ • Apache Hive • Stinger • Presto • Impala • Spark SQL Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 14 データ分析の課題統合されたSQLインターフェースが存在しない Hadoop Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 15 未対応のSQL機能の例 : Impala SQL Language Feature Oracle Impala ORDER BY ✔ ✔ UNION ALL ✔ ✔ BETWEEN ✔ ✔ SQL-2003 Window 関数(moving average, LEAD/LAG等) ✔ 2.0(最新バージョン)で実装 WHERE句の中でのサブクエリー ✔ 2.0(最新バージョン)で実装集合演算子 (MINUS, INTERSECT) ✔ ✖ SQL-1999 集計関数(ROLLUP, GROUPING SET) ✔ ✖ Recursive WITH ✔ ✖ SQL Pattern Matching ✔ ✖ User defined Table-functions ✔ ✖ Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 16 SQLの書き換えが必要な例 : Hive UNION ALLの例 > SELECT a, b FROM test1 UNION ALL SELECT a,b FROM test2；このままだとHiveではエラーが発生以下のSQLに書換えが必要 > SELECT * FROM (SELECT a, b FROM test1 UNION ALL SELECT a,b FROMtest2) t; • アプリケーションの改修が必要であったり、ツールによっては対応できない場合もある • オプティマイザが未成熟なため、SQLの書き方によってパフォーマンスが大きく影響される。結果としてSQLの書換が必要となるケースもある Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 17 Oracle Big Data Management Big Data分析でもSQLによる既存資産が流用可能 Hadoop NoSQL Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 18 統合されたクエリーによるメリット Before Data Science After すべてのユーザー専任エンジニア ??? Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 19 統合されたクエリーによるメリット Before Hadoop アプリケーション開発 After Hadoop Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 20 Oracle Big Data SQL Oracle DatabaseとHadoopのデータをSQLで有効活用 Big Data Appliance Exadata + Hadoop + Oracle Database Oracle SQL 全てのデータにOracle DBから Oracle SQLでアクセス可能 Smart Scan機能をHadoopのノードに実装 Local Process HDFS Data Node Local Process HDFS Data Node Local Process Oracle Storage Server Local Process Oracle Storage Server Oracle Databaseのセキュリティ機能をHadoop上のデータにも適用 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 21 Big Data SQLを理解するための Hadoop再入門 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 22 Big Data SQLを理解する上で必要となる知識 Hadoop HDFS MapReduce 分散ファイルシステム. 分散処理フレームワークある程度の知識が必要不要 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 23 Hadoop Distributed File System (HDFS) 分散配置元ファイル 1 2 3 4 HDFS 1 2 1 3 1 2 3 4 3 2 4 4 Node-A Node-B Node-C Node-D Node-E Node-F Replication数に応じて指定のブロックサイズでいずれかのノードに割り振られる (Big Data Applianceのデフォルトのブロックサイズは256MB) Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 24 HDFSの構成 (クライアントからの読込み) NameNode (Standby) NameNode (Active) ①ファイルを管理するノードを問合せクライアント/ プログラム ②ファイルに含まれる各ブロックを管理するノード名を返却 DataNode ③各ブロックを管理するノードにデータをリクエスト DataNode DataNode DataNode 補足 • • Hadoopでは、データの格納とデータの処理を同一ノードで行います (Exadataのようなデータベース・サーバーとストレージ・サーバーのような区分けがない) ネットワークの転送量を抑えるために、可能な限りブロックが存在するノードで、そのブロックに対する処理を行います（＝データ・ローカリティ） Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 25 Q1 Hadoopって非構造データを扱うんですよね？ Hadoopで利用される代表的なデータフォーマット Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 26 Yes or No? • HDFS(Hadoop分散ファイルシステム)は「ファイルシステム」です – ファイルとして扱えるものであれば、なんでも扱えます – ということで、非構造データ「も」扱うことができます Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 27 Schema-on-Write と Schema-on-Read Schema-on-Write Schema-on-Read • データの保存時に専用フォーマット • データを読み取る際に、格納されに変換してデータを保存たデータフォーマットを動的に解釈 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 28 最近のHadoop界隈での流行 • 旧来は、HadoopではSchema-on-Readが主流だった • 読み取り時のパフォーマンスが(柔軟性よりも)重要なデータに関しては、 Hadoopでも列指向データ型に格納する流れがでてきた – ORC File(Facebookなどで利用される), Parquet(TwitterがOSSとして公開)などの列指向フォーマットが代表格 – 最適化されたデータフォーマットにあらかじめ変換しておくという意味では、Schemaon-Writeのアプローチ • 「柔軟性 vs 読み取り時の性能」を考慮して、最適なフォーマットを選択 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 29 Big Data SQLでは？ • 多様なフォーマットが扱えます。 • 詳しくは、本セッションの後半で扱います。 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 30 Q2 じゃあ、HDFSにあるデータをどう利用するの？データの読取り方式 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 31 HDFS上のファイルを分散処理するために何が必要か？ • 分散処理を行うためには? – 巨大なファイルを分割(スプリット)する • 並列処理のための分割 – 分割されたスプリットからレコード(キー・バリューのペア)を認識する Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 32 テキストファイルの処理例ｰ TextInputFormat キーとバリューの組としてレコード(行)を生成する LineRecordReader ファイルを分割する TextInputFormat 例: 100GBのファイルファイルの中の何行目か {"custId":1185972,"movieId":null,"genreId":null,"time":"2012-07-01:00:00:07","recommended":null,"activity":8} {"custId":1354924,"movieId":1948,"genreId":9,"time":"2012-07-01:00:00:22","recommended":"N","activity":7} {"custId":1083711,"movieId":null,"genreId":null,"time":"2012-07-01:00:00:26","recommended":null,"activity":9} {"custId":1234182,"movieId":11547,"genreId":44,"time":"2012-07-01:00:00:32","recommended":"Y","activity":7} {"custId":1010220,"movieId":11547,"genreId":44,"time":"2012-07-01:00:00:42","recommended":"Y","activity":6} {"custId":1143971,"movieId":null,"genreId":null,"time":"2012-07-01:00:00:43","recommended":null,"activity":8} {"custId":1253676,"movieId":null,"genreId":null,"time":"2012-07-01:00:00:50","recommended":null,"activity":9} {"custId":1351777,"movieId":608,"genreId":6,"time":"2012-07-01:00:01:03","recommended":"N","activity":7} {"custId":1143971,"movieId":null,"genreId":null,"time":"2012-07-01:00:01:07","recommended":null,"activity":9} {"custId":1363545,"movieId":27205,"genreId":9,"time":"2012-07-01:00:01:18","recommended":"Y","activity":7} {"custId":1067283,"movieId":1124,"genreId":9,"time":"2012-07-01:00:01:26","recommended":"Y","activity":7} {"custId":1126174,"movieId":16309,"genreId":9,"time":"2012-07-01:00:01:35","recommended":"N","activity":7} {"custId":1234182,"movieId":11547,"genreId":44,"time":"2012-07-01:00:01:39","recommended":"Y","activity":7}} {"custId":1346299,"movieId":424,"genreId":1,"time":"2012-07-01:00:05:02","recommended":"Y","activity":4} Block B1 Block B2 Key: 1256 Value: {"custId":1067283,"movieId":1124, "genreId”9,"time":"2012-07-01:00:01:26", "recommended":"Y","activity":7} 行に含まれる内容 Block B3 テキストファイル用のTextInputFormatでは、分割の単位はブロック Big Data Applianceでは、デフォルトブロックサイズ256MB 100GBのファイルであれば、400個の(Splitに)分割されて処理される Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 33 レコードを行と列として認識する仕組みは？ • プログラム(MapReduce)では、キーとバリューとして扱えれば十分 – ValueがJSON形式でそのまま入っているが、プログラムの中で解釈すればよい • SQLとして扱うのであれば、キーとバリューではなく、列としてレコードを解釈する必要がある • Hadoop上のSQLエンジン Hiveでは、レコードを列として解釈するSerDe(シリアライズ・デシリアライズ用のクラス)の仕組みを持つ – 前ページの例では、JSON形式のデータを列として解釈するJSON用のSerDeを利用して、データを行と列として解釈 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 34 Big Data SQLでは？ • 以下の2つの方式をサポート – ネイティブ(C言語での独自)実装の読取り方式 • 高速 • 現在のバージョンではデリミタ区切りのフォーマットのみに対応 – InputFormat, SerDe(この節の内容)を利用した読取り • 既存のものや、新規に作成したものを活用することで、任意のフォーマットに対応可能 • この場合でも、データを読取る仕組みを利用するだけでMapReduceは利用しない Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 35 Q3 データってどうやってとりこむの？データ取り込みから加工 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 36 Hadoopのデータソースってなんでしょうか？データソース典型的な取込み方法 • ファイルとして生成されるデータ Apache Flume, fluentdなど – Webログ, システム・ログ • 機器の生成するデータ – 自動車や複合機などの製品が生成するデータ – 製造機器など工場内で生成するデータ • リレーショナルデータベース (OLTP) 独自アプリケーションや Apache Flumeなど Sqoopや Oracle GoldenGateなど Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 37 Apache Flume • データ収集のための効率的な基盤 – Big Data Applianceに含まれる – 特にログファイルの準リアルタイムの収集に強みをもつ • ファイル単位ではなくログに出力されたものを順次収集 (TailSource) Agent1 ログの転送 Agent2 Agent HDFS Agent3 Agent4 Thirft, JMS, HTTP等多様なソースに対応 Agent 収集したデータの格納先は Apache HBaseやApache Solr 等にも対応 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 38 Oracle Databaseからのデータ収集 Oracle Data Integrator, Oracle GoldenGate Hadoop Oracle DB OLTP Oracle Data Integrator Transform Hive GoldenGate Hive/HDFSをターゲットとする連携は Oracle GoldenGate Java Adapterのサンプル実装として提供 Hive/HDFS Hive/HDFS Load to Oracle OLH/OSCH Federate Hive/HDFS to Oracle Big Data SQL Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 39 Big Data SQLでは？ • この節で紹介したツールなどで取り込んだデータを利用 • Oracle Databaseからのデータの移動に対応予定(次ページ) Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 40 今後の拡張予定機能 ExadataからBig Data Applianceへのデータの移動 Big Data SQLの今後の機能拡張予定 Oracle Big Data SQL Copy to BDA 直近13ヶ月分のデータ 14ヶ月目以降のデータ Big Data Appliance Cloudera Hadoop Exadata Oracle Database Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 41 まとめ • Q1: Hadoopって非構造データを扱うんですよね – 非構造データも扱うことができるが、HDFSはファイルシステムなため任意のデータの格納が可能。最近は、列指向の(極めて構造的な)データフォーマットも登場している • Q2:じゃあ、HDFSにあるデータをどう利用するの？ – ファイルフォーマットを解釈する仕組み(InputFormat/RecordReader), それを行・列として解釈する仕組み(Hive SerDe)などを利用して多様なフォーマットを利用可能に – Big Data SQLもそれらの仕組みを活用することが可能 • Q3:データってどうやってとりこむの？ – 準リアルタイムにデータを収集する仕組み(Apache Flume)や、Oracle Data Integrator、Golden Gateの Hadoop対応機能を活用 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 42 Big Data SQL Technical Overview Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 43 Oracle Big Data SQL • パワフルなSQL on Hadoop – Oracle SQL問い合わせがHadoop上で使える – Hadoopのリソースを有効活用したSQL処理 • Hadoop と Oracle Databaseのシンプルな統合 – Exadataにアクセスすれば、全てのデータにクエリ可能 – Hadoop とRDBMSデータの結合 • 最適化されたハードウェア – Hadoop用に最適化されたBig Data Appliance上で稼働 – ExadataとはInfinibandで高速アクセス Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 44 Oracle Big Data SQL Big Data Appliance Exadata + Hadoop + Oracle Database Oracle SQL Local Process HDFS Data Node Local Process HDFS Data Node Local Process Oracle Storage Server Local Process Oracle Storage Server Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 45 どのような仕組みなのか? ポイント1： Hiveのメタデータを利用した外部表作成ポイント2：パフォーマンス最適化のためのSmart Scan機能ポイント3：アーキテクチャ Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 46 Hive （おさらい兼ねて） • HDFSに格納されたデータに対してSQLライクなインタフェース(HiveQL)を提供 • 様々なフォーマットに対応可能 • ファイルの保存場所やパースするための設定をメタデータとして保持 • HiveQLは内部的にMapReduceを実行 • Big Data SQLは、管理をシンプルにするためにHiveのメタデータを利用します。ただし、必須ではありません。 • Big Data SQLは、クエリの実行にはHiveを利用しません。 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 47 HDFSにファイルを置きます例: JSON形式のログファイル Hadoop {"custId":1185972,"movieId":null,"genreId":null,"time":"2012-07-01:00:00:07","recommended":null,"activity":8} {"custId":1354924,"movieId":1948,"genreId":9,"time":"2012-07-01:00:00:22","recommended":"N","activity":7} {"custId":1083711,"movieId":null,"genreId":null,"time":"2012-07-01:00:00:26","recommended":null,"activity":9} {"custId":1234182,"movieId":11547,"genreId":44,"time":"2012-07-01:00:00:32","recommended":"Y","activity":7} {"custId":1010220,"movieId":11547,"genreId":44,"time":"2012-07-01:00:00:42","recommended":"Y","activity":6} {"custId":1143971,"movieId":null,"genreId":null,"time":"2012-07-01:00:00:43","recommended":null,"activity":8} {"custId":1253676,"movieId":null,"genreId":null,"time":"2012-07-01:00:00:50","recommended":null,"activity":9} {"custId":1351777,"movieId":608,"genreId":6,"time":"2012-07-01:00:01:03","recommended":"N","activity":7} {"custId":1143971,"movieId":null,"genreId":null,"time":"2012-07-01:00:01:07","recommended":null,"activity":9} {"custId":1363545,"movieId":27205,"genreId":9,"time":"2012-07-01:00:01:18","recommended":"Y","activity":7} {"custId":1067283,"movieId":1124,"genreId":9,"time":"2012-07-01:00:01:26","recommended":"Y","activity":7} {"custId":1126174,"movieId":16309,"genreId":9,"time":"2012-07-01:00:01:35","recommended":"N","activity":7} {"custId":1234182,"movieId":11547,"genreId":44,"time":"2012-07-01:00:01:39","recommended":"Y","activity":7}} {"custId":1346299,"movieId":424,"genreId":1,"time":"2012-07-01:00:05:02","recommended":"Y","activity":4} Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 48 Hive表を定義します（Schema on Read）一つのカラムとして読み込む場合 HiveQL: CREATE EXTERNAL TABLE movieapp_log_json ( click STRING ) ROW FORMAT DELIMITED LINES TERMINATED BY '¥n' STORED AS TEXTFILE LOCATION '/user/oracle/applog'; Classic DDL > select * from movieapp_log_json {"custId":1185972,"movieId":null,"genreId":null,"time":"2012-07-01:00:00:07",… {"custId":1354924,"movieId":1948,"genreId":9,"time":"2012-07-01:00:00:22",… {"custId":1083711,"movieId":null,"genreId":null,"time":"2012-07-01:00:00:26",… {"custId":1234182,"movieId":11547,"genreId":44,"time":"2012-07-01:00:00:32”,… {"custId":1010220,"movieId":11547,"genreId":44,"time":"2012-07-01:00:00:42",… {"custId":1143971,"movieId":null,"genreId":null,"time":"2012-07-01:00:00:43",… {"custId":1253676,"movieId":null,"genreId":null,"time":"2012-07-01:00:00:50",… {"custId":1351777,"movieId":608,"genreId":6,"time":"2012-07-01:00:01:03”,… Data source metadata Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 49 Hive表を定義します（Schema on Read） SerDeを使って、カラム定義する場合 HiveQL: CREATE EXTERNAL TABLE movielog_cols ( custid int, movieid int, activity int, …) ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe' STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' LOCATION '/user/oracle/applog_json'; Classic DDL > select * from movielog_cols Data source metadata Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 50 Hive Metadata ほとんどのSQL on HadoopのエンジンはHive Metadataを共有します Oracle Big Data SQL Shark (Spark) Hive Hive Metastore Impala … Table 定義: movieapp_log_json movielog movieapp_log_avro Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 51 Hiveのメタデータを利用した外部表作成 Oracle Catalog Hive Metastore Hive metadata CREATE TABLE movieapp_log_json (click VARCHAR2(4000)) ORGANIZATION EXTERNAL (TYPE ORACLE_HIVE DEFAULT DIRECTORY DEFAULT_DIR ) REJECT LIMIT UNLIMITED; 外部表外部表 Exadata Big Data Appliance + Oracle Database + Hadoop Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 52 今までのOracle外部表の書き方にちょっと付け足すだけ CREATE TABLE movielog (click VARCHAR2(4000)) ORGANIZATION EXTERNAL ( TYPE ORACLE_HIVE DEFAULT DIRECTORY Dir1 ACCESS PARAMETERS ( com.oracle.bigdata.tablename=logs com.oracle.bigdata.cluster=mycluster) ) REJECT LIMIT UNLIMITED • 新しい定義項目 – アクセスドライバタイプ • ORACLE_HIVE : Hiveのメタストアからメタデータを引き継ぐ • ORACLE_HDFS：メタデータをCreate Table文の中で定義 – アクセスパラメータ • • • • • • tablename Hadoop cluster column mapping error handling overflow handling Logging など Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 53 社内検証結果：様々な形式での動作が確認できています分類検証項目ファイル形式 HDFSドライバ Hiveドライバテキスト ○ ○ JSON ○ ○ XML ○ ○ 正規表現（Apache Access Log） ○ ○ Sequence File ○ ○ Avro ○ ○ RC ○ ○ ORC ○ ○ 圧縮 gzip , LZO ○ ○ クエリ Hadoop内結合 ○ ○ Hadoop – Exadata結合 ○ ○ 格納方式 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 54 社内検証結果: 例）CSVファイル HDFS Access Driver 元データ bango,namae 123,tateyama 456,nounin 789,suzuki クエリ結果 CREATE TABLE sample11 ( bango number , namae VARCHAR2(10)) ORGANIZATION EXTERNAL (TYPE ORACLE_HDFS DEFAULT DIRECTORY default_dir テーブル ACCESS PARAMETERS( 作成 com.oracle.bigdata.rowformat =Delimited fields terminated by ',’ ) LOCATION ('hdfs://cluster1-ns/user/hive/warehouse/sample‘)); Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 55 社内検証結果: 例）Json SerDeを利用したHive Access Driver {"field1":"data1","field2":100,"field3":"more data1","field4":123.001} 元データ {"field1":"data2","field2":200,"field3":"more data2","field4":123.002} クエリ結果 {"field1":"data3","field2":300,"field3":"more data3","field4":123.003} {"field1":"data4","field2":400,"field3":"more data4","field4":123.004} ・・・・ CREATE TABLE test_json( field1 varchar2(20), field2 number, field3 varchar2(20), field4 number ) ORGANIZATION EXTERNAL ( テーブル TYPE ORACLE_HIVE 作成 DEFAULT DIRECTORY DEFAULT_DIR ACCESS PARAMETERS( com.oracle.bigdata.cluster=cluster1 com.oracle.bigdata.tablename=default.test_json )); Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 56 型変換 • Hiveのデータ型は、以下の対応表の通りOracle型に変換できます https://docs.oracle.com/cd/E55905_01/doc.40/e55814/bigsql.htm#BJEIDGHC Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 57 どのような仕組みなのか? ポイント1： Hiveのメタデータを利用した外部表作成ポイント2：パフォーマンス最適化のためのSmart Scan機能ポイント3：アーキテクチャ Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 58 Exadataでお馴染みのSmart Scan機能をHadoopに実装 RDBMSとHadoop に対するクエリ Fast 大規模並列分散処理 Oracle SQL ローカルでの絞り込み転送データの極小化 HDFS Data Node BDS Server OracleDatabase StorageServer HDFSData Node BDS Server OracleDatabase Storage Server Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 59 大規模並列分散処理： CREATE TABLE movieapp_log_json (click VARCHAR2(4000)) ORGANIZATION EXTERNAL (TYPE ORACLE_HIVE DEFAULT DIRECTORY DEFAULT_DIR ) PARALLEL 20 REJECT LIMIT UNLIMITED; • 並列度の指定が可能 – Oracle Databaseの並列度設定が自動的にHadoop 側の並列設定に反映されます例) 左記のSQLでOracle Databaseの並列度を20に設定することで、Hadoop側のBig Data SQLの処理も 20並列で動作します Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 60 ローカルでの絞り込み・データ転送の極小化： Hadoop上での実行 1 select last_name, state, movie, genre from movielog m, customer c where genre=‘comedy’ and c.custid = m.custid • データの保持場所 • データの構造 • 対象のブロック数 2 DB 3 1 customer 2 3 HDFS NameNode Hadoop Hive Metastore NameNode/Hive Metastoreから以下の情報取得: HDFS Data Node BDS Server HDFS Data Node BDS Server Big Data SQL Serverが並列読込み: • DataNodeが並列にデータアクセス • 行と列の絞り込みデータベースサーバーでの処理 • 関連するデータのみ転送されてくる • データベースのテーブルとジョイン • データベースセキュリティポリシーの適用 movielog Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 61 Smart Scanの実行モード 1/2 • Big Data SQLのSmart Scan機能は、パフォーマンスに影響を与える2種類のModeがあります。 C : 独自実装の高速処理モード現バージョンではデリミタ区切りのテキストのみに対応 Java : 内部的にHiveのStorageHandlerを利用したデータの読取りを行う • Data Modeは、Create Table時にcom.oracle.bigdata.datamodeで指定します。無指定の場合は、auto(デフォルト)となりC , Java modeが自動適用されます(C優先) CREATE TABLE BDS_SAMPLE Col1 VARCHAR2(30) , Col2 NUMBER(30) ORGANIZATION EXTERNAL ( TYPE ORACLE_HDFS DEFAULT DIRECTORY DEFAULT_DIR ACCESS PARAMETERS( com.oracle.bigdata.cluster=cluster1 com.oracle.bigdata.rowformat=Delimited fields terminated by '|' com.oracle.bigdata.datamode=c) LOCATION ('hdfs://cluster1-ns/user/hive/warehouse/lineitems')); Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 62 Smart Scanの実行モード 2/2 • Java data modeはSerDeを利用するため、利便性に優れるものの、内部的には一度、 Hiveデータ型に変換された後に、Oracleデータ型への変換が行われるため、C data modeより実行速度が劣ります。内部処理 Data mode C 変換 Oracle データ型処理データ Java 変換 (SerDe) Hive データ型変換 Oracle データ型 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 処理 63 どのような仕組みなのか? ポイント1： Hiveのメタデータを利用した外部表作成ポイント2：パフォーマンス最適化のためのSmart Scan機能ポイント3：アーキテクチャ Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 64 Oracle Big Data SQL導入の前提条件 Oracle Big Data Appliance Oracle Big Data SQLは、Hadoopを利用した Engineered Systemである、Oracle Big Data Appliance上で稼働するオプションソフトウェアですカスタム・アプリケーション Cloudera Manager Enterprise Manager Perfect Balance Big Data Connectors (別ライセンス) Big Data SQL (Option) Oracle Exadata IB Oracle 12c Cloudera’s Distribution including Apache Hadoop MySQL (Cloudera Manager, Hive等のレポジトリ) 自動構成ツールハードウェア・ネットワーク OS (Oracle Linux), JDK Big Data SQLに接続するためには、 Exadata上で稼働するOracle 12.1.0.2以上が必須になります Exadata – Big Data Appliance間は、 Infinibandで結線されている必要があります Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 65 Big Data SQLのプロセス Oracle Big Data Appliance Data Data Data Exadata Database Server Config 接続情報 $ORACLE_HOME /bigdatasql RDBMS HDFS Data Node BDSQLSRV BDSQLMS Agent extprocbds_クラスタ名 BDSCLI BDSQLRS InfiniBand •Big Data SQL Server(BDSQLSRV)は、DB Serverとの通信を担う。Data Nodeと通信する事でHDFSからデータを取得する •Management Server (BDSQLMS)はBDSCLIから設定変更、アラート履歴表示、メトリック表示、メンテナンス操作等を管理 •Restart Server (BDSQLRS) はBDSQLSRVとBDSQLMSを監視。プロセスの生死、メモリ使用状況など Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 66 ソフトウェア設定手順前提：ExadataおよびBig Data Applianceは設置済 Big Data ApplianceはVersion4.0でセットアップ済み項番設定対象設定項目設定概要 1 Exadata 12.1.0.2へのバージョンアップ Oracle Database の 12.1.0.2へのバージョンアップおよび対応するStorage Server Softwareへのバージョンアップ 2 Exadata Big Data SQL用前提パッチの適用(Oracle Database側) Big Data SQL利用の前提となるOracle Database側のパッチ patch#19377855の適用(opatchによるパッチ適用) 3 Big Data Appliance Big Data SQL用前提パッチの適用(Big Data Appliance側) Big Data SQL利用の前提となるOracle Database側のパッチ patch#19607796の適用 4 Big Data Appliance Big Data Appliance側でのBig Data SQLの有効化 Big Data Applianceの有効化コマンドを実行し、Big Data Appliance側でBig Data SQLを利用可能にします Exadata Exadata側でのBig Data SQLの設定 Big Data Applianceで生成されるコマンドを、Exadataの各 Database Serverで実行し、Exadata側にBig Data SQLの設定を行います 5 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 67 運用・監視 (Cloudera Manager) 監視リソース制御 CPUやメモリなどのリソース制御は cgroupにより行う Cloudera Managerでプロセスのステータス監視や起動・停止が可能 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 68 Oracle Enterprise ManagerとCloudera Managerの連携方式 Enterprise Manager (Oracle Management Service) リソース・死活監視インシデント管理 Big Data Appliance Cloudera Manager Enterprise Manager for Big Data Appliance Plugin サービス監視ヘルスチェックリソース監視サービス追加サービス設定サービス起動・停止サーバー・スイッチ・PDU Cloudera Managerからの管理が必要な項目 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 69 AWRレポートの例 Big Data Appliance 側でのSmart Scanに関する待機イベント 1 2 3 統計値 ①cell XT granule bytes requested for predicate offload BDSがSelect対象とするデータのサイズ（バイト） ②cell XT granules requested for predicate offload BDSのリクエスト数 ③cell interconnect bytes returned by XT smart scan DBに転送されるBDSのスマートスキャン結果 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 70 Big Data SQL Demo Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 71 デモ Analyze All Your Data with Oracle Big Data SQL • Virtual Box環境(Big Data Lite version4.0.1)を利用します – ご興味のある方が後日操作できるようにチュートリアルに沿って行います – Virtual BoxイメージはOTNで公開されています http://www.oracle.com/technetwork/database/bigdata-appliance/oracle-bigdatalite-2104726.html 環境構築手順はQuick Deployment Guideをご参照ください http://www.oracle.com/technetwork/database/bigdata-appliance/bigdatalite-40-quickdeploy-2301390.pdf • チュートリアル http://www.oracle.com/webfolder/technetwork/tutorials/obe/db/12c/BigDataSQL/BigDataSQL_HOL.html – Part1：環境の確認 – Part2：Oracle_HDFSドライバ – Part3：Oracle_Hiveドライバ Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 72 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 73 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |