IoTを経営に活⽤するヒント 「既存データと組み合わせで現場に気付きを 」 並列分散処理基盤を利⽤したデータ活⽤の⽅法 〜 Asakusa Framework での活⽤事例の紹介〜 2016年11⽉8⽇ 株式会社ノーチラス・テクノロジーズ http://www.nautilus-technologies.com/ mailto:[email protected] Tel: 03-6712-0636 Fax: 03-6712-0664 NAUTILUS Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 弊社紹介 株式会社ノーチラス・テクノロジーズ n 住所 ：東京都品川区北品川1195 コーストライン品川ビル n 代表 ：代表取締役社⻑ 神林 ⾶志 代表取締役副社⻑ 中⽥ 明 n 設⽴ ：2011年10⽉3⽇ n 資本⾦：45百万円 n 従業員：17名 Asakusa Framework 事業 分散処理Hadoopを企業内にに適⽤する ためのアプリケーション開発フレームワーク Hadoop 事業 Hadoopディストリビューションの販売 Hadoopエコシステムのコンサルティング 流通BMS事業 NAUTILUS 消費流通のEDI標準であるBMS準拠のB2B ミドルウェア提供 Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 1 主⼒製品：Asakusa Frameworkとは n 並列／分散環境向けバッチ開発フレームワーク – Asakusa Frameworkは、企業システムのバッチの⾼速処理を⽬的とし、 複数の並列／分散基盤に対応した業界唯⼀のフレームワーク – 基幹バッチ開発の開発・テスト・デプロイをサポート – その他 IoT、AI、ビッグデータ処理⽤基盤・DWH オフロード等各種適⽤領域拡⼤中 ３つの特徴 開発容易性 • • • NAUTILUS 性能 特定のAPIに依存せ ず、学習が容易 ローカル環境でのテ ストが可能 開発時チェックの充 実 • • • ユースケースに応じ た実⾏基盤の選択 独⾃コンパイラによ る最適化 最新のアーキテク チャに対応 Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential ポータビリティ • • • ⼀つのソースから複 数環境向けの実⾏ コードを⽣成 バージョンアップ時 の互換性を重視 クラウド対応 2 Internet of Thingsの時代 NAUTILUS Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 3 うちには ビッグデータ なんてないから 関係ないな〜 データサイエンティ スト採⽤できないし ビッグデータを活⽤されていらっしゃいますか？ ビックデータ基盤なん て扱える技術者いなし IOTって⾔われても。。 NAUTILUS 投資対効果出せって ⾔われても。。 Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 4 ビッグデータとは Internet of Things 膨⼤なデータ量 デ タ 活 動 NAUTILUS というだけではなく、 多様な データ種類 ⾮定形の データ形式を含む リアルタイムでの データ処理 データの 発⽣源が多様 という特性を持つ データを組合せることで付加価値を創出する Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 5 ビッグデータはどこにあるのか 社内 ⾃社基幹システム 関係先 顧客 政府等の公共機関 業務上のやり取り 上で発⽣する情報 財務・会計・⼈事等の 社内状況を⽰す情報 グループ企業 他部⾨ 企業間で共有される情報 取引企業 営業や顧客の情報など、 事業領域ごとに固有で 管理されている情報 NAUTILUS ⼀般 サプライチェーンの情報 Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 統計データや地図 情報など公開され ている情報 提携して効果のある 企業 企業が保有して いる情報 データ提供事業者 利⽤⽬的に合 わせて整理さ れた各種情報 6 ビッグデータ利活⽤の流れ 発⽣源（市場） 診断 アンケート メール 気象 電⼒使⽤ 取引 ドライブ 道路状況 物流 新規サービス/ SNS GPS 商品の開発 スマートシティ クーポン配信 新規インフ 防犯システム 宅配 ラの構築 収集・蓄積 アクセスログ オフィス⽂書 ⾞載データ 気象情報 会計 正規分布 平均と標準偏差 Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 渋滞情報 相関分析 分析⽅法 ビジネスでの活⽤ NAUTILUS 運⾏状況 気象情報 分析 回帰分析 分析ツール 7 ビックデータを活⽤しビジネスの価値を⾼めるこ との⽬的をもう⼀度冷静に考えてみました。 NAUTILUS Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 8 ビックデータは、仮説検証のための道具⽴て 「最近ビックデータの活⽤が指摘されるけど、⼤きな変 化に対応するのは難しいんじゃないか。⼤切なのは仮 説と検証だ。データは単なる結果でしょ。仮説を検証 するための道具でしかない。」 元セブン＆アイホールディングス鈴⽊敏⽂会⻑ NAUTILUS Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 9 ビックデータ活⽤の⽬的 「成功の鍵」 n ⾼度な分析技術、⼤量データを扱うことが⽬的？ – いいえ！ビジネスに役⽴てることが⽬的です！ 分析技術やデータ量は⼿段であり⽬的ではありません。 Ø お客様のニーズに応えた商品開発、サポート業務の品質向上などあらゆる ビジネス活動に役⽴てることが⽬的です。 Ø n データサイエンティストの採⽤と育成がカギ？ – いいえ！ビジネスに関わる現場の社員がデータ活⽤の主役です！ – 実際のビジネスにかかわっていなければ、業務経験や直感に基づく“仮説”はなか なかできません。 n データサイエンティストが素早くレポートを出せることが⼤切？ – いいえ！ビジネスの主役である現場の社員が⾃らデータを扱えること が重要です！ – ビジネスの経験や直感に基づく仮説は、確信に満ちたものもあれば、そうでない ものもあります。思いついたその場でさっと確認し、次の仮説や洞察に繋げられ ることが重要です。 NAUTILUS Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 10 データを基にした仮説検証サイクルを⼿軽に n n n NAUTILUS 最終的に社員⼀⼈⼀⼈の⾏動に結びついてこそビック データの価値を企業価値に転換する事に繫がる 現場の社員が仮説検証のサイクルを彼等の視点で 気軽な感覚を持って試⾏錯誤できる環境が必要 これらの環境をスモールスタートで始められることが⼤切 Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 11 従来型のKKD から 現代版 KKD へ 現代版ＫＫＤ Ｋ（仮説）・Ｋ（検証）・Ｄ（データ分析） それを実現するための仕組みが必要 NAUTILUS Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 12 IoTビッグデータを⾝近にする Java フレームワーク Asakusa Framework のご紹介 ビッグデータ⾼速処理開発フレームワーク 分散処理環境（Hadoop/Spark）を簡単に利⽤できる仕組み NAUTILUS Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 13 Hadoopによる⼤量データ処理の⾼速化 n n n 元々はGoogle の論⽂をもとに開発された⼤規模データの分散処理フレームワーク Hadoopを利⽤し、⼤量データの蓄積、業務処理を⾼速に実施 複数サーバでDISK I/Oを分散、メモリー、CPUを効率的に利⽤ Hadoopベース RDBMS HDFS（分散ファイルシステム） ⼤規模なデータを複数の計算ノードに格納するファイルシ ステム CPU 使い切れない CPU 100％使⽤ CPU 100％使⽤ CPU 100％使⽤ メモリー 使い切れない メモリー メモリー メモリー ディスク ディスク ディスク ディスクI/O ボトルネック Shuffle&Sort 処理の多重度に限界 M M M R MapReduce データは複数の計算ノードに分散して Map (Key と Value のセット) 処理され、 Reduce 処理により計算結果を統合します。 NAUTILUS Hadoopの特徴 データ 処理概要 スケールアウト 処理量が増える場合に、台数を増やすこ とで対応 データローカリティ データのある所で処理を実⾏する 投機的実⾏ 同じタスクを複数ノードで、並列実⾏さ せ、最も早く得られた結果を有効にする Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 14 スパコンの様な強力なパワーを活用して 企業システム内のボトルネックを解消しよう！ Hadoopベース RDBMSベース CPU 「使い切れ ない」 CPU 「使い切れ る」 CPU 「使い切れ る」 CPU 「使い切れ る」 メモリー メモリー メモリー メモリー ストリーミング読み込みを⾏い、データの⼀括読み込みを⾏う ディスク シーケンス 処理 経営に資する情報をいち早く⼿に⼊れよう！ 単⼀ノードでは処理の多重度 に限界がある デ ィ ス ク デ ィ ス ク デ ィ ス ク データ ITの制約で諦めていたことを実現しよう！ しかも圧倒的なコストパフォーマンスで！ NAUTILUS Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 15 流通業界の積年の課題 n ユーザーの時の経験 n 流通業界の積年の課題の存在 n 昨⽇のリンゴ⼀つの利益が把握できない n 膨⼤な商品数のため利益計算が終わらない n 売上の⾦額は把握できる n コスト計算は、それぞれのコストを売上にぶつけて利益計算が必要になる n 膨⼤な計算量で24時間でも結果出ず n ITの制約で出来ない事があることを体感 n コンピュータ資源の不⾜で計算できない n 100台並列でもできなかった NAUTILUS Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 16 いつも勝負の相⼿は汎⽤機 n 汎⽤計との戦い n バッチの計算処理ではオープンでは勝てなかった n 汎⽤機の他重度はオープンの数⼗倍 n オープン化の流れは進んだが n 依然バッチ処理は汎⽤機 n いつも案件で負けていた n ⽇本は汎⽤機ベンダーが多く、ドル箱でもありリプレースが進まない VS NAUTILUS Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 17 多重度で圧倒的なパワー n Hadoop（コミュニティー）という新しい技術に出会う n Google が世界中から集まるデータを⾼速処理 n ⾼価なマシンではなく汎⽤PCサーバーを横に並列配置 n 各ノードにデータを分散配置する仕組みで圧倒的なパワーを引き出す n 最近ではビックデータの処理基盤として有名 n ⼤量のデーターを安いPC を並べて処理する仕組み n オープンソースなので⼿軽に試せる n 並列分散処理としては標準技術 n この技術で汎⽤機の多重処理を駆逐できると判断 n 実際に実施してみたら圧倒的な結果 n スーパーコンピュータと同じ仕組み n 汎⽤PCで実現可能 n スーパーコンピューと同じ仕組みで業務処理 NAUTILUS Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential < 18 Hadoop プログラミング（WordCount) Map & Reduce ・・・と設定 https://hadoop.apache.org/docs/current/hadoop-mapreduceclient/hadoop-mapreduce-clientCopyright © 2016 Nautilus Technologies, Inc. All rights reserved. core/MapReduceTutorial.html#Example:_WordCount_v1.0 NAUTILUS Proprietary & Confidential 開発 テスト 運⽤ 全部⼤変 19 Asakusa DSL(Domain Specific Language) n Asakusa DSLを中⼼としたフレームワーク n 設計は、バッチ処理をデータフロー形式で記述します n ⼊⼒データ、処理内容、出⼒データを記述した データフロー設計から、そのまま実装が可能 n ビジネスロジック実装にHadoopを意識しなくて良い M R # 1 DSL コンパイラ M R # 2 Asakusa DSL n 三層DSLによるシンプルなJavaプログラムの組合せ Flow DSL Batch DSL Job #1 Job #2 Job #3 Job #4 Batch JobFlow FlowPart Operator DSL 1. …………… 1.1. ……… 1.2. ……… 2. …………… 2.1. ……… 2.2. ……… 2.a. ……… 3. ………… 4. ………… Process n 設計後の実装フェーズでは、演算⼦ (Operator DSL) から作成し、演算⼦を組み合わせジョブフロー (Flow DSL) にします。最後に、ジョブフローの実⾏順序を バッチ処理 (Batch DSL) に記述 NAUTILUS 主なOperatorDSL (全26種類) 処理概要 分岐 Branch レコードを内容に応 じた出⼒に振分 更新 Update レコードの内容を 更 新して出⼒ 変換 Convert 別の種類のレコード に変換 マスタ結合 MasterJoin マスターデータを 結 合 マスタ分岐 MasterBranch レコードとマスタ データの内容に 応 じて振分 マスタ付き更新 MasterJoinUpdate マスターデータの 内 容に応じて振分 単純集計 Summarize グループ化した コードを集計 グループ結合 CoGroup 複数のレコードを グ ループ化して 任意処理 Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 20 Asakusa Frameworkの特徴（ポータビリティ） 現在の分散環境の主要なディストリビューションをカバー データフロー DSL / コンパイラ 開発 フレームワーク 並列・分散処理 ミドルウェア 分散処理フレームワーク 単ノード マルチコア 並列処理 フレームワーク &実⾏基盤 リファレンス実装 M³ for BP 商⽤ディストリビュー ション クラウドサービス Azure HDInsight Amazon EMR インフラ ストラクチャ NAUTILUS オンプレミス 少ノード 超並列環境 クラウド 分散環境 Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 21 Asakusa on M³BP 分散処理エンジン（M³ for Batch Processing）をFixStars社と共同開発 n 単⼀ノード・マルチコア環境⽤のAsakusa on M³BP n – Asakusa on M³BPにてCPUコアの制御やメモリ管理はC++でM³ for BPで処理し、アプ リケーション部分はJVMに振分け⾼速化 – Asakusa DSLには⼀切変更を加えることなくM³ for BPと、Hadoop/Sparkの処理基盤 を切り替えて使うことが可能 単⼀ノード・マルチコア・⼤量メモリにて、⼩規模バッチ処理を NAUTILUS Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 22 処理特性に応じた環境が選択可能 ソースコードの変更なしで、バッチ処理のデータ特性、処理特性により、適し たシステムの選択が可能となる。 処理時間 （秒） 時 36000 10時間 分 3600 1時間 360 30 秒 M3BP 100GB NAUTILUS 500GB 1TB Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 1PB ⼊⼒データ量 23 Asakusa Frameworkのリリースと歩み n 2011/3: OSSとして、初版 (Version 0.1.0) リリース – 2-3ヶ⽉毎に、安定したリリースを実施 – バッチ処理、データ活⽤の外部連携、各種分散処理エンジンに対応 時期 NAUTILUS 他社製品との連携・サービス追加・協業 2011年11⽉ ⽇⽴ソリューションズ様 統合運⽤監視 「JP1」と連携 2012年１⽉ EMCジャパン様とEnterprise Hadoop開発運⽤ソリューション「GreenplumHDEE」連携 2012年4⽉ BSP様 ジョブ管理ツール 「A-Auto」と連携 2012年7⽉ アプレッソ様 ETLツール 「DataSpider Servista」と連携 2012年10⽉ IIJ様 「GIO Hadoopソリューション」に採⽤ 2012年11⽉ インフォテリア様 ETLツール 「Asteria」と連携 2013年4⽉ AsakusaのPaaSサービス「Node0 DBR」を開始 2014年11⽉ NTTコムウェア様 「SmartCloud」に採⽤ 2015年7⽉ Asakusa on Spark リリース 2016年4⽉ Asakusa on M³BPリリース 2016年 9⽉ Asakusa on Oracle BDAリリース Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 24 Alliance : オラクル x Cloudera x Asakusa Framework 分析処理に強みを持つBig Data Applianceと、業務バッチ処理の開発を容易にするAsakusa Frameworkを組合せ、エンタープライズのデータ処理ニーズに対応する 分散処理の開発が容易な バッチ処理フレームワーク RDBMSとの⾼い親和性 豊富な分析ツール Oracle Big Data Integrator Oracle Big Data Discovery Oracle Big Data SQL SQL Developer & SQL Tools Oracle Big Data Connectors Oracle R Advanced Analytics 可⽤性・拡張性の⾼い分散処理基盤 ⾼性能・⾼信頼基盤 ⼀元化された運⽤管理ツール エンタープライズレベルサポート 事前構築・最適化された⾼性能ハードウエア NAUTILUS Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 25 Oracle BDA＋Asakusa Framework の効果 RDBMSとの親和性 Asakusa Framework の⼊⼒データとして、HDFS上のファイル、Oracle DB上の データを利⽤可能 ü Oracle Big Data SQLとの連携により、HDFS上の結果データを、DBの表として ユーザーに透過的に⾒せることが可能 ü Oracle Big Data Appliance DMDL 開発 予定 複雑なバッチ処理 開発 予定 Exadata Database Server Asakusa Windgate for Oracle Asakusa DirectIO for BDS BI Tools DDL DB Enterprise Applications Data Reservoir (HDFS) Oracle Big Data SQL 外部表への アクセスを HDFS/Hive のアクセス に変換 HDFS上の ファイルを外 部表として扱 える Adhoc SQL 企業内データ 業務ユーザー NAUTILUS Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 26 Oracle BDA＋Asakusa Framework の効果 RDBMSとBDA＋Asakusa Frameworkの使い分け ü 頻繁に利⽤するデータ（ホットデータ）はRDBMSへ ü 業務システムのトランザクション、マスタデータ、直近の情報系データ等 ü Asakusa Frameworkの機能で軽量マスタは容易にBDAへ連携可能 ü 利⽤頻度が低いデータ（コールドデータ）はBDAへ ü センサーやログ等の⾮構造化データ、過去の情報系データ、トレーサビリティのデータ等 ü Oracle Big Data SQLで利⽤が可能 Oracle Big Data Appliance Exadata Database Server DB Data Reservoir (HDFS) Oracle Database BI Tools 業務上利⽤頻度が低いデータ群 ü ⾮構造データ（ログ系） ü 過去の分析データ ü 詳細な分析データ ü 過去の業務データ ü トレース⽤のデータ 等 NAUTILUS 業務上利⽤頻度が⾼いデータ群 ü 現在進⾏形の業務データ ü 直近の分析データ ü サマリした分析データ Oracle Big Data SQL + Asakusa DirectI/O For BDA Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 業務ユーザー 業務ユーザー Enterprise Applications Adhoc SQL 27 Alliance : MICROFOCUS x Asakusa Framework NAUTILUS Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 28 Alliance : MICROFOCUS x Asakusa Framework 処理の重いデータ処理を並列処理で ⾼速化し性能改善 複雑な業務ロジックはCOBOLの ロジックをそのまま活⽤ NAUTILUS Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 29 Asakusa Frameworkで分散処理技術の利活⽤領域拡⼤ n ログの解析程度しかできなかった分散処理（Hadoop/Spark）を業務 領域のバッチ処理に適⽤することを可能にしビジネス価値を創出 基幹バッチ処理⾼速化モデル データウェアハウスオフローディング・モデル 既存バッチ処理リプレース、ホストリプレース 既存DWHのオフロード、またはDWHの新規構築 ・DISK I/Oボトルネックの解消 ・オンライン処理時間の延⻑要請 ・データベースのチューニングも限界 ・DWHに投⼊するデータ量の増加 ・ハード増強は、費⽤が⾼く頭打ち ・DWHの前処理バッチでの⾼速化 ・ホストからのバッチ移⾏時の代替え ・⾼価なDWHやBIツールを導⼊したくない ・⾼価な、ストレージ製品等を導⼊したくない IoTビッグデータ・AI向けデータ処理基盤モデル シミュレーション・モデル ⼤量データ、計算量が多い新規バッチ処理 業務データの粒度を詳細化してシミュレーション ・毎⽇増え続けるログデータの蓄積 ・詳細な業務データの蓄積 ・逐次更新される会計データの集計 ・様々な分析軸の⽴案 ・データベースでは処理が遅い複雑なデータの処理 ・様々なパターンの検証 ・各種センサーログ、利⽤記録等 ・組み合わせ数が爆発する計算処理 ・機械学習・AI向け分析対象データの最適⽣成 NAUTILUS Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 30 各業界に於ける Hadoop/Asakusa Framework 活⽤事例 NAUTILUS ⾦融 通信 製造 サービス ユーティ リティ ネット系 Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 31 与信管理シミュレーション処理の⾼速化によるリスク低減 問題: データ量の増加にシステムが対応出来ない ⾦融 某⼤⼿⾦融機関 効果： ・スケールアウト型拡張性の確保 ・性能改善へのコスト削減 ・通常のJava 開発⼿法適⽤が可能 ・分散処理基盤運⽤の標準化が実現 ・サイロ化されたデータ統合が実現 NAUTILUS n システムの制約で分析⽤データの追加が困難 n 処理の⻑時間化（2年分を10時間以上）がビジネスに影響を与える n 複雑なロジックによりシステムの更改コストが⾼い n 分散処理は効果が⾒込めるが⼈⼿による分散最適化が困難 解決策: Hadoopのスケーラビリティとフレーム ワークによる開発⽣産性及び品質の向上 n スケールアウト型のためデータの増加をノード追加で対応が可能 n 並列処理によって圧倒的な処理時間の改善を実現（3年分を7分程度） n フレームワークの採⽤により直感的なロジック開発が可能 n 分散処理モードでのテストツールでシステムの品質が向上 n 分散処理の最適化をHadoopに任せられるため運⽤コスト削減が可能 Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 32 事例 ⻄鉄ストア様 売価還元法から個別原価法へ 売価還元法 個別原価法 利益確定 棚卸法なので、原則として棚卸が必須。⼤ 抵は半⽉に⼀回が相場 継続記録による在庫の 引き当てを⾏うでの、⽇々で確定が可能 正確性 バスケットによる⼀律の算定なので不正確 個別引当の原価を 利⽤するので正確 データ量 カテゴリーの総計のみで計算可能 個別の単品単品のトレースが必須 カテゴリーベースで集計 期⾸残 期首残 当期仕 入 売上原 価 末在庫 NAUTILUS 単品ベースで集計 カテゴリー別の集計を 構成単品に展開して 計算する⽅式 期⾸残 期⾸残 売上原 期⾸残 売上原 期⾸残 価売上原 期⾸残 価売上原 当期仕 当期仕 期⾸残 価売上原 期⾸残 価売上原 ⼊当期仕 ⼊当期仕 期⾸残 価売上原 期⾸残 価売上原 ⼊当期仕 ⼊当期仕 末在庫 末在庫 期⾸残 価売上原 期⾸残 価売上原 ⼊当期仕 ⼊当期仕 末在庫 末在庫 価 期⾸残 価売上原 期⾸残 売上原 ⼊当期仕 ⼊当期仕 末在庫 末在庫 価 期⾸残 価売上原 期⾸残 売上原 ⼊当期仕 ⼊当期仕 末在庫 末在庫 期⾸残 価売上原 期⾸残 価売上原 ⼊当期仕 ⼊当期仕 末在庫 末在庫 価売上原 価売上原 ⼊当期仕 ⼊当期仕 末在庫 末在庫 価 価 ⼊当期仕 ⼊当期仕 末在庫 末在庫 ⼊ ⼊ 末在庫 末在庫 末在庫 Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 末在庫 33 IoT時代のビッグデータ処理を活⽤した事例紹介 分散処理環境（Hadoop/Spark）を利⽤し⼤量データを⾼速処理するこ とにより可能になった業務事例 NAUTILUS Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 34 IoTデータの活⽤を⽀える要素 デバイスの⾼性能化/低価格化 ・ネットワークの普及 ・デバイスの⼩型化 ビッグデータ処理技術の発展 ・HadoopやSparkの分散処理技術 ・H/Wスペックの進化 分散技術の利⽤における難易度の低下 ・クラウドサービスの普及 ・分散処理開発⽤フレームワークの利⽤（Asakusa Framework） センサーや機器から取得した稼働実績ログ等の⾮構造データと 各システムに分断された最⼩粒度の業務データを １つの分散処理基盤上で活⽤することが可能 NAUTILUS Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 35 事例 ユーティリティー会社 の場合 n 料⾦シミュレーションは、料⾦プラン別に複数のパラメータをセットした状 態で並列実⾏する。 従量電灯 実績データ 料⾦プランごとに実ロ ジックを展開 パラメータセッ ト 基本料⾦：30A：280円 検針データ 第1段階：120Kwh：19円 スマートメータ 第2段階：300Kwh：25円 請求データ 料 ⾦ 計 算 結 果 格 納 第3段階：それ以上：29円 料⾦プランで絞込み （特別⾼圧、⾼圧、低圧 ⼩⼝など） 従量電灯 基本料⾦：30A：250円 第1段階：120Kwh：15円 第2段階：200Kwh：20円 料⾦プラン 料 ⾦ 計 算 結 果 格 納 料 ⾦ 計 算 結 果 格 納 第3段階：それ以上：35円 結 果 の 表 ⽰ ／ ⽐ 較 従量電灯 基本料⾦：30A：200円 第1段階：100Kwh：20円 第2段階：270Kwh：20円 第3段階：それ以上：35円 Hadoop上で並列に料⾦計算を実⾏することで⾼速化 NAUTILUS Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 36 事例）さくらインターネット様 DC の原価管理 n 発⽣コストをIoTデータ（稼働実績データ）から把握 – – n ビルマネジメントシステムから電⼒、サーバーからCPU利⽤率、ネットワーク機器からトラ フィック量といった稼働データを取得 稼働データを元に利⽤ユーザー、サービス単位でコストを配賦 多層構造のコスト・モデルの確⽴ – ツリー構造のコスト・モデルの明確化 Ø Ø – 各発⽣階層単位でのコスト・ツリーモデルの確⽴〜集計しやすく・⾒やすく 最上位のインパクトが下位に与える影響が⾒積もれるモデル 各構成コストの原価ドライバーの因果関係のモデル化 Ø Ø ハードウェア/ソフトウェア/⼈件費/修理費 各ファクターの限界コスト（マージナルコスト）を算出 ミドル NAUTILUS ü 例）サーバーを⼀単位増やした場合の追加的に発⽣するコスト 利⽤ ミドル 稼働直接 間接コスト サーバー 利⽤ サーバー等 稼働直接 間接コスト 設備 利⽤設備 建屋 占有⾯積 間接コスト ⼟地 使⽤⾯積 間接コスト 稼働直接 間接コスト Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 各センサーデータを活⽤ し、取得可能な最⼩粒度 でコストを配賦 37 事例）IoTデータを利⽤した原価管理 n IoTデータと業務データをHadoop上に蓄積し、Asakusa Framework＋Sparkを利⽤ し原価計算及びシミュレーションを実⾏ データセンターA （IoTデータ） データ収集Gateway ビルマネジメント システム データ処理 & シミュレーション 計算結果 ü 消費電⼒量 ü 空調利⽤量 等 ネットワーク機器 ü IPアドレス別のパ ケット量 電源設備 ü ラック別電⼒利⽤量 サーバー機 ü CPU利⽤量 ü HDD利⽤量 ü 通信料 等 NAUTILUS 基幹システム （業務データ） 会計 在庫 Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 販売 38 事例）アンデルセン・サービス様 原材料原価計算 n 現状 – 原材料からの製品原価計算で４時間近くかかっている。 – BOMの展開・原価の積上げに時間がかかっていた。 – ツリー構造の関連を辿るのでRDBMSだと効率が悪い。 n 課題 – 原価計算のシミュレーションをかなりの頻度で⾏いたい – 現状の4時間バッチでは、その時間のバッチ・ウィンドウの確保が週に2 回が限界 – 原価は想定や予算ではなく、「アクチュアルの数字」で⾏いたい NAUTILUS Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 39 バッチ実⾏時間について l 実際の実⾏時間 l Clusterの起動と停⽌ l 4時間のバッチ処理が20分で終了 4分〜⾮常に⾼速 l データの送受信の転送 l 5分〜数G程度なので、時間はかからない→基幹系のデータの特徴 l 実際の計算 l 12分〜実際の計算はこの程度で終わっている。 Clusterの起動 2 バッチ処理時間 0 NAUTILUS データの転送 原価計算 データの受信 現在は 12 1分 2 5 10 3 15 Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential Clusterの停⽌ 2 20 25 40 事例）IoTデータを利⽤した原価差異分析 n 課題 – 計画と実績の差異原因の追求ができない n 計画データと実績データの差異を可視化 – ⽣産計画データと製造実績データの差異を分析 – 問題の気づき〜業務改善へ IoTデータ ・PLC ・センサーデバイス ・製造装置ログ 製造場所 実績データ 本部、⼯場 計画データ NAUTILUS 実績の収集 業務データ ・⽣産計画、BOM ・⼯程、品質管理 データ蓄積 データ加⼯ 可視化 X製品 歩留差異 計画データと細粒 度の実績データを 関連付け Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 41 データレイクとしての分散処理基盤の活⽤ n 同⼀基盤上で複数のシステム実現が可能 国内⼯場/Aライン PLC/センサー アジア⼯場/Bライン PLC/センサー 稼働実績ログ 利⽤電⼒ ⽣産/不良数 稼働実績ログ 利⽤電⼒ ⽣産/不良数 北⽶⼯場/Aライン PLC/センサー 他システム RDBMS 稼働実績ログ 利⽤電⼒ ⽣産/不良数 ⾮構造データの連携 加⼯済データの 連携 IoTビッグデータ処理基盤 画⾯/BIツール Excel Web画⾯ CSVデータ 等 加⼯済データの 参照 Asakusa Framework 原価管理 Activity Based Costing 原価 シミュレーション トレーサビリティ 所要量計算の ⾼速化 ⽣産実績の ⾒える化 データ加⼯（BOM変換/展開処理、データ結合、製番/単位/荷姿変換、クレンジング 等） データ蓄積（分散ファイルシステム サイロ化された業務データ（最⼩明細単位での連携） マスタ管理 品⽬情報 製品情報 整備情報 NAUTILUS PDM 部品表（EBOM） ECR/ECO情報 設計情報 在庫管理 在庫情報 ⼊庫/出庫情報 MRP 部品表（MBOM） ⼯程情報(歩留り) 設備情報(稼働率) SCM 仕⼊先情報 リードタイム Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 受注管理 受注情報 販売構成(販売BOM) 他 他 42 ノーチラステクノロジーズ社の提供サービス n NAUTILUS 弊社が提供する主要なサービス サービス 内容 Asakusa Framework サブスクリプションサポート Asakusa Frameworkを、有償サブスクリプションとして 提供し問合せ対応やV-up版の提供をします Asakusa Framework プロフェッショナルサービス • Asakusa Frameworkでの導⼊を前提に、要件定義や Asakusa DSLでの設計の⽀援を⾏います • Asakusa Frameworkでのアプリケーション開発をお客 様で実施される場合に、問合せ対応、レビュー等の技術 ⽀援を⾏います Asakusa Framework PoC プルーフオブコンセプト Asakusa Framework/Hadoopでシステム導⼊の前に、実 現性の可否を確かめるための検証を⾏います Asakusa Framework アプリケーション開発 Askausa Frameworkを使⽤したアプリケーション開発を します Hadoop販売/保守 Hadoopのサブスクリプション(MapR,HDP)の販売/ 保守の提供を⾏います トレーニング/PaaS • Asakusa Frameworkトレーニング(⼊⾨編) • クラウドプラットフォームサービス Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 43 Asakusa Frameworkトレーニング n Asakusaを触って⾒たいという⽅向けの⼊⾨編トレーニングコース 「Asakusaによる分散バッチアプリケーション開発⼊⾨」を ⽇本サード・パーティ株式会社様との協業にて開催しています。 n ⼆⽇間のコース 座学とハンズオン n １⽇⽬ Asakusa Frameworkの講義実習 n n n n n n Asakusa Asakusa Asakusa Asakusa Asakusa Framework 概要 Framework 開発環境の準備 Data Model DSL Framework アプリケーションテスト ２⽇⽬ Asakusa Framework ハンズオン実習 n ハンズオン形式で実際にAsakusa Frameworkの導⼊からバッチのサンプルプログラムを 作成し、テストを⾏うまでを実習します n ハンズオンに必要なPC、受講に必要なテキスト等は、準備いたします n 毎⽉⼀回程度の開催 n 受講費⽤ n NAUTILUS 198,000円／１名 Copyright © 2016 Nautilus Technologies, Inc. All rights reserved. Proprietary & Confidential 44
© Copyright 2024 Paperzz
