OSSとビッグデータについて ～ディープラーニングの動向～ 2016/10/25 株式会社 日立ソリューションズ 技術開発本部 研究開発部 吉田 行男 © Hitachi Solutions, Ltd. 2016. All rights reserved. 0-1. 自己紹介 【経歴】 入社当時は、金融端末のソフトウェア開発に従事。 2000年頃より、Linux/OSSのビジネス開発を担当。 2012年より、オープンソース専門組織に所属。 【現在の業務】 OSSを活用したビジネス構築のための支援 • 新しい技術/OSSの発掘・評価検証 • ビジネス・ソリューションの立ち上げ支援 • 現在特にフォーカスしている領域： クラウド基盤(OpenStack, Spark)、 ビッグデータ(Hadoop、NoSQL)、 Enterprise(PostgreSQL, OpenCOBOL) 【社外活動】 日本OSS推進フォーラム 副理事長 兼 ビッグデータ部会長 オープンソースライセンス研究所 理事 OSSコンソーシアム 副会長 兼 クラウド部会リーダ OBCI(オープンソースビジネス推進協議会) 理事 他 © Hitachi Solutions, Ltd. 2016. All rights reserved. ※週刊OSSウオッチ(thinkIT) © Hitachi Solutions, Ltd. 2016. All rights reserved. ※より賢く活用するためのOSS最新動向(ZDNet Japan) © Hitachi Solutions, Ltd. 2016. All rights reserved. 1. ビッグデータビジネスの現状 © Hitachi Solutions, Ltd. 2016. All rights reserved. 1.ビッグデータビジネスの現状 2015年 国内ビッグデータテクノロジー／サービス市場規模は947 億7,600万円、前年比32.3%増の高成長 通信事業者やWebサービスプロバイダなど、先行導入者のストレージを中 心としたインフラへの支出が全体の50%を超える。 新規のプロジェクトではパブリッククラウドサービスの利用が急速 に伸張。今後も市場での存在感を増す ビッグデータ向けPaaSを含むソフトウェアセグメントが前年比40.8%を記録。 デジタルトランスフォーメーション(DX)の基盤として新たなビジネ スの基盤として活用が広がり、市場規模は年間平均成長率25.0% で拡大、2020年に2,889億円に達すると予測 テクノロジー企業から、一般エンタープライズに拡大。 出典：IDC「国内ビッグデータテクノロジー／サービス市場予測、2016年～2020年」 © Hitachi Solutions, Ltd. 2016. All rights reserved. ２．ビッグデータ関連OSS動向調査 © Hitachi Solutions, Ltd. 2016. All rights reserved. 2-1.ビッグデータ基盤を構成する機能 主に、様々なデータを「収集・検知」する機能、収集・検知したデータを「蓄積・貯蔵」する 機能、蓄積・貯蔵したデータを「分析」する機能から構成される データソース データ収集・検知 Webデータ クローラ 並列分散処理 売上情報など Apacheクローラ ManifoldCF Apache Nutch Apache Hadoop MapReduce Apache Hadoop YARN 並列分散処理 Apache Mesos Apache Spark Apache Tez 構造化データ （業務RDB） センサデータ データロード Apache データロード Sqoop Talend ビッグデータ蓄積・貯蔵・その他 データ蓄積ファイルシステム Apache Hadoop HDFS データ蓄積 Ceph ファイルシステム GlusterFS Lustre 収集 Apache 収集 Flume Fluentd 非構造化データ セキュリティ/認証 MITセキュリティ/認証 Kerberos OpenLDAP CEP システムログ 音声 画像 Apache S4 Apache Spark CEP Streaming Complex Event Apache Storm Processing Esper Drools Fusion Jubatus データ分析 解析ツール 機械学習 機械学習 MLib R言語 統計解析 統計解析 準リアルタイムクエリ Apache Drill Apache Hive 準リアルタイムクエリ Apache Spark SQL Impala データロード データロード Apache Sqoop BI/BAツール 分析用データ インメモリDB 高速化キャッシュ/スケールアウト Apache Cassandra MongoDB Apache Hbase インメモリDG/分散KVS Redis Infinispan Riak 定型業務DB DWH/ﾏｰﾄﾚｽDB 運用管理/監視 Hinemos Zabbix 運用管理/監視 © Hitachi Solutions, Ltd. 2016. All rights reserved. 2-2.ビッグデータ基盤を構成する機能へのソフトウェアマッピング ビッグデータ基盤をオープンソースをベースとして構成する事は十分に可能 ただし、個々のソフトウェアにおいて品質や成熟度が異なる為、見極めが必要 データソース データ収集・検知 Webデータ クローラ 並列分散処理 売上情報など Apache ManifoldCF Apache Nutch Apache Hadoop MapReduce Apache Hadoop YARN Apache Mesos Apache Spark Apache Tez 構造化データ （業務RDB） センサデータ 非構造化データ データロード Apache Sqoop Talend ビッグデータ蓄積・貯蔵・その他 データ蓄積ファイルシステム Apache Hadoop HDFS Ceph GlusterFS Lustre ElasticSearch 収集 Apache Flume Apache Kafka Fluentd セキュリティ/認証 MIT Kerberos OpenLDAP システムログ 音声 画像 解析ツール 機械学習 MLib 統計解析 R言語 準リアルタイムクエリ BI/BAツール Apache Drill Apache Hive Apache Spark SQL Impala データロード Apache Sqoop CEP データ分析 Pentaho JasperReports 分析用データ インメモリDB Apache S4 Apache Spark Streaming Apache Storm Esper Drools Fusion Jubatus VoltDB 高速化キャッシュ/スケールアウト インメモリDG/分散KVS Apache Cassandra Apache Hbase Infinispan MongoDB Redis Riak 定型業務RDB MySQL PostgreSQL DWH/ﾏｰﾄﾚｽDB ※OSSで著名なもの はない 運用管理/監視 Hinemos Zabbix © Hitachi Solutions, Ltd. 2016. All rights reserved. 2-3.動向把握のための調査項目 洗い出したビッグデータ関連OSSに対して、動向を把握するため以下の観点で調査を実施 開発の活発度 今日はここだけ コミッター数、コミット数、開発者向けメーリングリスト数 利用の活性度 利用者向けメーリングリスト数、書籍数、GitHubのスター数、Twitterのフォロアー数、 商用版・有償サポートの有無、利用実績 ソフトウェアの品質 バグ解決率、脆弱性、ソースコード品質（重複率、複雑度） © Hitachi Solutions, Ltd. 2016. All rights reserved. 2-4.動向調査における前提条件 利用実績 The Linux Foundation SI Forumの2015年度活用動向調査をもとに実施 商用版の有無 商用版の定義：コミュニティ版に対して、独自のパッチやツールを追加したもの。サポートも含 む。 「OSS名 商用」あるいは「OSS名 エンタープライズ」でgoogle検索。上位100件について調査 有償サポートの有無 サポートの定義としてはコミュニティ版についてQA対応、障害調査、性能調査などを有償にて 提供しているもの 「OSS名 サポート」でgoogle検索。上位100位について調査。 ※商用版の有無、有償サポートの有無の調査においては2016/1/5～1/11に実施した結果 です。また別名として提供しているものを含みます。 ex. PostgreSQL ⇒ 商用 PowerGres © Hitachi Solutions, Ltd. 2016. All rights reserved. 開発の活性度 そのソフトウェアは活発に開発されていますか？ © Hitachi Solutions, Ltd. 2016. All rights reserved. 2-5.コミッター数の推移（月ごと） Apache Sparkが2014年頃から急成長 Apache Spark Talend © Hitachi Solutions, Ltd. 2016. All rights reserved. 2-8.月平均コミッター数（横軸）と年平均成長率（縦軸） 開発者の数は まだまだ少ないが 急増中 開発者の数も多く ますます増加中 ※軸中の縦横の赤線は平均値であり、 他の2軸分析においても同様 © Hitachi Solutions, Ltd. 2016. All rights reserved. 2-9.コミット数の推移 Elasticsearchの開発が活性化 コミッター数の増加に比例してApache Sparkの開発も活発 Elasticsearch Apache Spark © Hitachi Solutions, Ltd. 2016. All rights reserved. 2-11.コミッター数（縦軸）とコミット数（横軸）の相関 開発者の数も多く 開発も活発 開発者の数は 比較的少ないが 開発は非常に活性 © Hitachi Solutions, Ltd. 2016. All rights reserved. 2-13.月平均コミット数（横軸）と稼働率（縦軸）の関係 稼働率が高く 開発も活発 （コツコツやるタイプ） 稼働率はあまり高くないが 開発は活発 （一気にやるタイプ） © Hitachi Solutions, Ltd. 2016. All rights reserved. 2-14.開発者向けメーリングリストの流量推移 2006年～2009年にかけてApache Hadoopの議論が活性化 最近はApache HiveやApache Storm、Apache Kafkaの議論が活発 Apache Hive Apache Hadoop Apache Storm Apache Kafka © Hitachi Solutions, Ltd. 2016. All rights reserved. 2-15.開発者向けメーリングリストの月平均流量（2015年） Apache KafkaやApache Stormの議論が活性化 Apache Hiveは2014年をピークとして2015年は落ち着いている模様 開発は活性化しているが メーリングリストベースの議論は あまり多くない © Hitachi Solutions, Ltd. 2016. All rights reserved. 2-16.コミット数（横軸）とメールでの議論量（縦軸）の関係 実践よりも まずは議論 議論よりも実践 © Hitachi Solutions, Ltd. 2016. All rights reserved. 2-19. Top1（横軸）とTop1～5（縦軸）の関係 少人数先導型開発 主導型開発 開発が活性化しているプロジェクトは コミュニティ型開発が多い （やはりコミュニティは大事！） コミュニティ型開発 © Hitachi Solutions, Ltd. 2016. All rights reserved. まとめ © Hitachi Solutions, Ltd. 2016. All rights reserved. 2-20.ちなみに昨年のまとめは… この様な感じでした © Hitachi Solutions, Ltd. 2016. All rights reserved. 2-21.昨年と同じ軸でまとめてみると… エンタープライズ適用領域 導入実績多数 導入実績あり 検証実績多数 新技術 ウォッチ領域 昨年「新技術ウォッチ領域」であったVoltDB、 Apache Sparkは順調に成長 Apache Sparkは一気に「エンタープライズ適用領域へ」 先行検討/アーリーアダプト領域 検証実績あり ランク外 © Hitachi Solutions, Ltd. 2016. All rights reserved. 2-22.所感 ビッグデータ基盤をオープンソースで構築することは充分に可能となってきている 有償サービスも揃いつつある ただし、機能や品質の見極めは当然必要 Apache Sparkとそのエコシステムは開発、利用ともに活発度が高い ElasticsearchはGitコミット日の割合が91%程度でとても開発が活発 MongoDBやCephはこの領域では比較的安定期に入りつつある →ただし、状況は変化しており今後も継続的なウォッチが必要 © Hitachi Solutions, Ltd. 2016. All rights reserved. 3. ディープラーニングとは © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-1. Deep Learningとは • Deep Learningは機械学習の手法の一種 層が深く、幅が広いニューラルネットワークを使用する • 何ができるのか？ 画像認識、音声認識など 様々な種類のニューラルネットが存在し、適用領域が異なる 従来の機械学習を用いたシステムより精度が高い 特に画像認識、音声認 識によく使われている 名称 略記 主な適用領域 畳み込みニューラルネットワーク(Convolutional Neural Network) CNN 画像認識 再帰ニューラルネットワーク(Recurrent Neural Network) RNN 音声認識、動画認識、自然言語処理 長期短期記憶(Long Short-Term Memory) LSTM 音声認識、動画認識、自然言語処理 DBN 属性分類 深層信念ネットワーク(Deep Belief Network) 深層ボルツマンマシン(Deep Boltzmann Machine) DBM 属性分類 DAE 特徴抽出 オートエンコーダ(Deep Auto Encoder) RBM 特徴抽出、属性分類、自然言語処理 制約付きボルツマンマシン(Restricted Boltzmann Machine) © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-2. 機械学習とは コンピューターの振舞い方（モデル）を （大量の）データから学習する事により獲得 手続き型 処理 解 決 す る 問 題 分類 ア ル ゴ リ ズ ム データ プログラム 回帰（Regression） 株価予測など 処理 機械学習 学習モデル データ 学習器 分類（Classification） 迷惑メールフィルタなど 教師あり学習 ・線形モデル（単/重回帰） ・判別分析 ・決定木 ・サポートベクターマシン ・ニューラルネットワーク データ 処理 クラスタリング 迷惑メールフィルタなど 教師なし学習 ・ロジスティック回帰 ・K近傍法 ・ナイーブベイズ ・ランダムフォレスト ・k-meansクラスタリング ・階層的クラスタリング ・Apriori ・One-Class SVM © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-3. 機械学習の適用領域 • 様々な領域への適用が期待されている 大分類 認識・識別 予測 判断・実行 小分類 対象、具体例（未実現のものを含む） 音声認識 言語判別、文字起こし、性別、年齢、感情判別、動物の鳴き声、雑音除去 文字認識 手書き文字認識、言語、筆跡 画像認識 顔、人物、動物、物体、風景・背景、スタイル・画風 パターン認識 マークシート、凹凸、色、傾向 数値予測 売上・需要予測、経済指標予測、人口動態、株式・投資・不動産の値動き、 金利、保険リスク、天候・災害（地震・津波）、発がん・発症リスク評価 ニーズ・意図予測 個人の関心・興味の予測 マッチング 商品レコメンド、検索連動広告 判断 画像仕分け・整理、画像タグ付け（人、物、場所、場面） 迷惑メールフィルタ、侵入検知システム、機器監視、指名手配犯、行方不明 者、不審者検知、病気の診断、処方箋の発行、スポーツの審判 表現作成 自動翻訳、要約、文書作成、作曲、描画、イラスト作成 デザイン作成 チャート作成、ロゴ、サイトデザイン、薬の分子デザイン 行動の最適化 ゲームの攻略、配送経路の最適化、出店場所の最適化、パーソナライズ医療 行動の自動化 Q&A 自動応答、クレーム処理、車の自動運転、 自動審査、融資、自動入札、投資、SEOの自動調整、 郵便物 仕分け、宅配物 仕分け、書類の受理・差戻 © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-4. ニューラルネットワークとは • 人間の脳の神経回路の仕組みを模したモデル • ニューラルネットワークを利用した手書き文字認識の例 © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-5. なぜ今ディープラーニングなのか • 第三次人工知能（AI）ブームの火付け役 – SuperVision：画像認識の精度を格段に向上させる (2012) • Large Scale Visual Recognition Challenge 2012で圧倒的勝利 – Google：猫を教師なしで認識させる(2012) • 100億個のニューラルネットワークを1,000台のマシンで3日かけて解析 世界がディープラーニングの 有効性を再認識＆実現可能性を認識 • 「実現可能性を認識」とは – 学習には多大なコンピューターリソースが必要 ⇒コンピューターの計算能力向上により現実的なものとなった – 学習には大量の（学習用）データが必要 ⇒インターネットの発展により学習データの入手が容易になった © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-6. なぜディープラーニングなのか（日本の事 情） • 機械学習 販売促進やマーケティングと相性が良い Google、Amazon、Facebookなどで既に市場が形成されており 日本企業の逆転は難しい • ディープラーニング 認識や運動を伴う為、センサーやアクチュエータなど日本の製造業が 得意とする分野との関係が深い 日本は少子高齢化の傾向にある為、運動を代替する市場ニーズが高い 農業、介護、熟練工の後継者問題、など 東京大学 松尾 豊 特任準教授の資料を元に一部加工 © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-7. 機械学習とディープラーニングの違い • ディープラーニングは「モラベックのパラドックス（1988）」を崩した モラベックのパラドックス＝「子供のできることほど難しい」 • なぜこのパラドックスが存在したか 「特徴量（注目すべき要素）の抽出」こそが最も難しい処理であった為 ディープラーニングは「特徴量の抽出」を自動化 人工知能以前 昔の人工知能 機械学習 ディープラーニング 知的処理 知的処理 知的処理 知的処理 要素間の 関係の記述 要素間の 関係の記述 要素間の 関係の記述 要素間の 関係の記述 注目すべき 要素の発見 注目すべき 要素の発見 注目すべき 要素の発見 注目すべき 要素の発見 現実世界 © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-8. 各企業のディープラーニングへの取り組み 企業名 Google 取り組み 2012年6月 2012年 2014年 2015年7月 2015年10月 2015年11月 スタンフォード大学との共同研究である「Google Brain」はサーバ1,000台 （16,000コア）を使い、3日間の学習により猫の概念を獲得したと発表。 自動運転車を開発し、米一部の州で公道走行の許可を取得。 GPS、レーザカメラ、レーザスキャナを搭載し、道路情報を識別。 Deepmind社を5億ドルで買収。Facebookに競り勝つ。 Gmailのスパムフィルターにニューラルネットワークを採用したと発表。 検索エンジンに機械学習を用いた人工知能システム「RankBrain」を採用。 機械学習システム「TensorFlow」をOSSとして公開。 2015年1月 自動顔認識によるタグ付けサジェスト機能「Tag Suggestions」を発表。 人工知能研究ラボ「Facebook AI Research（FAIR）」を設立。 顔認識技術「DeepFace」の顔の画像識別精度は97.25％で、 人間（97.53％）とほぼ互角のレベルを持つと発表。 ディープラーニング開発環境「Torch7」をOSSとして公開。 Microsoft 2015年4月 2015年8月 2015年11月 （時期不明） 画像に写った人物の年齢を判断する「how-old.net」サービスを公開。 女子高生AIチャットシステム「りんな」の提供を開始。 顔写真から感情を分析する開発者向けツール「Emotion API」を発表。 検索エンジン「Bing」でディープラーニング技術を利用。 Apple 2011年10月 2015年10月 iPhone 4Sに「Siri」を搭載することを発表。 英VocalIQ社（音声認識技術）、米Perceptio社（画像認識技術）を買収。 自動運転車「Apple Car」の開発を強化の兆候あり。 Facebook 2010年7月 2013年12月 2014年3月 © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-9. 各企業のディープラーニングへの取り組み 企業名 取り組み IBM 1997年 2010年 2014年6月 2014年12月 2015年11月 チェス専用コンピュータ「Deep Blue」が人間の世界チャンピオンに勝利。 質問応答システム「Watson」がクイズ番組で世界チャンピオンに勝利。 レシピ考案サービス「Chef Watson」のβ版を公開。 クラウドベースの解析サービス「Watson Analytics」のβ版を公開。 Watsonが搭載された新たなフィットネスアプリを発表。 SoftBank 2014年6月 2015年6月 2016年3月 表情・音声から人間の感情を認識して学習出来るロボット「Pepper」を発表。 「Pepper」一般販売開始。 IBM Watsonを活用し、食事や運動メニューを提案してくれるヘルスケア サービスを開始予定。 Yahoo 2015年5月 （時期不明） 音声認識サービス「YJVOICE」にディープラーニングの仕組みを導入。 Flickr画像検索が学習能力のある画像検索を利用。 ドワンゴ 2014年10月 2015年9月 ドワンゴ人工知能研究所設立。 ディープラーニング専用GPUサーバーファーム「紅莉栖（くりす）」の 無償貸出を開始。 Baidu 2013年4月 2014年 2014年 2015年 シリコンバレーに人工知能開発研究センターを設置。 「Google Brain」の責任者を務めていた元GoogleのAndrew Ng氏が入社。 音声認識技術「Deep speech」を発表。 BMWと提携し自動運転車を共同開発。 3年で自動運転バスの実用化を目指す。 © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-10. 有名なディープラーニングのアルゴリズム 種類 全結合型 順伝播 学習方法 対応領域 教師あり 主に音声認識 ロジスティック回帰を多層化したもの。中間層がす べて全結合層となっている。 教師あり 画像認識 自然言語処理 生物学的処理に影響されたモデルであり、少ない 事前処理で済むよう設計された多層パーセプトロ ンの一種。 画像や動画認識に広く使われている 教師あり 動画の分類 自然言語処理 音声認識 ロボット行動制御 唯一中間層への自己フィードバックができる点が 特徴で、系列データへの対応と応用範囲が広い。 現在、世界中の研究機関が注目しており、ディー プラーニングによる世界最先端の研究課題となっ ている 教師なし 画像認識 音声認識 Hinton教授が使用しディープラーニングが有名に なるきっかけとなったモデル。中間層の中の層同 士の関係が確率モデルで記述される 教師なし ノイズ除去 次元削減 その名の通り、入力データを再現（デコード）する ことが可能な低次元の特徴を抽出（エンコード）で きる Feed Forward 畳み込み ニューラル ネットワーク Convolutional Neural Network (CNN) リカレント ニューラル ネットワーク Recurrent Neural Network (RNN) ボルツマンマシン Boltzmann Machine オートエンコーダ AutoEncoder 特徴・動向など © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-11. 代表的なオープンソースの比較 開発元 製品名 言語 対応 領域 BVLC C++ 画像 BSD License、2013/10、CPU/GPU対応、 登場時期が早いOSSで、画像に特化。高速だが柔軟性 が低い。CNNに向くがRNNの記述難易度が高い Facebook社 C Lua 画像 音声 テキスト BSD License、2015/1にOSS化、開発は10年前から と言われている。CPU/GPU対応、 CNN、RNNに対応。様々なサンプルコードあり Python 画像 音声 テキスト MIT License、2015/6、CPU/GPU対応、 日本人開発者、日本語ドキュメントあり 柔軟性が高く、CNN、RNNの記述に対応する Skymind社 Java 画像 音声 テキスト Apache License、2014/2、CPU/GPU対応、 数少ない企業のサポートを受けれる製品 日本語ドキュメントあり。CNN、RNNに対応 Google社 C++ Python 画像 音声 テキスト Apache License、2015/11にOSS化、CPU/GPU対 応。登場したばかりだが、圧倒的人気を誇る CNN、RNNに対応 Caffe Torch7 Preferred Networks, Inc Chainer Deeplearning4j TensorFlow ライセンス、初版リリース日、機能、特徴など © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-12. 開発状況の比較 後発ながらTensorFlowの開発がもっとも活性化 各製品のコミット数の推移（2015年7月～2016年6月） 各製品のコミッター数の推移（2015年7月～2016年6月） © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-13. 検証環境 OS Ubuntu 14.04 仮想マシン CPU 1コア 2.4GHz メモリ 2GB ソフトウェア Python 2.7.6 Caffe （master） Chainer 1.9.1 TensorFlow 0.9.0 © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-14. 検証モデル MNIST 手書きの数字 0～9 に正解ラベルが与えられているデータセット •各手書き数字は、28ピクセル×28ピクセルの画像として提供 •各画像に対し、正解となるラベルデータも一緒に提供 •画像は、計70,000枚を提供（学習用60,000枚、テスト用10,000枚） 機械学習／ディープラーニング界の「Hello World」（最も一般的なモデル） 28ピクセル 28 ピ ク セ ル … 70,000枚 © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-15. ニューラルネットワークの構成 Caffeの公式MNISTサンプルにあわせて修正 MNIST データセット 4 3 2 1 畳み込み層#1 フィルタ 20枚（5×5） 手書き文字画像 （28×28 60,000枚） ストライド 1 画像サイズ 24×24 全結合層 出力層 0 1 2 3 … … … 500ユニット 10ユニット プーリング層#1 畳み込み層#2 MAXプーリング（2×2） フィルタ 50枚（5×5） ストライド2 ストライド1 画像サイズ 12×12 画像サイズ 8×8 プーリング層#2 MAXプーリング（2×2） ストライド2 画像サイズ4×4 Convolutional Neural Network(CNN)モデル 中間2層（畳み込み・プーリング層×2） 最適化手法：SGD ドロップアウト率：0.5（全結合層） 活性化関数：ReLU,Sigmoid,TanH（畳み込み2層・全結合層） Caffeサンプル https://github.com/BVLC/caffe/tree/master/examples/mnist Chainerサンプル https://github.com/pfnet/chainer/archive/v1.9.1.tar.gz TensorFlowサンプル https://www.tensorflow.org/versions/master/tutorials/mnist/pros/index.html © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-16. 検証条件(①) 「学習回数」の変化に伴う学習時間・正答率を測定 回数 学習率 ミニバッチ 活性化関数 最適化手法 2,000 0.01 100 ReLU SGD 4,000 0.01 100 ReLU SGD 6,000 0.01 100 ReLU SGD 8,000 0.01 100 ReLU SGD 10,000 0.01 100 ReLU SGD © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-17. 検証条件(②) 「学習率」の変化に伴う学習時間・正答率を測定 回数 学習率 ミニバッチ 活性化関数 最適化手法 10,000 0.0001 100 ReLU SGD 10,000 0.0005 100 ReLU SGD 10,000 0.001 100 ReLU SGD 10,000 0.005 100 ReLU SGD 10,000 0.01 100 ReLU SGD 10,000 0.05 100 ReLU SGD 10,000 0.1 100 ReLU SGD 10,000 0.5 100 ReLU SGD © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-18.検証条件(③) 「活性化関数」の種類に伴う学習時間・正答率を測定 回数 学習率 ミニバッチ 活性化関数 最適化手法 2,000 0.01 100 Sigmoid SGD 4,000 0.01 100 Sigmoid SGD 6,000 0.01 100 Sigmoid SGD 8,000 0.01 100 Sigmoid SGD 10,000 0.01 100 Sigmoid SGD 2,000 0.01 100 TanH SGD 4,000 0.01 100 TanH SGD 6,000 0.01 100 TanH SGD 8,000 0.01 100 TanH SGD 10,000 0.01 100 TanH SGD © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-19. 学習回数による学習時間の変化 学習時間は、学習回数に単純比例 Caffe：約2分30秒/1,000回、 Chainer：約10分50秒/1,000回（学習回数 6,000回まで）、TensorFlow：約10分30秒/1,000回 © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-20. 学習回数による学習・テスト時の正答率の変化 • 学習回数が増加するにつれ、テスト正答率が順調に向上 – TensorFlow は、テスト正答率が学習回数8,000を超えたあたりで頭打ち – Chainerは、学習回数を増やせばテスト正答率向上の可能性有 © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-21. 学習回数による学習・テスト時の損失の変化 • 学習回数が増加するにつれ、テスト損失が順調に低下 – TensorFlowは、テスト正答率が、学習回数8,000を超えたあたりで頭打ちとなって いたが、テスト損失は順調に低下 © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-22. 学習回数による学習時の正答率の変化 • Caffe、Chainerは、学習が進むにつれ、正答率が向上 – Chainerは、学習が収束しておらず学習回数を増やせば正答率向上の可能性有 – TensorFlowは、学習の収束が速く、少ない学習回数で正答率が高い © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-23. 学習回数による学習時の損失の変化 • 学習が進むにつれ、学習損失が順調に低下 Chainerは収束が遅く、損失が大きい TensorFlowは収束が速く、損失が少ない © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-24. 学習率による学習時間の変化 • 学習時間は、学習率によらずほぼ一定 Caffe：約24分/10,000回、Chainer：約119分/10,000回、 TensorFlow：約102分/10,000回 学習失敗（後述） 学習失敗（後述） © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-25. 学習率による学習・テスト時の正答率の変 化 • 学習率が大きくなるにつれ、学習・テスト時の正答率が順調に増加 Caffeは、学習率 0.05 より大きくすると学習に失敗 Chainer、TensorFlowは、学習率 0.1 より大きくすると学習に失敗 10.40% 10.09% 10.28% 10.23% 10.21% 9.00% © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-26. 学習率による学習・テスト時の損失の変化 • 学習率が大きくなるにつれ、学習・テスト時の損失が順調に低下 Caffeは、学習率 0.05 より大きくすると学習に失敗（Nan出力） Chainer、TensorFlowは、学習率 0.1 より大きくすると学習に失敗 82.742 65.146 © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-27. 活性化関数による学習時間の変化 • 学習時間は、学習回数に単純比例 Caffe：約5分/10,000回、 Chainer：約22分/10,000回（学習回数6,000回まで）、 TensorFlow：約21分/10,000回 © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-28. 関数によるテスト時の正答率の変化 • 全体的にReLU関数>TanH関数>Sigmoid関数の順に正答率が高い – Caffe、TensorFlowは、ReLU関数を使用した場合に他関数よりも正答率が高い – Chainerは、全ての関数でほぼ同等の正答率 © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-29. 関数による損失の変化 • 全体的にReLU関数>TanH関数>Sigmoid関数の順に損失が小さい – Caffe、TensorFlowは、ReLU関数を使用した場合に他関数よりも損失が小さい – Chainerは、全ての関数でほぼ同等の損失 © Hitachi Solutions, Ltd. 2016. All rights reserved. 3-30.考察 • 本日、ご紹介した資料は、調査途中の資料です。 今年度末(2017/3)に向けて更なる調査を実施しますので、 ご期待ください。 © Hitachi Solutions, Ltd. 2016. All rights reserved. ご清聴ありがとうございました。 •その他、本資料に記載の会社名、製品またはサービス名は、それぞれの会社の商標または登録商標です。 © Hitachi Solutions, Ltd. 2016. All rights reserved. END OSSとビッグデータについて ～ディープラーニングの動向～ 2016/10/25 株式会社 日立ソリューションズ 技術開発本部 研究開発部 吉田 行男 © Hitachi Solutions, Ltd. 2016. All rights reserved.
© Copyright 2024 Paperzz
