計測フロンティア研究部門システム検証技術を社会へ組込みシステム産業の検証技術高度化支援大崎人士産業技術総合研究所 1 計測フロンティア研究部門組込みシステム産業を取り巻く問題脱化石燃料化グローバル化複雑化国際分業化組込みソフト開発費組込みソフトウェア産業活性化プラン 2.1兆円 → 4.2兆円 (2004) (2009) 国産化地域化上流化全体最適化情報通信白書外部開発委託６３６億円→1995億円 (2005) 設計約20% 検証約50% 急増ツール依存度欧米主導人材不足企業企業重点的に育成すべきキャリアプロダクトマネージャ空洞化経済流出 (2010) 事業事業（ドメイン）（ドメイン）（ハイレベル）プロジェクト横断 QA スペシャリスト開発プロセス改善スペシャリスト開発環境エンジニアプロダクトドメインスペシャリスト高コストマネージャプロジェクトプロジェクト（ミドルレベル）（製品システム）（製品システム）システムアーキテクト育成プロジェクトプロジェクトプロジェクトマネージャ（ソフトウェア）（ソフトウェア）ブリッジSE 機能モジュール機能モジュールソフトウェアエンジニアテストエンジニア 2 計測フロンティア研究部門ソフトウェアは悪ものか？複雑化大規模化ソフトウェア 58.8% おもな不具合原因組込みソフトウェア産業実態調査報告書（2010）車載組込みシステムのコード量は10年で10倍(≒1.25^10) 電動サスペンション ABS VSC（横滑り防止）電動パーキングブレーキ自動防眩バックミラー駆動用モータ回生ブレーキ組込みネットワーク電動ミラーワイパーエアコン用ブロア、ルーバエアコン用コンプレッサアクティブフロントステアリング AFS ヘッドランプクリーナーパワーシート後軸ステアリング後輪駆動電動サンルーフアンテナリフト電動テールゲート電動ドアパワーウインドウシートベルト・プリテンショナー 3 コード量（新規開発と既存部分の）合計計測フロンティア研究部門仕様から品質低下が始まる ■ 背景大規模化する鉄道システム。駅務機器（改札機等）も大規模化、複雑化。駅務機器 ■ 問題点寿命の長い駅務機器は、仕様の品質維持が課題。 ■ 形式手法の仕様への適用とその効果対象となる駅：1500駅程度対象となる路線：120路線効果1 暗黙知の明示化駅務処理仕様書明文化されていない知識外部データ 6400行 (自然言語) 効果5 テスト工程で利用しコストダウン要求形式記述暗黙知共通ルール (仕様書) 特殊ルール (仕様書) 外部データ 1400行 (VDM++) 1400行 (VDM++) 6600行 (VDM++) 80万行相当 (VDM++) 要求分析効果4 上流の品質向上効果2 仕様書の構造化効果3 仕様書の不備発見形式記述した仕様書実装 4 システムテスト単体・結合テスト設計ユーザーテスト計測フロンティア研究部門ささい些細なリスク要因に開発の成否が左右されるピークコストが許容上限を超えるコスト許容上限要求ピークコスト減少開発のリスク軽減ユーザーテストシステムテスト要求分析設計結合テスト詳細設計単体テスト実装現状目標時間上流工程の品質向上製品の品質低下を防ぐ 5 計測フロンティア研究部門その負荷テストは妥当か？ ■ 背景 AUTOSAR 準拠の車載OS検証技術の研究開発 * 企業との共同研究(2010.4～2012.3) ■ 問題点負荷テストの妥当性：保証内容が不明 * 負荷テスト：テストケースを入力し、割込みランダムに発生させつつ一定時間動作させ続け、異常停止しないかを観察するテスト。 1. テスト入力の妥当性 2. 観察方法の妥当性出力技術者の勘と経験に依存内部での動作状況が不明観察入力スマート負荷テストフィーチャ指向テスティング（FOT）車載 OS （実機）詳細なテスト実施報告が可能な環境ランダム割込み発生 6 計測フロンティア研究部門 FOT (Feature Oriented Testing） ■ OS テスト設計の難しい点とその解決法 1. 振舞いが複雑 → 機能 ⇒ 要求工学のゴール分析状況 ⇒ プロダクトライン工学のフィーチャ分析 2. テストケースを手動作成 → 数理モデルによる自動化 FOTによる AUTOSAR テスト設計例ツール化 7 7 計測フロンティア研究部門 Before 重複漏れテスト関心事手動生成技術現状のテスト設計イメージ車載 OS 者：テストすべき箇所：テストの実行 1. 保証内容の明示化テスト関心事自動生成分析 FOTを用いたテスト設計イメージ技術者 FOTによるテスト設計 3. テストケース生成自動 After （FOT を用いた負荷テスト） 8 2. テスト漏れ・重複の回避車載 O S 計測フロンティア研究部門「最先端治療」としての「形式手法」大学病院 = 研究所・研究室難病治療少ない公開情報病気 = 不具合効果の有無 (実験では有効だが…) 治療専門家は専門の事しか興味ない予防偏った情報源町のお医者さん = ツール、商用サービス最先端治療コストの見積り導入・運用にリスク難しい 9 = 形式手法計測フロンティア研究部門形式手法に何を求めるのか品質すべてを満足する唯一の方法はないコストリスク伝統的な形式手法規格の中の形式手法モダン形式手法適用の仕方には言及しない単機能化してより広範囲へ適用 10 計測フロンティア研究部門技術マップ自動検証対話型検証モデル検査定理証明 SPIN SMV Isabelle/HOL UPPAAL Coq PVS Agda 抽象実行を伴う静的解析 Coverity Klocwork 制約解消 SAT SMT QBF テスト・シミュレーション形式記述 VDM B 仕様（アーキテクチャ）記述 Matlab SCADE Simulink Z ZIPC UML AADL モデリング 11 SysML テスト生成 TVEC 計測フロンティア研究部門モデル検査・モデルの振舞いを総当たり的に検査法・ソフトウェアを検査対象とする場合、モデル ← 設計仕様書やソースコード検査式 ← 要求仕様や要件定義 if (a<0) { ・・・ } x++; ・モデル検査ツールごとに仕様記述言語状態爆発と抽象化青、青点滅、赤車信号（34）×歩行者信号（38）×押ボタン（28）抽象化車信号（32）×歩行者信号（32） 12 計測フロンティア研究部門モデル検査の３つの工程モデル化教科書に書いてないモデル検査の常識 if (a<0) { ・・・ } x++; 反例解析検査式作成まれ・「モデル化」「検査式作成」「反例解析」の手順で行くのは稀・検査コストは反例解析＞＞モデル化 > 検査式作成の順・不具合発見はモデル化＞＞反例解析の順 13 モデル化だけでも効果大計測フロンティア研究部門モデル検査の難しさは検査式を作る難しさＰ (init) Ｐ (init) ◇P : いつか P が成り立つ □P : ずっと P が成り立つＰＰ (init) いつでもいつか P が成り立ついつかはずっと P が成り立つ視点 (不定，固定) 結果時点「～が成り立つ」図示記法スイッチA押下するとリセット □（P→◇Q) Q 条件「～のときは」 P © AIST 14 □◇P，◇□P どう違う？計測フロンティア研究部門ふと、立ち止まって考えてみる ① システムからモデルを作る ④ システム上でテストケースを実行する ② モデルから抽象テストケースを作る ③ 抽象テストケースから実行用テストケースを作る Model-based testing (Wikipedia http://en.wikipedia.org/wiki/Model-based_testing) 15 計測フロンティア研究部門形式手法の産業界応用のために • システム検証研究ラボ（2003）、システム検証研究センター（2004-2009）を経て、組込みシステム技術連携研究体（2008現在）まで、形式手法にもとづく最先端のシステム検証技術を産業界へ適用する事例研究を実施。 • 2003年からの８年間で企業との共同研究は20事例を超え、世界レベルの実績。 • 検証対象は、組込みシステム、業務アプリケーション、通信プロトコルなどと広範囲で、検証手法も、形式手法を基盤としたモデル検査、定理証明、モデル指向テスト、それらのハイブリット技術など、様々。 • 検証対象は組込み分野を中心とした様々なシステムの上位仕様からソースコードまでの広範囲。 • 研究成果や検証事例は、あらゆる機会を通じて情報発信。（右図）検証事例報告集 16 各種セミナー・ワークショップ書籍計測フロンティア研究部門検証サービス • 「組込みシステム検証施設整備事業」（経産省）としてクラスタシステムの建設を2007年に計画。 • 2009年6月から試験運用を開始。 • 2010年7月から組込みシステム産業振興機構との合同事業「開発支援事業（右図）」の中で検証サービスを支える基幹システムとして活用。 • 2011年1月から「さつき」をもちいた検証サービス（有料）を提供開始。 • 2011年6月以降、「検証サービス」「さつき利用」を分離予定。利用者の目的に応じて組合せ自由なサービスに。検証クラスター「さつき」の構成環境1）モデル検査やSATソルバーなど大容量のメモリーを使用する検証向けの環境ソフトウェア環境大容量メモリークラスター (Thin Node Cluster) グループメモリー CPU クロック X 3.0GHz Y 2.9GHz 総数通信 OS 台数コア数 16 Linux 検証ツール 256GB 10G 64 1TB 10G 480 10TB 28 3 31 SAT ソルバー minisat2 pmsat sat4j 環境2）ネットワークで接続された多数の機器の動作テストなどに適した環境モデル検査 NuSMV 大規模演算クラスター (Thin Node Cluster) グループメモリー CPU クロック通信 spin 台数コア数 divine prism A 3.3GHz 2 8GB 1G 112 B 3.0GHz 8 24GB 1G 16 agda C 3.0GHz 8 48GB 1G 16 数理的仕様記述 480 2TB 総数 144 プルーフアシスタント vdmtool 17 計測フロンティア研究部門技術を社会へ産総研関西センター組込みシステム技術連携研究体【産総研関西センター】・形式手法を産業へ最先端応用 - 世界有数の検証事例の蓄積 - 検証施設「さつき」の産業利用 - 日本語モデル検査教材はじめ検証教材の独自開発【大学】【メーカー】・ソフトウェア工学の研究者が多い・産業の集積化 - 教育カリキュラム，教材の充実 - 受発注が地域で完結・ “実”学主義 - 開発拠点の関西集積化 - 産業界のニーズに合った人材の輩出・高度開発人材の獲得に有利【地域組織(横串)】・組込みシステム産業振興機構 18 「平成22年度新成長産業分野IT経営モデル事業調査報告書関西における組込みシステム産業競争力強化に向けて」（近経局）計測フロンティア研究部門組込みシステム産業振興機構組込みソフト産業推進会議で３年間、検討・展開してきた成果を、更に具体的な事業として深化・発展させ、発注側と受注者双方に実効のある事業展開により、将来的な産業集積化を実現していくための、新たなプラットフォーム。組込みシステム産業振興機構組込みソフト産業推進会議総会総会副理事長理事会理事会幹事会第１部会ダイキン工業シャープパナソニック西日本電信電話代表取締役会長兼CEO 代表取締役会長代表取締役副会長相談役井上礼之町田勝彦松下正幸森下俊三高度組込みソフト技術者育成プログラム検討部会ＷＧ第２部会理事長情報通信研究機構宮原秀夫企画運営委員会 STC（Software Training Center）検討部会機構全体の戦略立案や広報活動を実施する。事業推進部会の運営を行う。ＷＧ第４部会組込みソフト開発機構検討部会会員教育事業推進部会ＷＧＷＧＷＧＷＧ第５部会資格認定評価制度検討部会第０部会組込みソフト開発機構設立検討部会開発支援事業推進部会支援関西経済連合会 19 教育事業、開発支援事業により提供するサービスの企画・運営を行う。ＷＧ参画アジア開発リソース検討部会参画第３部会会員 74団体 (52企業) 支援協力関西経済連合会産業技術総合研究所計測フロンティア研究部門教育事業推進部会 ◆ 組込みシステム技術者の輩出に向けた人材育成サービスの提供 ◆ 会員企業のニーズに合致した教育カリキュラムの企画 ◆ 組込みシステム技術者の育成に関する会員への情報提供重点目標（具体的な取り組み内容）「組込み適塾」による高度組込みシステム技術者の輩出および「指導者育成研修」による初・中級の組込みシステム技術者の裾野拡大を図る。 ⇒ 各研修のアンケート結果を元に、カリキュラムや運営方法の見直しを行うことで、質の高い人材育成サービスへと改善する。また、会員ニーズに基づいた新たなカリキュラムの企画を行う。組込みシステム技術者育成をテーマに、先進的な事例や他団体における取組みなど、講演会等を通じて会員へ情報提供を行う。組込み適塾（1）6月23日から8月9日まで23日間、23科目の講義を実施 ⇒本年度は、マネージメントに関する科目を追加（2）23名を輩出（参考 2009年度：22名 2008年度：30名）修了式 ◆ 実践演習コース講義風景実践的モデル検査・・産業技術総合研究所／大阪学院大学・9月1日より3日間、4名が受講関澤先生実践的クラス設計演習（アンドロイド）・・兵庫県立大学・8月25日より週1回、計6日間、5名が受講中本先生リバースエンジニアリング＆リファクタリング・・大阪市立大学・9月10日より週1回、計6日間、4名が受講 20 柳原先生計測フロンティア研究部門開発支援事業推進部会 ◆ 組込みシステム開発におけるQCD向上、受発注の活性化、企業育成に資する開発支援サービスの企画検討及び提供 ◆ 組込みシステム産業における技術動向、トレンドなどに関する会員への情報提供重点目標（具体的な取り組み内容）「組込みソフト開発の品質向上や受発注機会の拡大につながるサービス」を提供し、組込みシステム開発におけるQCD向上、受発注の活性化、企業育成を行う。各サービスの提供状況、会員からの要望などを元に、各サービスの見直しや新たなサービスを企画し、効果の高い開発支援サービスの提供を行う。組込みシステム開発、ビジネスマッチング、企業育成などをテーマに先進的な開発手法や他団体における取り組み等に関する講演会を開催し、会員へ情報提供を行う。 ◆ 推進会議（3年間）で顕在化した課題について、具体的な活動へと展開を検討するWGを設立 ◆ 新たに機構にて提案された組込みソフト製品に関する認証ビジネスを検討するWGを新設【課題】・ツールを用いた開発支援（保有型）・事業共同組合マッチング開発サービス検討WG （主査：産業技術総合研究所大崎）事業共同組合設立検討WG （主査：グローバルサイバーグループ辰巳）・シーズ・ニーズマッチング・人材マッチング企業マッチング検討WG （主査：コア西山氏）・資格認定制度運用アジア諸国との連携共創WG（主査：システムセンター・ナノ吉田）・海外進出サポート組込みソフト製品認証WG （主査：iTest 上島） 21 計測フロンティア研究部門開発サービス検討WGの担当事業（抜粋） ◆「さつき」による検証サービス（産業技術総合研究所）産業技術総合研究所関西センターの検証施設「さつき」を利用した高度な検証サービス。大容量メモリ高速演算クラスタと大規模演算クラスタを利用することで、従来不可能であった大規模なモデル検査が実施可能。機構会員が利用する場合には、利用期間やコスト面でのメリットがある。組込みシステム産業振興機構 ●「さつき」利用サポート・受付・講習会開催共同研究契約研究資金一括提供産総研関西センター ●「さつき」による検証・検証計画・検証実施 ●施設維持管理契約会員 ◆ ツールを用いた開発支援（富士通ミドルウェア、シー・イー・シー、ベリサーブの協力）コーディング規約適合性等の診断（PGRelief，Klocwork)、日本語で書かれた仕様書の曖昧性診断（ClearDoc）、OSSコンプライアンス検証（BlackDuck）など、ソフトウェア開発を支援するツールの有償/無償提供サービス。ツールの基本操作説明、導入効果紹介など導入支援サービスも提供する。機構会員が利用する場合は、導入時のサポートとコスト面でのメリットがある。 22 計測フロンティア研究部門安心、安全、高信頼を社会へ検証サービス統合検証環境 Agda-IVE Agda言語を使うと、プログラム、プログラムの仕様、プログラムが仕様を満たすことの証明を、一つの枠組で記述することができます。組込みシステム検証試験施設の供用を開始 Agdaシステムは、Agda言語による記述の構文エディタ、Agda言語による証明記述の証明検査器、Agda言語によるプログラム記述のコンパイラなどを提供します。～ソフトウェア信頼性技術の中核施設～仕様の仕様の形式モデル形式モデル評価技術モデルにモデルに基づくテスト基づくテスト利用者指向ディペンダビリティプログラミング研究内容： 1. 概念化, 2. 規格化, 3. 適合性評価, 4. システムライフサイクル技術 claim の証明・説得 e.g. e.g. 発火し発火しませんません・・・・・・・・ as s uranc e c as e 実装ワンクリックインストーラーで気軽に体験できます。ツール開発納得利用製品仕様書（利用マニュアル） R is k management の枠組みがない Agda 入手先： http://appserv.cs.chalmers.se/users/ulfn/wiki/agda.php claim の合意（リスク分析含む）安全性など • 発注者は非機能要件を確かめられない • 事故が起こったとき、開発者は無限責任を負わされかねないデモシステムのAssurance Case ２００９年９月４日 DEOS中間報告会より組込みシステム検証試験施設特殊利用（予定）共同研究一般企業教育サービス高度人材育成システムアーキテクト体系的な知識産業界・学界の組織と共同で，技術移転，人材育成を進めています． • 高度人材育成プログラム「組込み適塾」 (組込みソフト産業推進会議と共催) • Agda, SAT など先端的な検証技法の研修教材の開発作成 • モデル検査知識体系(MCBOK) の策定現場で即活用できる技術組込みソフト産業推進会議組込みソフト技術者全体の要件分解・・・要件n C1 C2 ・・・ Cn ❏ 各モジュールの要件を整合的に管理  プログラム改変時の組合せバグ混入が発見可能 Cソースコード H/W 適用教材・事例の提供メルコ・パワー・システムズ産総研 CVS教程の特色 • 数理的技法を実際の開発に適用するための基礎知識の研修 • 本質をついた具体例による，理論の理解 • 演習環境を準備．「手を動かして」学ぶことで真の理解と内容の定着を図る • CVS/AIST の研究成果，研修ノウハウを背景とした質の高い研修 • CVS 教程に沿った教授法の同時開発モデル検査は難しい!? ❏ ２つの数理的技法を組み合わせて検証関西電力カリキュラムモデル検査上級編: モデル検査初級編: 【株式会社デンソー殿との共同研究】要件2 NII モデル検査理論技術者のための検証技法教育事例：組込みシステム差分開発へ対応する検証の枠組み JAIST モデル検査に関する知識をMCBOK (ModelChecking Body Of Knowledge) として整理．モデル検査教育の土台として機能する．システム開発現場で直面する問題点を企業等と共同で明確にし、開発現場の改善を目的とする活動です。概要とより詳細な情報へのポインターは「システム検証の事例報告集」にまとめています。要件1 技術者のためのモデル検査教育プログラム構築 MCBOK 産総研システム検証のフィールドワーク組込みシステムの差分開発施設利用推進会議参加企業組込み適塾検証事例 • 全体を複数のモジュールに分けて開発 • モジュールの組合せにより目的の製品を生産  組合せ時に問題が起こりやすいシステム検証研究センター (CVS) 施設利用 CVS教程共同研究サービス設計仕様書 claim の合意（リスク分析含む）定理証明定理証明 (形式的検証) (形式的検証) Agdaはスウェーデン・シャルマース工科大学と産総研システム検証研究センターが共同で開発しています。システム発注者 (S takeholder) 設計包括協定（予定）加入研究開発要求システム開発者証明証明依存型付き依存型付き函数プログラミング函数プログラミング要求仕様書組込みソフト産業推進会議 <大規模ネットワークシミュレーション環境> －144ノード－ネットワークで接続された多数の機器のエミュレーションを想定した環境－STARBED2(NICT北陸)と同様の環境研究開発証明記述プログラムプログラム合意形成のためのAssurance Case利用要求獲得・分析研究ニーズの発掘 Agda JST-CREST 「実用化を目指した組込みシステム用ディペンダブル・オペレーティングシステム」研究領域にて２００８年度より実施中技術移転人材育成組込み適塾共催連携検証施設形式的形式的仕様書仕様書 <大容量高速自動検証環境> －１TB；3ノード＋256GB；28ノード－モデル検査やSAT solverなどの数理的技法による検証を想定した環境産総研仕様書検証仕様書検証仕様記述計算機環境モデル検査の概要とツール(NuSMV, Spin)の基本操作を身につける．マネージャが概観を得るのにも最適モデル検査の標準的技術，独力で検査するための基礎を身につける．エンジニアの基礎固めを図る． Agda 研修: SAT 研修: 仕様記述の概要と実際をツール Agda を使って身につける． SAT を使った検査の概要とツール(Minisat)の基本操作を身につける． •関数と型による仕様記述 •代数データ型 •対話的な入力 •仕様の「証明」 •整合的な詳細化 • 充足可能性判定(SAT) • SMT • miniSAT/CBMC ① モデル検査 • 設計レベルの検証  バグの早期発見 ② 模倣検査 • 検査用モデルと実装（プログラム）に「ずれ」が無いことを検査 • 小さな検査用モデルを使い、モデル検査のコストを抑える何見て勉強すればいいの!? 23 CVS 教程