RTミドルウェア・ROSの紹介産業技術総合研究所原功 Contents • RTミドルウェアについて – RTミドルウェアとは？ – RTコンポーネントアーキテクチャ – RTCの開発手順 • ROSについて – ROSとは？ – ROSの基本概念 – ROSの利用例 RTとは? • RT = Robot Technology cf. IT – ≠Real-time – 単体のロボットだけでなく、さまざまなロボット技術に基づく機能要素をも含む (センサ、アクチュエータ, 制御スキーム、アルゴリズム、 etc….) + + + + + RT-Middleware • RT-Middleware – RT要素のインテグレーションのためのミドルウエア • RT-Component – RT-Middlewareにおけるソフトウエアの基本単位 33 RTミドルウエアとは Joystick software Joystick Robot Arm Control software 互換性のあるインターフェース同士は接続可能 Robot Arm 4 RTミドルウエアとは Humanoid’s Arm Control software Humanoid’s Arm Joystick software Joystick ロボットによって、インターフェースは色々互換性が無ければつながらない Robot Arm Control software Robot Arm 5 RTミドルウエア RTミドルウエアは別々に作られたソフトウエアモジュール同士を繋ぐための共通インターフェースを提供する Arm A Control software compatible arm interfaces Humanoid’s Arm Joystick software Joystick ソフトウエアの再利用性の向上 RTシステム構築が容易になる Arm B Control software Robot Arm 6 RTミドルウェアの目的モジュール化による問題解決コストの問題 A社製移動ベース B社製アーム技術の問題ニーズの問題多様なユーザ最新の理論・アルゴリズム C社製センサ・・・仕様！！ RTコンポーネント化モジュール化・再利用ロボットの低コスト化！！システム開発者最新技術を利用可能カスタマイズが容易に多様なニーズに対応ロボットシステムインテグレーションのイノベーションモジュール化のメリット • 再利用性の向上 – 同じコンポーネントをいろいろなシステムに使いまわせる • 選択肢の多様化 – 同じ機能を持つ複数のモジュールを試すことができる • 柔軟性の向上 – モジュール接続構成かえるだけで様々なシステムを構築できる • 信頼性の向上 – モジュール単位でテスト可能なため信頼性が向上する • 堅牢性の向上 – システムがモジュールで分割されているので、一つの問題が全体に波及しにくい RTコンポーネント化のメリットモジュール化のメリットに加えて • ソフトウエアパターンを提供 – ロボットに特有のソフトウエアパターンを提供することで、体系的なシステム構築が可能 • フレームワークの提供 – フレームワークが提供されているので、コアのロジックに集中できる • 分散ミドルウエア – ロボット体内LANやネットワークロボットなど、分散システムを容易に構築可能 RTミドルウエアとRTコンポーネントロジック・デバイス制御・制御アルゴリズム・アプリケーション etc… RT コンポーネントフレームワーク RT コンポーネントロジックを箱（フレームワーク）に入れたもの＝RTコンポーネント（RTC） RTC RTC RTC RTC RTC RTC RTC RTC RTミドルウエア RTCの実行環境（OSのようなもの）＝RTミドルウエア（RTM） ※RTCはネットワーク上に分散可能 10 RTコンポーネントの主な機能アクティビティ・実行コンテキスト複合実行共通の状態遷移 Init Inactive Active Error データポート • • • • センサRTC (onExecute()) 制御RTC (onExecute()) アクチュエータRTC (onExecute()) データ指向ポート連続的なデータの送受信同じデータ型のポート同士接続可能動的に接続・切断可能目標値位置エンコーダコンポーネントライフサイクルの管理・コアロジックの実行 + Kp 位置制御器コンポーネントアクチュエータコンポーネントコンフィグレーション任意に定義可能なインターフェースを持つポート内部の詳細な機能にアクセスサービスポート – – 内部パラメータを管理コンフィギュレーションセット • • • アームインターフェース・モード設定関数・座標系設定関数・・etc… 他のコンポーネント・上位アプリケーションから利用 1 TI s TDs データ指向通信機能サービスポート • • 電圧 - 手先位置・速度データサービス指向相互作用機能アームコンポーネントデータポートセット名、名前：値のリスト複数のセットを保持セットを切替可能セット名名前セット名名前値値複数のセットを動作時に切り替えて使用可能 RTミドルウエアによるシステム構築例 RTMにより、ネットワーク上に分散するRTCを OS・言語の壁を越えて接続することができる。ネットワークロボットA ロボットB RTC RTC RTM Solaris RTC RTC RTM FreeBSD Linux RTM RTC RTC Windows RTM RTC RTC TRON RTM RTC RTC アプリケーション操作デバイスセンサロボットC RTCRTC RTC RTM ARTLinux RTC同士の接続は、プログラム実行中に動的に行うことが出来る。 RTコンポーネントアーキテクチャ • メタ情報取得 – プロファイル – どんなコンポーネントか？ SDO Interfaces RTC Interfaces RTCEx Interfaces RTComponent Service RTCS Consumer RTComponent Consumer Service Proxy provide Consumer Proxy Activity Service provide use Architecture of RT component State Machine OutPort0 InPort 0 Buffer InPort n put Buffer get Buffer OutPort n Buffer reply InPort put get, subscribe reply push OutPort メタ情報取得 • パラメータメタ情報 – コンポーネントのモデル≒仕様 • RTCのことはRTCに聞けばわかる（イントロスペクション機能） – – – – – – • コンポーネントの名前・タイプポートの数・種類ポートのインターフェース情報ポート毎のプロパティパラメータ情報実行コンテキスト情報システムの動的構成に不可欠 A B C 名前値 port0 port4 D port1 port5 E port2 port6 Periodic実行 port3 port7 実行コンテキストコンポーネントメタ情報の例コンポーネント名 MyManipulator0 タイプ名 Periodic実行型 port0 Provide: A, Required: B port1 Provide: C Port2 DataPort: InPort, velocity, float x6 Port3 DataPort: InPort, position, float x6 Port4 Provide: D Port5 Required: E Port6 DataPort: OutPort, status int x1 Port7 DataPort: OutPort, velocity, float x6 実行コンテキスト周期: 10ms パラメータ gain0(float x6), flag(int x1), dev_file(string) RTコンポーネントアーキテクチャ • メタ情報取得 – プロファイル – どんなコンポーネントか？ • アクティビティ – ユーザ定義ロジックの実行 SDO Interfaces RTC Interfaces RTCEx Interfaces RTComponent Service RTCS Consumer RTComponent Consumer Service Proxy provide Consumer Proxy Activity Service provide use Architecture of RT component State Machine OutPort0 InPort 0 Buffer InPort n put Buffer get Buffer OutPort n Buffer reply InPort put get, subscribe reply push OutPort アクティビティ • ロジックを実行する部分 • 共通の状態遷移を持つ – – – – 初期化非アクティブ（OFF状態）アクティブ状態（ON状態）エラー（エラー状態）アームコンポーネントの例デバイス初期化処理アーム停止 Init Inactive センサRTC Active アームサーボON Error アーム緊急停止（センサからデータを読む）制御RTC （制御出力計算）アクチュエータRTC （アクチュエータを駆動）別々に作成された複数のコンポーネントをシーケンシャルにリアルタイム実行し制御等を行うことも可能 →複合コンポーネント実行コンテキスト 16 コンポーネント内の状態遷移ユーザがあまり意識しなくてよい部分コンポーネント開発時に必要な部分 ActiveDo/RTC::onExecuteはここに入る（DataFlow型のコンポーネントのとき） RTコンポーネントアーキテクチャ • メタ情報取得 – プロファイル – どんなコンポーネントか？ • アクティビティ – ユーザ定義ロジックの実行 • データポート SDO Interfaces – Data Centric な相互作用 RTC Interfaces RTCEx Interfaces RTComponent Service RTCS Consumer RTComponent Consumer Service Proxy provide Consumer Proxy Activity Service provide use Architecture of RT component State Machine OutPort0 InPort 0 Buffer InPort n put データポート get Buffer OutPort n Buffer reply InPort put Buffer get, subscribe reply push OutPort データポート • • データ指向ポート連続的なデータの送受信サーボの例データポートデータの流れ – 位置制御サーボ目標値 • 位置・電圧値位置電圧 – 画像処理 - • 画像データ • 処理結果 • • • アクティビティ + Kp TDs 主にロボットの下位レベル処理に利用同じデータ型のポート同士接続可能動的に接続・切断可能コンポーネントA 1 TI s エンコーダコンポーネント位置制御器コンポーネント画像処理の例画像データコンポーネントB 処理画像データアクティビティデータ生成データ取得処理データ変数処理画像処理コンポーネントカメラコンポーネント位置データ 3Dデプスデータデータ変数カメラコンポーネントデータポートアクチュエータコンポーネント画像データステレオビジョンコンポーネントデータが自動的に伝送される 19 データポート • データ指向(Data Centric)なストリームポート – 型：long, double×6, etc… • ユーザが任意に定義可能 – 出力：OutPort – 入力：InPort CORBA I/F Activity Publisherinport.put(data) Notify buffer Raw TCP Socket (a) “new” type subscription asynchronous • operation put(data) Original Protocol (a) Push (publisher/subscriber) communication model 接続制御（接続時に選択可能） – Interface type • CORBA,TCP socket, other protocol, etc… Activity Publisher Timer buffer – Data flow type (b) “periodic” type subscription • push/pull – Subscription type • Flush, New, Periodic put(data) outport.get() operation Connected by original protocol Data transfer through “Original Protocol” (b) Pull communication model Activity synchronous put(data) (c) “flush” type subscription 20 RTコンポーネントアーキテクチャ • メタ情報取得 – プロファイル – どんなコンポーネントか？ • アクティビティ – ユーザ定義ロジックの実行 • データポート SDO Interfaces – Data Centric な相互作用 • サービスポート – request/response型相互作用 RTC Interfaces RTCEx Interfaces RTComponent Service RTCS Consumer RTComponent Service Activity サービスポート Service Consumer Proxy provide Consumer Proxy provide use Architecture of RT component State Machine OutPort0 InPort 0 Buffer InPort n put データポート get Buffer OutPort n Buffer reply InPort put Buffer get, subscribe reply push OutPort サービスポート • 任意に定義可能なインターフェースを持つポート – コマンド・関数を自由に追加 – 他のコンポーネントからアクセス可能 – （本当は標準化したい） • 内部の詳細な機能にアクセス – – – – パラメータ取得・設定モード切替処理の依頼と結果取得 etc… コンポーネントB コンポーネントA アクティビティサービスプロキシ関数呼び出しサービスポートアームインターフェースサービスインターフェースの実体実際の処理はここで行われるサービスポート・モード設定関数・座標系設定関数・制御パラメータ設定関数・ヤコビ取得関数・ステータス取得関数・etc… 他のコンポーネント・上位アプリケーションから利用サービス提供者（プロバイダ）サービス利用者（コンシューマ）アームの例手先位置・速度データアームコンポーネントデータポートステレオビジョンの例ステレオビジョンインターフェース・モード設定関数・座標系設定関数・キャリブレーション - カメラパラメータ設定関数 - 実行関数 - パラメータ取得関数・etc… サービスポート 3Dデプスデータ他のコンポーネント・上位アプリケーションから利用画像データステレオビジョンコンポーネントデータポート 22 サービスポート • 任意に定義可能なインターフェースを持つポート • サービスプロバイダ – サービスを提供する MyRobot Service Provider MyRobot Service Consumer • サービスコンシューマ Port – サービスを利用する • 一つのポートに任意のプロバイダ・コンシューマを関連付けることができる。 • ポートがインターフェースの接続を管理 Connect 23 コンフィギュレーション • コンフィギュレーション PIDコントローラの例 – パラメータを管理 – コンフィギュレーションセット Kp リミッタ • セット名、名前：値のリスト • 複数のセットを保持 • セットを切替可能－ Ki s + Kds PID制御コンポーネント複数のセットを動作時に切り替えて使用可能セット名名前値セット名名前値 modeA 名前値 Kp Ki 0.6 modeB 名前値 modeC 名前値 Kd Inmax Inmin 0.01 0.4 5.0 -5.0 Kp Ki Kd Inmax Inmin 0.8 0.0 0.01 10.0 -10.0 Kp Ki Kd 0.3 0.1 0.31 1.0 Inmax Inmin -1.0 制御対象やモードに応じて複数のPIDゲインおよび入力リミッタ値を切り替えて使用することができる。動作中の切り替えも可能。動作シーケンス ③ 参照を取得ネームサーバ ④ ポートを接続 ① 参照を登録 ② 参照を登録 25 OpenRTM-aist • • コンポーネントフレームワーク+ ミドルウエアライブラリコンポーネントインターフェース: – OMG Robotic Technology Component Specification ver1.0 準拠 • OS – 公式：Linux, FreeBSD, Windows, Mac OS X, QNX – 非公式: uITRON, T-Kernel, VxWorks • 言語: – C++ (1.1.0), Python (1.0.0), Java (1.0.0) – .NET (implemented by SEC) • CPU アーキテクチャ(動作実績): – i386, ARM, PPC, SH4 – PIC, dsPIC, SH2, H8 (RTC-Lite) • ツール(Eclipse プラグイン) – テンプレートソースジェネレータ: rtc-template、RTCBuilder – システムインテグレーションツール: RTSystemEditor 26 OMG RTC 標準化 • 2005年9月 RFP： Robot Technology Components (RTCs) 公開。 • 2006年2月 Initial Response : PIM and PSM for RTComponent を執筆し提出提案者：AIST(日)、RTI(米) • 2006年4月両者の提案を統合した仕様を提案 • 2006年9月 ABにて承認、事実上の国際標準獲得 FTFが組織され最終文書化開始 • 2007年8月 FTFの最後の投票が終了 • 2007年9月 ABにてFTFの結果を報告 • 2008年4月 OMG RTC標準仕様公式リリース • 2010年1月 OpenRTM-aist-1.0リリース 27 OMG RTC ファミリ Name Vendor Feature OpenRTM-aist AIST C++, Python, Java OpenRTM.NET SEC NET(C#,VB,C++/CLI, F#, etc..) miniiRTC, microRTC SEC CAN・ZigBee等を利用した組込用RTC実装 Dependable RTM SEC/AIST 機能安全認証(IEC61508) capableなRTM実装 RTC CANOpen SIT,CiA CANOpenのためのCiA (Can in automation) におけるRTC標準 PALRO 富士ソフト小型ヒューマノイドのためのC++ PSM 実装 OPRoS ETRI 韓国国家プロジェクトでの実装 GostaiRTC GOSTAI, THALES ロボット言語上で動作するC++ PSM実装 H-RTM（仮称）ホンダR&D OpenRTM-aist互換、FSM型コンポーネントをサポート同一標準仕様に基づく多様な実装により • 実装（製品）の継続性を保証 • 実装間での相互利用がより容易に 28 Success stories DAQ-Middleware: KEK/J-PARC KEK: High Energy Accelerator Research Organization J-PARC: Japan Proton Accelerator Research Complex HRP-4: Kawada/AIST HIRO: Kawada/GRX TAIZOU: General Robotics Inc. HRP-4C: Kawada/AIST 29 RT-Middleware関連プロジェクト 30 RTミドルウエアの広がりダウンロード数 2008 2009 ユーザ数 2012年2月現在 2010 2011 2012 4978 9136 12049 1851 253 28267 Webページユーザ Python 728 1686 2387 566 55 5422 Webページアクセス Java 643 1130 685 384 46 2888 メーリングリスト Tool 3993 6306 3491 967 39 14796 講習会合計 10342 18258 18612 3768 393 51373 利用組織(Google Map) C++ プロジェクト登録数タイプ RTコンポーネント群登録数タイプ合計 988 約300 visit/day 約1000 view/day 424 人のべ約700人 46組織 OMG RTC規格実装（11種類）登録数 321 Name Vendor Feature OpenRTM-aist AIST C++, Python, Java OpenRTM.NET SEC NET(C#,VB,C++/CLI, F#, etc..) RTミドルウエア 17 miniiRTC,microRTC SEC CAN・ZigBee等を利用した組込用RTC実装ツール 22 Dependable RTM SEC/AIST 機能安全認証(IEC61508) capableなRTM実装 RTC CANOpen SIT,CiA CANOpenのためのCiA (Can in automation) における RTC標準 PALRO 富士ソフト小型ヒューマノイドのためのC++ PSM 実装 OPRoS ETRI 韓国国家プロジェクトでの実装 GostaiRTC GOSTAI,THALES ロボット言語上で動作するC++ PSM実装 H-RTM（仮称）ホンダR&D OpenRTM-aist互換、FSM型コンポーネントをサポート仕様・文書ハードウエア 5 31 31 プロジェクトページ • ユーザが自分の作品を登録 • 他のユーザの作った RTCを探すことができるタイプ RTコンポーネント群登録数 321 RTミドルウエア 17 ツール 22 仕様・文書ハードウエア 5 31 32 ハードウエア集 • OpenRTMで利用可能なハードウエアのリスト • ハードウエアを利用するために利用できるコンポーネントのリスト 33 NEDO RTコンポーネント集 • www.openrtm.org に NEDO知能化PJ成果物の特別ページを設置 – – – – – ツール作業知能モジュール移動知能モジュール対話知能モジュール商用ライセンスモジュールの5カテゴリに分けて掲載 34 サマーキャンプ • • • • • 毎年夏に1週間開催今年：8月4日～8月8日募集人数：10名程度場所：産総研つくばセンター参加費：無料（ただし，宿泊費や食事代は参加者の自己負担．産総研の宿泊施設を安価で提供できる予定です） • 座学と実習を1週間行い、最後にそれぞれが成果を発表 • 産総研内のさくら館に宿泊しながら夜通し？コーディングを行う！ 35 RTミドルウエアコンテスト • SICE SI（計測自動制御学会システムインテグレーション部門講演会）のセッションとして開催 – – – – エントリー〆切：8月22日講演原稿〆切：9月26日ソフトウエア登録：12月初旬ごろ発表・授賞式：12月15日（月）～17日（水）於：東京ビッグサイト • 2013年度実績 • 応募数：22件 – – – – • 計測自動制御学会学会RTミドルウエア賞（副賞10万円）奨励賞（賞品協賛）：2件奨励賞（団体協賛）：12件奨励賞（個人協賛）：9件詳細はWebページ： openrtm.org – コミュニティー→イベントをご覧ください 36 ROSとは？ • ROS＝Robot Operating System • ロボット用ソフトウェアの開発環境と通信フレームワーク。OSのような機能も提供 • 起源はスタンフォードAIラボ • 2007年ごろからWillow Garages社で開発、普及が行われた • プラットフォームOSとしてはUbuntu, MacOSX, Windows,QNX etc. ROSとは？ • ROS.orgでの説明 – ROS(Robot Operating System)は、ソフトウェア開発者のロボット・アプリケーション作成を支援するライブラリとツールを提供しています。具体的には、ハードの抽象化、デバイスドライバ、ライブラリ、視覚化ツール、メッセージング通信、パッケージ管理などが提供されています。ROSはオープンソースの一つ、BSDライセンスにより、ライセンス化されています。 ROSの基本概念 • • • • Node: ROSのコンポーネント基本単位 Topic：Node間のメッセージ伝達機構 Service：Node間の関数呼び出し roscore： ROSの基本的なプログラムや Nodeの集まり。 – ROS Master+ rosout + Parameter Server Node • ROSにおけるプログラム（コンポーネント）の単位 • 分散オブジェクトの一種であり異なる計算機上のNodeとデータ通信可能 • Node間の通信はroscoreを通じて行う nodes nodes roscore Topic • TopicはNode間の通信を行うための機構 • Publish-Subscribe型の通信 subscribers publisher topic • publish = メッセージをtopicへ送信 subscribe=publishされたメッセージを受信 • Publishされたメッセージは、すべての subscriberに一斉送信される Service • Node間のrequest-response型の通信機能 • Node間の関数呼び出しのようなもの client request server response service • 2つのメッセージ伝達を使って実装されている • ROSにおけるRemote Procedure Call roscore • ROS Master – Nodeの名前登録、解決を行う – 分散オブジェクトにおけるネームサーバー – XML-RPCで通信を行う • ROS Parameter Server – Nodeのコンフィグレーションパラメータなどを共有する機構 – ROS Master内に実装されている • rosout – ログ記録用のNode ROSにおける通信の基本的な流れ Image型のデータ配信を登録 Image viewer Camera Master XML-RPC Master Image型のデータ受信を依頼 XML-RPC Image viewer Camera image s 独自型 Master Image viewer Camera image s Image型のデータ通信を確立 ROSの利用例 http://wiki.ros.org/Robots • • • • • • • • • Mobile manipulators(22) Mobile robots(46) Manipulators(18) Autonomous cars(2) Humanoid(8) UAVs(7) AUVs(3) UWVs(3） Others(9) ROSからROS2へ • 現在ROSは、OSRFという組織で管理、実装が行われている • 基本的にオープンソースコミュニティで開発を進める方針 • 産業界への展開には、信頼性が重要なのでコンポーネントフレームワークの導入を考慮中 • ROS２では、通信方式としてDDSを採用予定 ROS • • • ROSの良い点 ROSの問題点 UNIXユーザに受けるツール（特にCUI）が豊富独自のパッケージ管理システムを持つノード（コンポーネント）の質、量ともに十分 • – • • • WGが直接品質を管理しているノードが多数ユーザ数が多いメーリングリストなどの議論がオープンで活発英語のドキュメントが豊富 • Ubuntu以外の対応が今一つ – Windows対応はいろいろな人が試したがいまだに公式には含まれないコアライブラリの仕様が固まっていない – 他の言語で実装する際の妨げ – サードパーティー実装が出にくい – 品質を保証しづらい OpenRTM OpenRTMの良い点 OpenRTMの問題点 • • • • 対応OS・言語の種類が多い – Windows、UNIX、uITRON、TKernel、VxWorks、QNX – Windowsでネイティブ動作する • • GUIツールがあるので初心者向き仕様が標準化されている – OMGに参加すればだれでも変更可 – サードパーティー実装が作りやすい – すでに10程度の実装あり • コンポーネントモデルが明確 – オブジェクト指向、UML・SysMLとの相性が良い – モデルベース開発 • IEC61508機能安全認証取得 – RTMSafety コンポーネントの数が少ないパッケージ管理システムがない CUIツールが少ない – UNIXユーザ受けしない • • • • ユーザ数が少ない英語のドキュメントが少ない知名度が低い開発速度が遅い – 現在は開発者一人まとめ • RTミドルウェアの概要と活動内容の紹介 • ROSの基本的な機能と概要を紹介 • ROSとOpeｎRTMとの簡単な比較