高性能通信プロセッサQorIQのDPAA （デタパスアクセラレション（データ・パス・アクセラレーション・アーキテクチャ）の概要 FTF NET F0146 FTF-NET-F0146 Kojij Tsutsui｜FAE, ｜ , Technology gy Department p Dec.04.2014 TM External Use 本セッションの目的 • マルチコア・プラットフォームでのパケット処理を効率よく行う為のデタパスアクセラレションアキテクチャ(DPAA)がのデータパス・アクセラレーション・アーキテクチャ(DPAA)が QorIQファミリに搭載されております。 • 本セッションでは、DPAAを構成する要素およびCPUコアがどの様に連携するかを説明します。 • DPAAを活用することで、マルチコア環境で必要とされるパケット処理のタスクをオフロードすることができ処理のタスクをオフロドすることができ、性能向上に貢献します。性能向上に貢献します。 TM External Use 1 Agenda • DPAAが必要となる理由 • DPAA構成ブロック − QMan − FMan − BMan − SEC − RMan • • パケットの流れまとめ TM External Use 2 Agenda • DPAAが必要となる理由 • DPAA構成ブロック − QMan − FMan − BMan − SEC − RMan • • パケットの流れまとめ TM External Use 3 シングルコアからマルチコアへ • 市場要求： − システム性能のさらなる向上 − 消費電力の制約 • シングルコアでクロック周波数アップ − 性能アップに限界 − 消費電力の点で不利 • マルチコア化 − システム性能の向上および消費電力の点でバランス TM External Use 4 データパスをマルチコアで処理する際の課題／要求事項マルチコアSoCは、シングルコアSoCと比べ、パケット処理での要求事項がある − ロードスプレッド／ロードバランス：  受信パケットを複数コアで分散処理 − パケット順序：パケト順序  複数コアで並列処理した後、パケット順序が逆転した場合の対処順転場処 − パイプライン処理：  １つのパケットをコア、アクセラレータでパイプライン処理 − ネットワークI/Oの共有：  複数のコア間でネットワ複数のコア間でネットワークI/Oを共有クI/Oを共有 − 仮想化 − コア間通信 Hardware Accelerator Core C Core Core Core Core Network I/O Network TM External Use 5 マルチコアでのデータパス処理に必要な機能 • これらの要求事項を満たす為に； − ハードウェアによるキュー管理（輻輳制御も含む）ハドウェアによるキュ管理（輻輳制御も含む） − ネットワークI/Oは、ハードウェアにて受信フレームの解析、仕分け宛先へ転送ができること仕分け、宛先へ転送ができること • 高帯域デタパスを処理する為に；高帯域データパスを処理する為に； − 輻輳状態時のフロー制御 Core − バッファ枯渇時のフロバッファ枯渇時のフロー制御制御 − ハードウェアによるバッファ管理 Core Core Queue Manager Network I/O Eth Eth Eth TM External Use 6 Core Buffer Manager BDリング vs DPAA DPAAは、従来のBDリング方式を置き換えるもの： Core • Eth 複数コアがロックレスでキューへ出し入れが可能 • キュを複数コアで共キューを複数コアで共有 • バッファ管理とキュー管理を分離 Core Core Core Queue Manager TM External Use 7 Buffer Manager コア（スレッド）毎にア（ッ）毎キューへのアクセス用インターフェイスを持つ他ブロックとの干渉なし Network I/O Eth Eth Eth BDリングはメモリ上に構築されたデータストラクチャコアはBDリングのポインタ管理を行う Core Agenda • DPAAが必要となる理由 • DPAA構成ブロック − QMan − FMan − BMan − SEC − RMan • • パケットの流れまとめ TM External Use 8 QorIQ DPAAを構成するブロック Network & Packet I/O Infrastructure Components Cores Hardware Accelerators RapidIOでの送受信を DPAAに統合 DPAAの基幹ブロック。 SoC内の各ブロック間とのデータ（パケット）の受け渡しをタ（ケッ）受け渡をキューを用いて一元管理 DPAA RapidIO p Messaging RapidIO Message Manager g (RMan) RMan) and more Ethernet Frame Manager (FMan FMan)) 複数のイーサネットMAC ハードウェアによる受信フレームのヘッダ解析、仕分け機能を内蔵 Queue Manager (QMan QMan)) Buffer Manager (BMan BMan)) ハードウェアによるバッファ管理（取得／解放） TM External Use 9 Security Engine ((SEC)) 暗号、認証処理のハードウェア･アクセラレータ･エンジン Pattern Matching Engine (PME) ビットストリーム中の特定のビットパターンを検出ウイルスチェック等で利用ウイルス･チェック等で利用 QorIQ T4240 DPAA Components TM External Use 10 QorIQ T4240 Agenda • DPAAが必要となる理由 • DPAA構成ブロック − QMan − FMan − BMan − SEC − RMan • • パケットの流れまとめ TM External Use 11 DPAAインフラストラクチャ: QMan … Queue Manager (QMan)： • SoC内の各ブロック（コア、アクセラレータ、Network I/F）間のパケットの受け渡しはキ渡しはキューを用い、QManが一元管理を用、Q が元管理 • 各ブロックはQManへアクセスする為のインターフェイスを各々持つ。 − キューはロックレスで共有、リソースの共有化／仮想化が効率的に行える • コアがデキューする際、コア内キャッシュへStash可能アがデキする際ア内キシ St h可能 − FD、フレームデータ先頭部、 Queue Manager (QMan) コンテキスト情報、他 PME FQD Cache … … … … Hardwa are portals Queuing Engines … QManキューイング管理： − デキュー･スケジューリングデキスケジリング − パケット順序の制御 − 輻輳制御／回避 … • FD Memory Software portal  Frame Descriptor TM External Use 12 CoreNet To Cores  SEC Frame Descriptor FMan FMan QorIQ -- Multi Core and Offload architecture Frame Queue Frame Queue Frame Queue Frame Queue Frame Queue Frame Queue Frame Queue Queue Q Queue Q Dedicated Channel Core7 Frame Queue Dedicated D di t d Channel Data Path Acceleration Architecture PCD Port1 TM External Use 13 Frame Queue Port2 Port3 Frame Queue Frame Queue Dedicated D di t d Channel Frame Manager Port4 Core8 Frame Queue Queue Frame Queue Dedicated Channel Queue Q Pool Channel Queue Q Pool Channel Core3 Core4 Core5 Core6 Queue Core1 Core2 Pseudo Real Time Traffic Dedicated D di t d Channel Frame Queue Queue General Data Plane Traffic Queue Control Plane Traffic Dedicated D di t d Channel 2レベルのキュー WQ1 FQ FQ WQ2 FQ FQ WQ3 FQ FQ WQ4 FQ FQ WQ5 FQ FQ WQ6 FQ FQ WQ7 FQ FQ FD P Portal FQ FQ Cha annel WQ0 フレーム･ディスクリプタ(FD)は、フレーム･キュー(FQ)に入れられる − FQはFDの順序リスト − QManでの順序制御は、1FQ内で行われる • FQはワーク･キュー (WQ)に入れられる − WQはFQの順序リスト − 1WQ内のFQはすべて同プライオリティ • チャネル： − SoC内各ブロック（コア、アクセラレ SoC内各ブロック（コアアクセラレータタ、 Network I/O）は自宛てチャネルを持つ − 1つのチャネルは8つのWQから成り、各 WQは相対プライオリティを持つ − デキュー・スケジューリングはチャネル内 WQプライオリティ、スケジューラ･スキームにてデキュー順が決定 • ポータル： − 各ブロックがQManへアクセスする為のインターフェイスンタフイ − ポータルは、 QManとデータの受け渡しを行う為のQMan内 “データ・ストラクチャ” FD FQ 順序制御が必要なフレーム(FD)は1つのFQへ入れる Bufferr Bufferr • User memory QMan data structures TM External Use 14 チャネルとポータルの種類 H/Wブロック Core n Core0 ロードバランシングロドバランシング複数コアで負荷分散 via CoreNet DCP (HW Portal) SW Portal SW Portal Dedicated Dedicated via CoreNet Dedicated Pool Channel WQ7 7 WQ6 6 WQ5 5 WQ4 4 WQ3 3 WQ2 2 WQ1 1 WQ0 0 WQ7 7 WQ6 6 WQ5 5 WQ4 4 WQ3 3 WQ2 2 WQ1 1 WQ0 0 FD FQ FD FD FQ WQ7 7 WQ6 6 WQ5 5 WQ4 4 WQ3 3 WQ2 2 WQ1 1 WQ0 0 Channel WQ7 7 WQ6 6 WQ5 5 WQ4 4 WQ3 3 WQ2 2 WQ1 1 WQ0 0 Channel Channel QMan チャネル： − Dedicated Channel：ある特定ブロック宛てチャネル、ある特定ブロックのみがここからデキューする − Pool Channel：不特定多数コア宛てチャネル。複数のコアがここからデキューすることができる、ロード･バランス用途 • ポポータル：タル： − ソフトウェア・ポータル：コアがQManへアクセスする際に使用 − ハードウェア･ポータル：ハードウェア（各アクセラレータ、ネットワークI/O）がQManへアクセスする際に使用、Direct Connect Portal (DCP)と呼ばれる • キューへアクセスする為のI/F（ポータル）は各ブロック毎に用意されており、ロックレスでQManへアクセス可能（他ブロックとの排他制御は不要） • TM External Use 15 ポータルでのエンキュー／デキューエンキュー：送りたい宛先のWQ (FQ)へFDを入れる Rx Tx 10GEC 1GE 1GE ….. PCD デキュー：自分宛Channelに届いた FQからFDを取り出す SEC FMan1 Core1 SW Portal0 DCP0 DCP2 SP SP Dedicated Core0 Dedicated SW Portal1 EQCR DQRR EQCR DQRR • •• • •• • •• • •• Dedicated Dedicated Pool Channel Channel Channel WQ7 WQ6 WQ5 WQ4 WQ3 WQ2 WQ1 WQ0 WQ7 WQ6 WQ5 WQ4 WQ3 WQ2 WQ1 WQ0 WQ7 WQ6 WQ5 WQ4 WQ3 WQ2 WQ1 WQ0 WQ7 WQ6 WQ5 WQ4 WQ3 WQ2 WQ1 WQ0 Channel WQ7 WQ6 WQ5 WQ4 WQ3 WQ2 WQ1 WQ0 Channel FD FQ FD FD FQ QMan TM External Use 16 L2 Cache Power Architecture™ Core I-Cache パケット順序の制御 D-Cache I-Cache F0P1 • コアがフレームをデキューするにあたり； − Dedicated Channelからのデキュー  常に、同じコアが１つのフロー（FQ）を処理常に同じが（ Q）を処理  コアがパケットを逐次処理している限り、パケット順序が入れ替わることはない − Pool Channelからのデキュー  複数のコアがデキューする為、各コアでの処理後、ケット順序が入れ替わる可能性ありパケット順序が入れ替わる可能性あり  オーダリングに対処する為のメカニズム： (1) パケット順序の復元 (Order Restoration) − デキデキュー時に、各フレームにシーケンス番号を割時に、各フレムにシケンス番号を割り当て、コアでの処理後、シーケンス順に並び変えてからエンキュー (2) パケット順序の維持 (Order Preservation) − １フロー(1FQ)内のフレームを、同一コアがデ (1FQ)内のレムを同アがデキューすることをアシストするデキュー･モードを用意 − コアでのコアでのパケット処理順番そのものを保証ケット処理順番そのものを保証 F0P2 F1P1 Dedicated Channel L2 Cache L2 Cache Power Architecture™ Core Power Architecture™ Core I-Cache D-Cache I-Cache D-Cache I-Cache F0P1 Ordered packets processed in parallel F0P2 F1P1 P l Channel Pool Ch l L2 Cache L2 Cache Power Architecture™ Core Power Architecture™ Core I-Cache D-Cache I-Cache D-Cache I-Cache F0P1 F0P2 F1P1 TM External Use 17 Pool Channel Ordered packets queued temporally to single processing element • • • • • 輻輳制御はFManとQManが連携動作ロスレス･フロー制御輻輳制御：Tail T il Drop D 輻輳回避：RED/WRED (Weighted Random Early Discard) Congestion Group(CG)： Disca ard Probab bility 輻輳制御／回避 Aggregate Q Occupancy 各フレーム･キューをどのCGグループに属させるかはプログラマブル − Tail Dropは Dropは、CGグループまたは各キュー毎 CGグルプまたは各キュ毎 − RED/WREDは、CG毎 − − − − − − 全256のCG CGグループ全キューの平均キュー長（Time-aware, Weighted） 3 カラー／WRED カーブはプログラマブルエンキュー･パケットはWREDポリシーで廃棄瞬間CGグループキュー長 +/- ヒステリシスより、輻輳メッセージをエンキュー側へ送信  Pauseフレム送信によるロスレス･フロ制御 Pauseフレーム送信によるロスレス･フロー制御 TM External Use 18 CG 1 CG 2 p QMan p Congestion state message p FMan 10G QMI 1G pause 1G 1G 1G Agenda • DPAAが必要となる理由 • DPAA構成ブロック − QMan − FMan − BMan − SEC − RMan • • パケットの流れまとめ TM External Use 19 ネットワークI/O: FMan To QMan CoreNet Frame Manager (FMan) : • (P4080) 1x10GE MAC + 4xGE MACs • (T4xxx) 2x10GE MAC + 6xGE MACs • Frame Manager (FMan) DMA QMI Policer Keygen Buffer Memory y (Distribution) Parser Classifier To BMan BMI 10GE GE GE GE GE 20 Ingressフレームヘッダを解析しトラフィック判定、その結果を元に、フレームを適切な宛先キューへ仕分け − PCDルール－Parsing(解析) / Classification(仕分け)/ Distribution(分配)－に従った仕分け  標準L2/L3/L4プロトコルをサポート  ユーザ独自フィールドも定義可  Exact Matchによる特定キューへの仕分け  Hashによる複数フレームキューへ振り分け Hashによる複数フレムキュへ振り分け TCP/UDP Tx チェックサム計算 • デュアルレート／3カラー・ポリシング物理ポート単位での送信レート・リミット BManバッファ・プールから“適正サイズ”のバッファを取得 • External Use − • • TM FMan内に”Intelligence”を内蔵 FMan内に Intelligence を内蔵 Case Study: High Level Mapping to DPAA CORE CORE CORE portal portal portal Dedicated channel WQ Q7 WQ Q6 Policer WQ Q5 FD FD WQ Q4 WQ Q3 WQ Q2 FQ FD FD WQ Q1 WQ Q0 WQ Q7 WQ Q6 WQ Q5 WQ Q4 WQ Q3 WQ Q2 WQ Q1 WQ Q0 FQ Pool channel FQ FD FD FQ Q FD FQ FD FQ FD FD Hash TOS SCTP UDP (Control) (Dataplane) Eth Prot L2 TOS L3-IP UDP L4 TM External Use n-tuple IP-UDP 21 C bi i exactt match Combining t h + Hash H h DPAAインフラストラクチャ: BMan • バッファ･ポインタの貯蔵領域 − BMan内部RAM（64Pool x 64depth） − 外部メモリ Buffer Manager (BMan) Internal stockpile バッファポイバッファ・ポインタのプール List Engines Software Portals • • ソフトウェアは初期化時にバッファ・プールを用意バッファ枯渇時（空きバッファ数が閾値以下）、ッァ枯渇時（空きッァ数閾値以下）、割り込みを生成可、これを契機にソフトはバッファを補充 TM External Use 22 To Cores CoreNet PME Hardw ware portals Buffer Manager (BMan) : • バッファ･ポインタをハードウェアにて管理 − SoC内のアクセラレータ、ネットワークI/Fは、 BManにリクエストを出してバッファ･ポインタを取得／解放 SEC FMan FMan Agenda • DPAAが必要となる理由 • DPAA構成ブロック − QMan − FMan − BMan − SEC − RMan • • パケットの流れまとめ TM External Use 23 ハードウェア・アクセラレータ：SEC5.0 Queue Interface DMA D Job Ring I/F Job Queue Controller RT TIC Descriptor Controllers CHAs Supports protocol processing for the following: • IPSec • 802.1ae (MACSEC) • SSL/TLS/DTLS • 3GPP RLC • LTE PDCP • SRTP • 802.11i (WiFi) • 802.16e 802 16e (WiMax) TM External Use 24 Public Key Hardware Accelerators (PKHA) RSA and Diffie-Hellman (to 4096b) Elliptic curve cryptography (1023b) Data Encryption Standard Accelerators (DESA) DES, 3DES (2K, 3K) ECB, CBC, OFB modes Advanced Encryption Standard Accelerators (AESA) Key lengths of 128-, 192-, and 256-bit ECB, CBC, CTR, CCM, GCM, CMAC, OFB, CFB, and XTS ARC Four Hardware Accelerators (AFHA) Compatible with RC4 algorithm M Message Di Digest tH Hardware d A Accelerators l t (MDHA) SHA-1, SHA-2 256,384,512-bit digests MD5 128-bit digest HMAC with all algorithms Kasumi/F8 Hardware Accelerators (KFHA) F8 , F9 as required for 3GPP A5/3 for GSM and EDGE GEA-3 for GPRS Snow 3G Hardware Accelerators ((STHA)) Implements Snow 3.0 ZUC Hardware Accelerators (ZHA) Implements 128-EEA3 & 128-EIA3 CRC Unit Standard and user defined polynomials Random Number Generator, random IV generation CAAM(SEC4.x / SEC5.x）の特徴 Input Frame: Optional IP Hdr 従来のSECは、入力パケットそのままの状態では、ハンドリングできなった。 Payload Crypto: Class 1 – such as AES Payload padding Pad N Len Encrypted Pa load Payload padding Pad N Len Cl Class 2 such h as SHA SHA-1 1 SPISeq# Opt IV Payload padding Authenticate Pad N Opt ESN Len CAAMではProtocol Aware となり、暗号、認証の一となり、暗号、認証の連の処理（ヘッダ／トレーラ処理含む）を１コマンドで指定できる。 → CPUからのオフロード CAAMコマンドのプログラミングにて柔軟な処理が可能ングにて柔軟な処理が可能。 Output Frame: Optional Opt SPISeq# IP Hdr IV Payload padding Esp header TM External Use 25 Pad N ICV Len パケットI/O：RapidIO Message Manager (RMan) RapidIOの送受信をDPAAに統合、SoC内部ではキュー・ベースで転送 26 I$ I$ WQ7 P PME L2$ D$ S SEC I$ Core D$ External Use WQ6 Channel D$ Segmentation Unit Segmentation Unit Channel Frame Manager 1GE 1GE 10GE 1GE 1GE TM WQ5 WQ4 WQ3 WQ2 Reassembly Unit WQ0 WQ1 WQ2 WQ3 WQ4 WQ5 WQ6 WQ7 Classification Unit WQ1 Reassembly Unit WQ0 Classification Unit Segmentation Unit Channel WQ0 WQ1 WQ2 WQ3 WQ4 WQ5 WQ6 WQ7 Reassembly Unit Disassembly Contexts RapidIO O Outbound Trafficc QMan Reassembly Contexts Inbound Rule Matching Classification Unit ARB RapidIO Inbound Traffic RMan Agenda • DPAAが必要となる理由 • DPAA構成ブロック − QMan − FMan − BMan − SEC − RMan • • パケットの流れまとめ TM External Use 27 IPSec暗号パケットの復号化 • コアは自ポータルからデキューコアは自ポタルからデキュ • パケットヘッダを見て、暗号化されていること、どのSAトンネルのものかを判断 • コアはFDを作り、SEC宛てにエンキュー Core 0 (4) • SECはディスクリプタ内コマンドを実行、パケットを復号化、処理結果をメモリへ書き出し • 処理結果を示すFDを生成。次処理の為コア宛てにエンキュー • コアは自ポータルからデキュー • コアはSEC処理ステータスを確認 • OKならば、復号パケットにL2ヘッダを付加、 FDを作成しFMan送信ポート宛てにエンキュー・・・・・・ Core N (7) SEC (6) • SECは自ポータルからデキュー • SEC処理に必要なディスクリプタを生成 • SAトンネル情報（暗号／認証方式、鍵、等）は、FQ毎に SAトンネル情報（暗号／認証方式鍵等）は FQ毎に予め設定・・・・・・・・・ ((3)) ((5)) QMan • 適正サイズのバッファを要求 • BManよりバッファ取得後、DMAにて受信フレームを外部メモリへ転送よりバ得後受信ムを外部転送 • 受信フレームヘッダ部はFManで解析、宛先キューを決定し、エンキュー FMan PCD (1) (8) (2) BMan (9) • バッファの解放 TM External Use 28 • フレーム受信 • FManは自ポータルからデキュー • DMAにてパケットデータを外部メモリから読み出しポートから送出まとめ • DPAAは、基本的に、パケット処理をコアから完全にオフロードする為のものではない • DPAAは、“マルチコア”プラットフォームでのパケット処理を”効率的“に行う為のしくみ • シングルコアSoCでは考慮する必要がなかった、マルチコアでパグケット処理を行う際の課題をDPAAが解決 − ロード･バランス（複数コアの効率的な利用） − オーダリング管理 − キャッシュの有効活用、など TM External Use 29 TM www.Freescale.com © 2014 Freescale Semiconductor, Inc. | External Use