TeraStream概要書 Data Transformation & Integration beyond limit! 株式会社ワイディーシーディジタル COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. TeraStreamとは? 大量データのバッチ処理の作業時間を大幅に短縮するETLツールである。 TeraStream 大量データ Designer (GUI) Source Data Base Fact 高速抽出処理 Sort Target Data Base 高速ソート処理 Convert • • • • • Oracle Sybase DB2 Imformiy Tera Data 高速変換処理 Jopa/Merge 高速結合処理 • • • • • Oracle Sybase DB2 Imformiy Tera Data ※ ETL : Extract Transform and Load ---< 2 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. ETL ツールの種類 種類 パフォーマンス 日本語処理 カスタマイズ 価格 Informatica 普通 可能 不可 高価 DataStage 普通 可能 不可 高価 TeraStream 迅速 可能 可能 安価 ※ カスタマイズは顧客要求に合わせて対応する。 ※ 特にTeraStreamはオンライン状態でもデータ抽出が可能。 (他製品はオフラインでのみ可能) ---< 3 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. 主要納品実績 (金融機関) 企業名 金融決済院 プロジェクト概要 収納帳票､VAN事業､払込通知書 情報化システム構築 外換銀行 次世代バンキングシステム (基幹系､外換､与信) 新韓銀行 次世代システム 国民銀行 O-CRM ダウンサイジング ハナ銀行 カードシステム移転設置､請求作業 農協中央会 SK生命 データウェアハウス ETT､ 控除､ ALMシステム改善作業 アカウント情報処理 システム DB 前の処理 プリデンシャル 投資証券 元帳移管や情報系 ETT 韓国信用情報 NICE 次世代 CBシステム 国民カード EDW､ ETT 転換 現代カード データウェアハウス、ETT 興国生命 次世代システム 教保自動車保険 パフォーマンス改善､データウェアハウス ---< 4 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. 主要納品実績 企業名 (公共) 情報通信部 パフォーマンス改善事業 財政経済部 財政情報化､統合システム構築 国税庁 データウェアハウス構築 統計庁 ホストデータ移転設置や統計作業 健康保健管理公団 健康保健審査評価院 (その他) プロジェクト概要 データウェアハウス､ 健康保健配置業務 医療保健診察費請求審査情報システム構築 勤労福祉公団 データウェアハウス 企画予算処 デジタル予算会計 国防部 国防財政システム 大韓剤保険 保険業務配置作業改善 LGテレコム CSBS 用配置作業､ CRM KTF ビーリングシステム ハナロ通信 ビーリングシステム 外語大学 配置処理作業 ウンジンコーウェイ データウェアハウス クムガン企画 媒体戦略システム LG AD 広告視聴率関連統計情報抽出処理 LG流通 データウェアハウス LG電子 関税払い戻し処理 ---< 5 >--- COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. TeraStreamTM パフォーマンス比較 ソートパフォーマンス BMT (Fixed-key ASCII Sorting) Input Source Size: Sorted by: Target : 26､848､200 bytes 6-byte key 154､300 records 268､482､000 bytes 6-byte key 154､300 records 2､684､820､870 bytes 6-byte key 154､300 records Informatica 'nSort1 8s 1m 48s 20m 35s TeraStream (CoSORT AEP) 3s 16s 2m 1s TeraStream (CoSORT SortCL) 1s 7s 1m 19s ソートパフォーマンス BMT (Variable-key､ ASCII Sorting with Unique and Stable) Sorted by: Target: : 6-byte key 424 records 14-byte key 2､233､343 records 23-byte key､ 2.6GB 15､237､170 records Informatica 'nSort' w/Aggregator 2m 10s 14m 37s 1h 43m 46s TeraStream (CoSORT AEP) 1m 3s 1m 32s 3m 24s 27s 38s 2m 15s TeraStream (CoSORT SortCL) DataStageとのパフォーマンス比較 (SORT､ JOIN､ SUM､ Type Conversion and Business Logic) Task TeraStream Datastage Records Volume A data (Company Profile) 3h 21h 10m 84､209､420 18GB B data (Income Tax Report) 1h 8h 20m 16､134､908 10GB C data (VAT Report) 7h 15h 20m 17､155､262 10GB D data (Income/Area) 45m 10h 40m 10､278､870 6GB ---< 6 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. TeraStreamTM パフォーマンス 比較 - DBMSとバッチ作業比較結果 Processing Time 区分 DBM S 7分 30秒 File Processing 25万件 既存プログラム (SQL) 変更プログラム (TeraStreamTM) Data Volume 件数 2004.3.15 Run Time 4､072 3分22秒 496､784 26分57秒 993､568 1時間22分41秒 2､500､000 3時間17分31秒 4､072 7分23秒 496､784 7分24秒 993､568 11分30秒 2､500､000 16分14秒 限界を超えた負荷を処理する場合、DBMSの負荷は急激に増加する。 ファイル処理によるバルク処理の場合、対応処理範囲が増え、データ処理の増加に対応可能となる。 システム容量や処理時間がライン型(Linear)で増加する。 ---< 7 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. TeraStreamTM使用の際の期待効果 区分 システム 顧客 期待効果 負荷分散 費用削減 顧客満足度アップ 生産性の向上 業務担当チーム 費用削減 投資対効果(ROI)分析 -大量処理負荷データベースと業務分離が自然と行なわれ、 システム負荷を軽減し、システム投資費用削減が可能。 -現在使用中のシステムを基準に、データ量が20%多くなった場合でも、 システム全体増設は不要、20%増加したデータの保存ディスク追加の みで対応可能。 -バッチ作業の周期を削減し、顧客満足度をアップすることができる。 -オンライン作業やバッチ作業の分離により、安定したオンライン環境を 保障し、バッチ作業をスピーディーに行なうことが出来る。 -既存の業務プロセスの50%程度の投資費用で100%以上の効果が 期待できる。 -システム資源の効率的な利用によりシステム投資費用削減､既存のプ ロセスの課題である維持保守問題を解決し、費用削減が可能。 ---< 8 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. TeraStreamTMの適用範囲 TeraStreamは、フラットファイル処理により作業時間を短縮、システムの効率を増加させる ツールで基幹系､情報系の各種配置作業のみならず、データウェアハウス/CRM、債権管理、 資産負債管理(ALM)、クレジットカード決済作業などに活用出来である。 適用分野 適用内容 • データ移行 基幹系 • 精算や決算業務 • データ保存 • データ抽出 • テーブル生成配置作業 情報系 -債権管理 / 資産負債管理(ALM) / リスク管理(RM) / 総合収益管理 • DW/DM/CRM ETL クレジットカードシステム 常時監視システム その他 • 請求業務 • 決済業務 • 大容量情報系データとの連携 • システム間のリアルタイム、または周期的なデータ移行による統合 ---< 9 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. TeraStreamTMの適用範囲: 基幹系 TeraStreamはシステム構築の為の移行業務､決算業務､データ 抽出､データ保存に活用出来る。 業務内容 作業の流れ IBM 1. データ転送 Unix Unix 2. コード変換 • EBCDIC • Pack • Bit TeraStream • ASCII • Unpack • Byte Reformat TeraStream 3. マッピングによる変換作業 ASCIIで変換されたファイル • Sort / Merge • Join • Convert 最終目的ファイル 4. 検証や保存作業 TeraStream/FASを 利用した検証 SQLを利用した検証 ---< 10 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. TeraStreamTMの適用範囲: 情報系 DW/CRMの為のETL､ DM用テーブル生成､ 債権管理､ ALM(資産負債管理)､ RM(リスク管理)などは 基幹系や情報系､外部機関などから大容量データを抽出、加工し、目的データベースに積載する業務が 多く発生するが、TeraStreamはこのような業務をスピーディに処理できる。 受信 与信 外換 DW/DM/CRM､ 債権､ 監査､ ALM カード 自動振込み 大容量 資料 加工 作業 (TeraStream) 人事 会計 給与 顧客 実績 ---< 11 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. TeraStreamTMの適用範囲:クレジットカードシステム TeraStreamはクレジットカードシステムから決済業務の請求内容､請求明細､商品別集計､顧客別集計 作成と対照業務などに利用できる。 対照業務 精算業務 業務内容 作業の流れ カードDB 1. TeraStreamのFACT 機能を利用した該当 資料を迅速に作成 する。 当月一括払い対照内容や集計 TeraStream/FACT 売上(24ヶ月) 当月分割対照内容や集計 TeraStream 顧客 2. TeraStreamを利用し 取消や先払いを反 映した商品別/顧客 別集計と売上件別 売上額、該当月の 決済明細内容など を作成する。 取引内容 取消､ 先払い TeraStream 商品別集計 顧客別集計 当月キャッシュ対照内容や集計 • SORT / JOIN • MERGE • SUMMARY 請求(24ヶ月) • SORT /JOIN • MERGE • SUMMARY 当月請求対照内容や集計 当月決済明細 ---< 12 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. TeraStreamTMの適用範囲: 与信監査システム アカウント系データベース、情報系データベースで発生されるデータを与信監査データベースに 適用する作業で、FASはデータがリアルタイムアップデートしないところを利用できる。 アカウント系ファイル 抽出 10MB 10MB 10MB 10MB Select Insert/ Update アカウント系 FAS データベース Select FTP 転送 1GB 1GB 1GB 与信監査 データベース 情報系ファイル(お客様情報､ 流動性､調合与信) 情報系 データベース 業務 DBMSを活用した業務 TeraStreamのFASを活用した業務 会員組合 還元業務 00:32:11.70 00:00:55.54 ---< 13 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. TeraStreamTMの応用範囲 データのリアルタイム、バッチ処理 ビーリング(Billing)、統計作業 ウェブログ整理 24*365オンライン（E-Business)環境からオンラインに与える影響を最小化しビーリング/ 締切りなどを高速処理 システム統合 迅速且つ効率的なデータベース運用 ( Load/Reorg/Restructure ) 大量バックアップデータの整理や照会 ---< 14 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. TeraStreamTM 応用 (続き) データレベルのリアルタイム処理、一括処理 様々なシステムで発生するデータをリアルタイム、又は一括処理することが出来る。 スケジューラー (TS_Admin) ローカルシステム1 ビジネスロジック適用 Bulk ローカル資料 Deferred 抽 出 적 재 ローカルシステム2 加工 統合システム Sort / Join / Merge ローカル資料 ---< 15 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. TeraStreamTM 応用 (続き) ビーリング､統計業務 KTF 構築例 統計庁人口総調査統計情報構築例 総合データ 基本データ 抽出 Mainframe 抽出データ プロセス データ移行 件数 Unix Server マスターファイル TS System Meta Batch Precess Process SAM データエラー値 データ 検証結果値 データ 品質 Rule Set Sort / Merge Join Distribute TeraStream JukeBox Backup Data 各サマリーファイル 市、道別 サマリーファイル データ標準化 データ結果値 総合データ集計関連データ データ標準用語 データコード データ品質管理 人口移動 総合集計関連データ サマリーファイル 市、群、区別 サマリーファイル 経済活動 サマリーファイル 洞別 サマリーファイル 通勤通学 サマリーファイル 調査区別 サマリーファイル 賃借料金 サマリーファイル WEB TS Systemの搭載機能利用 SAM (結果 物) GP7000 Search Engine 照会 Single View画面提供 KOSIS DB ユーザ Query 国民に対するサービス 統計庁内エンドユーザ ---< 16 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. TeraStreamTM 応用 (続き) システム統合 ウェブログ整理 ウェブ環境ではオンラインのパフォーマンスと共にマーケティ e-Business拡大、企業内システムの統合が新しい課題とし ング戦略の為のデータ分析は重要である。 て浮上する。(業務のシステム化) ウェブ環境は毎日膨大なデータを発生する。同データ処理に データ連携がないシステムを統合する為、迅速且つ確実な TeraStreamを利用し整列､抽出､集計することにより、情報整 データ加工方法が必要となる。 理､集計等が迅速になる。 スケジューラ Web Log Reference HTS 運用システム1 Query Web Server Web Analysis Server TeraSTream DB Server TeraStream 運用システム3 Business Logic 適用 原始資料 運用システム2 Internet 原始資料 抽 出 加工 保 存 整列/join/merge 目的資料 運用システム4 目的資料 ---< 17 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. TeraStreamTM 応用 (続き) 24時間*365日業務 24hr. On-Line 構築例 24hr. On-Line & Batch 作業構築例 Legacy DBに負荷がかかる統計性(join､整列同時作業 可能)照会は TeraStreamを利用する。 TeraStreamは開発環境であるPro*CとTuxedoの互換 に優れ、自由にデータ交換することが可能である。 今日のインターネット環境では「24時間ショッピング」が一般化されて いるが、同サービスの機能を完全に提供できるソリューションはない。 TeraStreamを利用し、一つのシステムをオンライン(DBMS)から分離 し運用することにより、二つのシステムを構築することなく、データ整 合性を管理することなく、24時間オンラインサービス中に精算、請求 資料作成などの作業が可能である。 Clients Pro C Program Legacy Web Server 24時間 オンライン サービス On-Line Server Insert/Update Load/update DBMS Oracle Tuxedo 結 果 TeraStream Separate I/O Channel Select Query Window SAM Query Button Load TeraStream Report to display ---< 18 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. TeraStreamTM 応用（続き） RTI & ETL 構築戦略 スケジューラーにより全てのデータ処理過程のモニタリングやコントロール管理 構成図 外部連携システム RTI & ETL システム(連携システム) 転送 DB DB DB Data Data Data UnLoad リアルタイム ログ 抽出 (RTI-Agent) 配置転送 Cache領域 (SHM) TeraStream_RTI Server Engine 並列処理 Agent Engine データ Routing Field の定義 ターゲットシステム 転送 Load Utility DB サーバ TeraStream_RTI Server Engine Log DBMS SAM ETT Server 分散ファイル 処理要請/応答 WAS Server SAM 構築方向 • • • • • コードや文字の自動コンバージョン機能提供、開発生産性向上の為のGUIやScript方式提供によるプログラム開発機関の最適化を維持 スケジューラによる全過程の開始、終了管理を実行 RTI_ServerからRTI Serverや RTI Agentとの通信の為のAdaptorを開始、終了管理を実行 RTI ServerでMessage送受信プロセス管理 RTI Agentでは変更分データのリアルタイム抽出や転送が可能、RTI Serverではデータのコンバート、マッピングなどのビジネスロジックを実行することで、 構築するシステムへ転送 ---< 19 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. 韓国国内における導入企業 企業 農協 適用 業務 •データウェアハウス •ALM •カード •控除システム 金融決済院 •基幹系システム •払込通知書､金融 EDI､ VAN •収納帳票情報化 ハナ銀行 KTF (旧ハンソル M.COM) 日立メインフレームと情報系システムで、データをロード/変換過程を経て 運用テーブルの生成部分のTeraStream利用 TeraStreamは全体ETT工程の約70%程度作業を担当し、C/SQLの依存度を下げ、 維持保守を簡素化した。 •情報系システム(DW) 国民カード KoreanRe 作業 内容 •新カードシステム •システム統合 •照会機能を持つ バックアップシステム データ量の多い作業の場合、TeraStreamを利用し作業 •SQL処理で1時間30分かかった作業を15分に短縮し、実行時間削減やDB負荷減少効果 を得た。 既存のシステムは、一度に一つのソートのみを対応したが、TeraStream適用後は月 間作業の多重処理を可能にした。 複数の銀行や企業の払込通知書データをソート/Mergeし、用途により分類 (distribute)する作業を毎日実行可能にした。 バッチサーバは DBMS代わりに TeraStreamで全てのバッチ作業を3時間以内に 処理することで全体業務の要求事項を満足させた。 既存テーブルの加工を含め､12時間以内の移行業務を実現した。 •メインフレームでバッチ処理をUnixサーバに移管処理し、スピード向上や低定価ハ ードウェア資源を利用し経費削減を実現した。 •3TBのデータバックアップと照会サービス領域を、TeraStream適用後はファイルを 日付別に分類し、照会キーでソート後、光ディスクに保存、サーチプログラム(FAS) で照会ができるようにした。 ---< 20 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. 韓国国内における導入企業(続き) 企業 適用 業務 国民健康 保険公団 •データウェアハウス •システム 統合 健康保健 審査評価院 •データウェアハウス •請求/評価システム 評価業務の月作業データを(明細内容 20G､ 詳細内容40G) 業務サーバからFTPで受信 し TeraStreamを利用してバッチ処理 •TeraStreamは迅速なファイル検索のAPIを支援し、updateのないテーブルはファイル で管理する為、ハードディスク容量を大幅に減らし経費節減効果を得る •テーブル数は約700個(700GB～1TB)程度で、これはバッチサーバ(IBMP660)により加 工し、データウウェアハウスサーバであるIBM SP(10 node)に積載する。 • TeraStreamは全体作業の中で、大量データを処理(10GB/14min for sort)､ ETT時間 の短縮､工程の遅れを解消し､システム負荷を大幅に下げる。 •データウェアハウス •全体処理作業時間を大幅短縮し、維持保守を簡単にする。 •Unloadされたデータの中から有効データのみ選別､変換過程を経て、テーブルを生成 する過程をTeraStreamが担当。 •データウェアハウス •毎日3時間以内にバッチ処理を締め切るが、これを満足させるソリューションは TeraStreamが唯一であった。 •毎日発生される多次元データベースのテーブル生成作業を高速に処理する。 LG流通 財政経済部 •ソートやファイル加工作業､データウェアハウス構築 •各事務所のシステムのデータを単一のシステムにて処理 •データウェアハウス 国税庁 ウンジン コーウェイ 作業 内容 •財政情報化システム •財政統合システム 複数のバッチ作業にて機関別に転送される税入り､税支出の会計システム作業 •バッチ作業そのものが複雑でSQL実行時間が非常にかかる為、TeraStreamに適用し バッチ作業を実行 ---< 21 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. 韓国国内における導入企業(続き) 企業 LG Telecom 適用業務 •基幹系システム •ビーリング配置業務(CDR､ 請求書など) に必要な膨大なデータのソート作業に TeraStreamを適用した。 •ビーリングシステム •データベース依存業務プロセッサーを改善し、大量データ処理のスピードや方法向 上(2倍～14倍)DBMS負荷の減少を実現した。 •課金､売上､ 精算､料金に適用した。(72時間 → 1時間 処理時間節減) •一日通話料集計処理にTeraStreamを利用し時間を短縮した。(35分 → 18分) ハナロ通信 国民銀行 作業内容 •O-CRM ダウンサイジ ング •次世代システム 新韓銀行 M/F CRM データ(総1TB)を4時間でマイグレーションし、CRM バッチ業務をUNIX サーバに再構築した。 •次世代システムの為のITアップグレード事業に TeraStreamを標準データ移行ツール やコアバンキングパフォーマンス向上方法として適用した。 •新カードシステム •現代カードのダイナスクラブ合併や既存のダイナスブランド以外に Visa/Masterカ ード提携､現代[M]カード､ KIAノブレスカードの出資で入会者の増加により、会員詳 現代カード 細情報を構築した。 •パフォーマンス改善 情報通信部 •Pro*Cで構築されたバッチ処理の非効率性で、システム負荷や莫大な作業時間の問題 を克服する為、パフォーマンス改善作業にTeraStreamを適用し平均65%以上のパフォ ーマンス改善効果を得た。 ---< 22 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. 韓国外換銀行の次世代システムや新情報系システム 韓国外換銀行次世代バンキングシステム構築事業や新情報系システムで TeraStreamが、標準 ETT､ ソート､ データロードツールとして採用され、メインフレームダウンサイジングを構築した。 適用範囲 既存のシステム 新システム 2005年 2月 稼動停止 メインフレームデータをUNIX環境の データに完璧移行 2005年 2月 OPEN BATCH TSを利用 情報系 アカウント Flat File IBM M/F 新勘定系システムでのバッチ処理実行 HDB､ DB2 Conversion 既存の情報系業務と新情報系業務のサービ スを停止させることなく、完璧なデータ の整合性を保障し、新しいシステムへ データ移行 Fla t Fil e ETL SAS DB1 DB3(New ODW) ORACLE 9i 全システムでデータの抽出が必要な部分 にFACTをインストールし利用 システム移行後、情報系データベースの運用 を2日から1日に短縮､費用削減を実現 ETL ETL Flat File 24時間 DB SPLIT 新しい情報系で複数のMARTでデータ加工､ 転送 BATCH TSを利用 EDW BATCH SPを利用 batch BATCH TSを利用 ETL Extract ODW BATCH SPを利用 Old ODW ORACLE 9i DB2 DATA MART (SUB システム) Profit ManagementRISK Fla t New EDW Fil e Sybase ASIQ 12.5 Extract 後 FTP 転送 KPI ---< 23 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. EUC 国民(クンミン)銀行 O-CRM マイグレーション ▶ 6週間の短期間でTeraStreamを利用しM/F CRMデータ(計1TB)を4時間でマイグレーションし、 (EBCDIC→ASCII)､ CRM 配置業務をUNIXサーバで再構築した。 適用範囲 既存 CRM 配置 プロセス Input Flat File メインフレームデータをUNIX 環境のデータに変換 Error Yes 基準Table 新O-CRM システムでの配置業務を実行 No Match 1 Record read データのハングル変換など様々なデータ変換や加工 ターゲットTable No Match 既存CRM 業務の中断を最小化し、システム移転を実行 Insert Update Yes 業務名 M/F作業 Pro*C T/S 効果 KB STAR CLUB 関連情報 変更 2:30 プラチナカード更新作業 0:10 0:55 0:15 73% カード債権管理お客様 抽出 0:30 16:00 0:50 95% 滞納者お知らせ口座リス トロード作業 0:30 6:30 2:00 TeraStream 適用 CRM 配置 プロセス Input Flat File 基準 Table 70% ターゲット Table Unload Unload Flat File Flat File Join Not Match Flat File Match Flat File Join Not Match Flat File 1:25 0:25 71% Insert Match Flat File Update ターゲットTable # T/S: TeraStream™ M/F: Main Frame 의 약어임. ---< 24 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. LG-Telecom パフォーマンス改善 パフォーマンス改善作業により業務プロセスの作業時間を短縮し､システム負荷軽減や生産性を向上させた。 平均56%の作業時間の短縮効果を得た。再作業の際、Contingency確保やデータ提供、遅延によるIMPACTを 最小化し、システムリソース使用の効率性を向上させた。 既存プロセス方式 ソースシステム(MPS) TeraStreamTM を利用したプロセス 方式 ソースシステム(MPS) ETT システム (ODS) EDW システム ETTシステム (ODS) ファイ ル 業務 周期 営業売上 月 課金通話詳細 日 ERP配置作業 月 着信 CDR (NMS) 月 発信 CDR (NMS) ERP 提供 BATCH 月 月 OLAP MART システム 区分 EDW システム OLAP マートシステム EDW システム OLAP マートシステム EDW システム EDW システム OLAPマートシステム EDW システム EDW システム InfometicaTM 時間 12:50 18:35 5:50 8:00 11:20 5:00 11:40 8:20 16:20 EDW システム OLAP MART システム TeraStreamTM 時間 5:00 8:20 3:00 4:00 3:15 2:15 2:20 4:50 5:15 ---< 25 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. 改善率 61% 55% 49% 50% 71% 55% 80% 42% 68% 統計庁人口住宅総調査構築 統計庁人口住宅総調査事前環境 2005年調査資料 伝授전 標本표 수 본 外国人 特別 …. データベースやファイルの整合性を維持しなければならない。 BACH 非 定 形 分 析 ウェブベースによるデータや集計ファイル、分析ファイルにアク セスを容易にする。 統合ファイル BACH BACH 流形別Summary BACH 暫定集計表 流形別Summary BACH 最終集計表 バ ッ チ 統計庁人口住宅総調査 TeraStreamの適用効果 BACH 最終集計表 集 計 表 Pro*C開発より開発期間の短縮 SQL より高パフォーマンスの演算処理実行 演算作業をマルチプロセスにて作業 分 析 CPUの占有率を全体的に低く維持 リソース節減による効率性のアップ 統計報告統合ソリューション適用による効率アップ ---< 26 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. 国税庁データウェアハウス ▶ 国税庁データウェアハウス構築でTeraStreamは、大量データのETCLを検索されるよう設計した。 適用範囲 事業期間 : 2002年3月～2003年12月 (22ヶ月) システム構成 : ETCLサーバ(IBM P660/6CPU/8GB MEM)､ DWサーバ(IBM SP 10node) Source Data (初期分/変更分) : 650GB/50GB Target Data (初期分/変更分) : 2TB/150GB (IBM DB2に 積載) FTP 大量データ 作業 Tool 少量データ 総作業時間 TeraStream 27時間 42分 43秒 DataStage 181時間 7分 39秒 74%の作業時間を短縮することができた。 ---< 27 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. 健康保険審査評価院データウェアハウス ▶ 健康保険審査評価院データウェアハウスのETCLや評価業務分析の為、TeraStreamは大量データのETCLや データマートを検索するよう設計構築した。 適用範囲 事業期間 : 2002年8月～2003年7月 (12ヶ月) HP V2500 本社支援運用系システム システム構成 : DWサーバ(HP Superdome/40CPU/104GB MEM) Superdome CPU=40 EDW Server Source Data (初期分/変更分) : 12TB 大量データ Target Data (初期分/変更分) : 84TB (Sybase ASIQ 積載) Flat File 少量データ TeraStream Sort/Join/reformat 特長 : 大容量データ処理ツールとしてTeraStreamが 採用された。 Infomatica CoSORT Conversion/sum/logic 積載 受付/審査調整/明細 書/診療内容/処方箋 交付内容/療養機関 Sybase IQ OLAP ---< 28 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. 情報通信部/郵政事業本部：金融システムパフォーマンス改善 郵政事業本部の金融システムを改善し、全システムの配置業務や抽出業務に TeraStreamが採用され、 システムの構築をした。 既存(Pro*C) Batch プロセス Target System Source System 適用範囲 現在運用システムである Numa-QからFACTを利用して データを抽出、変換、加工、積載 新しい勘定系システムでの配置業務 を実行 新しい勘定系システムで新しい情報系にデータを抽出、 加工、 転送 Table Table Table Table Table Table Insert/Update Fetch SQLクエリー パフォーマンス比較 区分 既存のプログラム (SQL) 変更プログラム (TeraStream) 件数 TeraStream 適用 Batch プロセス Run Time 4､072 3分22秒 496､784 26分57秒 993､568 1時間22分41秒 2､500､000 3時間17分31秒 4､072 7分23秒 496､784 7分24秒 993､568 11分30秒 2､500､000 16分14秒 Source System Target System Table Table Table Unload FACT Table Table Table TeraStream CoSORT Load LOAD Sort. Join､ Sum Unload Sam File Sam File ---< 29 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. 農協中央協会：新カードシステム 農協中央協会で進めている新カードシステム構築事業にTeraStreamが採用された。 既存データの各種変更、データ加工業務構築後、日常業務で使用されている。 カード部署 IBM P690 適用業務 一括払い、分割、現金サービス、海外お取引に関するデータを 抽出し、顧客の手続番号、決済日付別に作業を行い、顧客住民 番号にアクセスし請求テーブルに作成 Oracle 高速抽出 上記業務をSAMファイル上で迅速に実行させ、作業時間を短縮 するよう再設計、再構築 パフォーマンス資料 作業分類 実行時間 処理件数 データ読み込み 01:15:27 9､100万件 データの加工 00:42:13 データの結合 00:01:08 データのロード 00:02:00 410万件 全体実行時間 02:00:48 9､100万件→410万件 お客様 一括払い 一括払い 先に決済 … 住民 番号 Sort/Join Aggregation/ 加工 一括払い 分割 キャッシング 海外 請求 積載 請求テーブル ---< 30 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. 農協中央会：データウェアハウス 農協中央会データウェアハウス構築にTeraStreamが採用された。 一般的なETTツールでは実現不可だったが、既存の大容量データ処理をTeraStreamが実現可能にした。 勘定系 情報系 適用業務 農協中央会のデータウェアハウスシステムは、既存の 日立ホストと情報系運用システムにおけるデータを 読 み込み、有効データに変換/選別プロセスを含む DWで 運用するテーブルの生成プロセスに TeraStreamを利 用した。 TeraStreamは全体ETT工程中に約70%程度の作業を担 当し、全工程の大幅の時間短縮した。 C､ SQLに依存しない為、維持保守が簡単。 勘定系 情報系、受信与信総合 抽出/移動 抽出/移動 Conversion Cleansing and Filtering Sort パフォーマンス資料 Join TeraStream適用後 既存方式 全体配置 3～5時間 4日 変更された分の 配置 1～2時間 24～48時間 Merge Summary Calculation Load DW Server ---< 31 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED. 金融決済院：払込通知書処理 金融決済院は銀行や企業からの払込通知書、振込用紙データを元に、様々なバッチ処理を迅速に処理した。 旧運用系 照会 適用業務 金融決済院は銀行や企業の払込通知書、振込用紙データを ソート、集計し、用途によって分類する業務を日々実行。 同業務は翌日早朝まの完了が必須だが、データの増加により メインフレームバッチ作業のスピードでは同要求事項は処理で きなかった。 TeraStreamは同業務を簡易スクリプトにて高速処理した。 TeraStream利用により、新サーバの追加購入の削減、既存の サーバを充分活用することができる。 Tandem Mainframe 作業終了後 結果転送 臨時作業 作業移動 SAM データ 変換 臨時 UNIX Server SAM パフォーマンス資料 TeraStream 未使用や使用の際の環境 移動 / 積載 作業所要時間 Tandem M/F 9 時間 Tandem M/F & UE5000 & CoSORT 3 時間 新運用系 配置業務 Sun UE6500 ---< 32 >--COPYRIGHT © YDC Digital Corp. ALL RIGHTS RESERVED.
© Copyright 2024 Paperzz
