サービスアシュアランス管理 CA Introscope 導入事例 基幹システムのアプリケーション性能維持を実現 株式会社 NTTドコモ サーバ 500 台、端末 38,000 台 企業活動の根幹を支える顧客情報管理システム プログラムの Java 化を契機に CA Introscope でリアルタイム性能監視を実現 問題特定の所要時間が 1 ∼ 2 時間から 10 分に短縮 リアルタイムに状況を把握することで 障害を予測し、事前対応が可能に 株式会社 NTTドコモ 情報システム部 顧客システム担当 担当部長 吉田 宏史 氏 常に変革とチャレンジを実行し、顧客視点でのマーケ ティングを基に、グループで結束して現場原点主義で事業 を推進し、顧客一人ひとりにベストなサービスと安全性を 提供している株式会社 NTTドコモ。同社では企業活動のラ イフラインといえる顧客情報管理システム「ALADIN」を 開発・運用しているが、プログラムを Java で全面的に刷 株式会社 NTTドコモ 情報システム部 顧客システム担当 主査 吉田 孔昭 氏 新するのに合わせ、性能監視業務も根本から見直すことに 決定した。リアルタイム性能監視を宿願としていた同社は、 Java の性能情報をサービス視点でリアルタイムに取得でき る CA Introscope のテクノロジーを高く評価し、採用を決 定。本番環境に適用して性能に関する懸念をいち早く検知、 迅速に分析／対応して、継続的に安定稼働を維持する体制 ドコモ・システムズ株式会社 顧客システム事業部 システム担当 ALADIN-SE プロジェクト 主査 秋山 俊雄 氏 を確立した。 成長を続ける ALADIN の処理性能を どう維持するか？ めないかと思っていたのです」 NTTドコモには ALADIN と呼ばれる顧客情報管理システムがあ ついても根本的に見直すことにした。最初は同社の運用ニーズに る。正式名称は ALl Around Docomo INformation systems といい、 あわせて都度フルスクラッチで自社開発することも検討したとい 本部と全国約 3,100 店のドコモショップにある約 38,000 台の端 う。しかし、次々とリリースされる新たなサービスや、それらを実 末を接続し、端末販売から在庫管理まで顧客対応に関する業務プ 現するための新機能にオンタイムに追従するには限界を感じてい ロセスをリアルタイムに支援している。データセンタには 500 台 た。 に上るサーバ群を擁しており、巨大な基幹システムとなっている。 AL ADIN は顧客対応業務に直結しているだけに、システムの安 定運用は NTT ドコモにとって非常に重要なテーマだ。安定運用の そこで、このプログラム全面刷新を機に、性能管理のあり方に リアルタイムな性能監視機能を評価して CA Introscope を選択 ポイントとなるのは、処理しているトランザクション量や処理レス 吉田主査は CA Technologies から CA Introscope のプレゼン ポンス、そのときのシステムリソースの状況といったシステム全体 テーションを受けたときの様子を次のように振り返る。 の状況をリアルタイムに把握し、何らかの悪化傾向を捉えること。 「Java プログラム個々のレスポンスやメモリの利用状況を、 あま そして必要に応じた対応を速やかに実施し、トラブルがシステム りオーバーヘッドをかけることなくリアルタイムに取得できるとい に重大な影響を及ぼすことを未然に防ぐことだ。 うコンセプトに魅力を感じました。また、プレゼンテーションで 従来は上記のようなシステム全体の状況を把握するのに既存の は監視する情報を任意で選び、グラフィカルな管理画面をその場 製品に頼らず都度ツールを開発し対応していた。しかし、情報シ ですぐに作成してくれました。その管理画面では設 定したしきい ステム部内にはもどかしい思いがあったという。株式会社 NTTド 値にしたがって、状況を色別に表示しており、システムがどういう コモ 情報システム部 顧客システム担当 担当部長 吉田宏史氏は次 状態にあるかひと目で把握できます。こうした視認性の高いグラ のように語る。 フを多用した情報の可視化機能が 1 つのパッケージで提供されて 「これまで開発してきたツールでは、システムの状況を把握する いることがすばらしいと思いました」 ための情報がリアルタイムに得られない、ということに尽きます。 吉田主査も“ひと目ぼれだった”という。 必要な情報を即時取得することが困難であり、 “今”の状 況が分 「タイマー、カウンター機能を担う“プローブ”を Java バイトコー からないため、変化の予兆を捉えることが難しかったのです」 ドに埋めこんで性能情報を見るという Introscope Probes の機能 そんな折、開発の効率化と外部環境の変化への柔軟な対応を が衝撃的でした。これは Java の中に手を突っこんで情報を取って 目指し、AL ADIN の全面刷新計画が持ち上がった。プログラム構 くるようなもので、これまで見たことのない機能でした。まさに 造およびデータ構造を見直し、Java をメインにしたシステムに刷 仮想マシンで動く Java の特徴を生かした革新的なテクノロジーだ 新するという、大きなプロジェクトだ。 と思いました」 同社にとっても、基幹システムを Java で構築するのは初めての パッケージ・ソリューションであることから、フルスクラッチで こと。情報システム部は従来以上に性能維持に注力していく必要 自社開発した場合に比べて、システム性能の管理業務におけるコ があると考えた。株式会社 NTTドコモ 情報システム部 顧客シス スト削減効果も見込めた。 テム担当 主査 吉田孔昭氏は次のように語る。 「単 純 な比 較は困難 ですが、5 年、10 年と CA Introscope を 「Java は仮想マシンの上で動くので、OS からはシステムの状態 利用していけば、ある時点で必ずこちらの方がコストを低廉化で を把握しにくくなります。そのため仮想マシンの動向を可視化しな きるという試算が立ちました。また、それ以上に、これによって いとシステムを安定的に動かすのは難しいと考えていました。ま AL ADIN のシステム性能の管理業務の品質を大きく向上できると た、新しく性能監視を行うなら、お客様視点という観点を盛りこ いう期待がありました」 （吉田部長） 図 1 ALADIN システム概要 センタ 量販店・Webサイト CA Introscope eサイト オンライン ショップ ドコモショップ 3,100店舗 CA Introscope Webサーバ 他システム CA Introscope アプリケーション サーバ データベース システム 他の製品も比較検討したが、これ以上の機能を有する製品は見 ポンスも、クライアントに CA Introscope を導入することで取得 当たらず、ALADIN 担当チームは CA Introscope の採用を正式に できるのではないか」 決定した。 実は、これこそが長年望みながらなかなか実現できなかったこ とだった。 本番環境への負荷を必要最低限にするため CA サービスを起用 そこで約 38,000 台の端末のうち 300 台を抽出、クライアント プログラムの中から監視したい項目を選び出し、センタ側でリア 顧客システム担当チームは、AL ADIN の Java プログラム開発と ルタイムに状況を把握できるようにした。サーバ内の処理レスポ 並行して、CA Introscope の検証をスタートさせた。主に Java プ ンスやシステムリソースの把握に必要な情報とは異なり複雑な設 ログラムの処理のひとつひとつがどのように示され、システム全 定となったが、CA サービスが全面的に支援した。 体をどのように可視化できるのか、具体的にどのような機能を有 また、本番移行が近付くにつれて監視対象のサーバが増えたこ しているか検証したが、特に重視したのは、Introscope Probes とにより、CA Introscope 管理サーバの負荷が増加した。これに が本番環境に与えるオーバーヘッドだった。すでに低いオーバー 対応するため、NTTドコモではスケールアウトによる対応を決断。 ヘッドを実現してはいるのだが、AL ADIN は全国のドコモショップ こちらについても複数サーバ間での CA Introscope の機能切り分 3,100 店、38,000 端末から利用される顧客対応のためのシステ けなど CA サービスが精力的に動いた。 ムである。少しでも処理レスポンスが劣化すれば、目の前の顧客 「導入直前まで大きな変更がありましたが、時間がない中、CA に応対しているドコモショップスタッフの業務に支障をきたし、顧 サービスは親身になって手助けしてくれたと思います。彼らがいな 客満足度を大きく低下させることにもつながる。それは顧客シス ければ本番稼働にこぎつけるのは難しかったでしょう」 テム担 当チームとして絶 対避けたい 事 態 だった。そ のため、CA と、吉田部長は述懐する。 Introscope に対しては、1 秒程度で処理される主要業務について はその 1 割以内、それ 以 外については最 大 500 ミリ秒以下の負 システム性能の挙動も一元的に管理 荷に抑えるように求めた。 2010 年 10 月、新しい AL ADIN への CA Introscope による性 当初、顧客システム担当チームはチューニングに努めたが、な 能監視が本格的にスタートした。現在、運用の流れは以下のよう かなか目標値に達しない。そこで同チームは、CA Technologies になっている。 のテクニカル・コンサルティング部隊である CA サービスを起用す 1. AL ADIN の中でも、特に重点的に把握したいトランザクショ ることにした。CA Introscope の専任技術者が同チームに合流す ン処理のレスポンスやシステムリソースの利用状 況をリアル るとともに、オーストラリアや米国本社から製品開発責任者が来 タイムに観察、把握し、問題 発生の予兆を検 知。それ 以 上、 日。彼らの協力を得て最適なチューニングを施すことで、目標値 状況が悪化しないために必要な対処を実施する。 を達成した。 2. 予兆が 検 知された場合、重要なサーバについてはほぼ同ス ケールで構築されているデバッグ環境で、疑わしい箇所の推 対象はクライアントシステムへも 導入を目前にふくらむ期待 定および特定、改修を行う。 3. 改修プログラムを本番環境に適用する。適用後は、改修箇所 CA Introscope 導入検証プロセスが終盤に入ったころ、同社の のレスポンスやシステムリソースの利用状況などを逐次把握 執行役員で情報システム部長を務める西川清二氏が 1 つのアイデ し、問題が解決したことを確認する。継続が必要と判断した アを出した。 場合は、引き続きレスポンスやシステムリソースの利用状況 「全面刷新を機にクライアント側も Java にするのだから、処理 開始のボタンを押してから処理結果が返るまでの現場の体感レス の観察を続ける。 また、事 前にデバッグ 環 境にて測 定した 結果を本 番環 境で照 図 2 CA Introscope の活用方法 本番環境 ①レスポンスの劣化や システムリソースの 異常を検知 ★比較データとして活用 ③改修の適用と 問題解決の確認 デバッグ環境 統合性能検証のレポートを 本番環境での指標として活用 ★統合性能検証 ②被疑箇所の特定・改修 本番環境とデバッグ環境を 融合したサイクル 年に数回実施 デバッグ環境から 本番環境への持ち上げ サービスアシュアランス管理 CA Introscope らし合わせて、想 定 通りのレスポンスやシステムリソースの利用 「これまでレスポンスの劣化やシステムリソースの異常といった 状況となっているかどうかを監視している。ちなみに、今回新し ことが起きても、その問題を特定するまでに最低でも１∼２時間 く構築された性能監視システムでは、周辺システムからパフォー 必要でしたが、今では 10 分程 度でできるようになりました。性 マンスに影 響 を与える危 険のある情 報を単 純 なスクリプト構 成 能監視というのはニーズが動的に変化しますが、刻々と変わって で CA Introscope の監 視 対 象に迅 速 かつ容 易に取りこめる CA いく状況にわれわれが対応できているのは、CA Introscope で柔 Environment Performance Agent（以下、EPA）を有効活用して 軟に監視画面を構築できるからです」 いる。これにより、サーバ OS 情報、サーバの CPU 利用率情報を 必要な情報がタイムリーに入手できることで、プロアクティブな 取得、合わせて CA Introscope 上で監視を行っている。ドコモ・ 障害対応も実現している。Java のメモリリークを早期に発見して システムズ株式会社 顧客システム事業部 システム担当 AL ADIN- システムトラブルを未然に防げた実績もある。 SE プロジェクト 主査 秋山俊雄氏は、その使用実感を次のように CA Introscope は東日本大震災の復旧にも効果を発揮した。被 語る。 災地にある、これまで CA Introscope の監視対象外だった店舗が 「システム性能の挙動は、アプリケーション本体の稼働のみなら 暫定的に早期復旧した際に、その店舗をオンタイムに監視対象と ず、いろいろな原因が考えられます。それをあちらこちらの画面 することで性能的に問題が発生していないかを重点的に監視する を見に行くことなく、EPA を活用することで CA Introscope の中 ことができたのだ。 で一元的に見られるのは、性能監視業務の効率を向上させる上で 同製品の導入によって、AL ADIN はセンタ、店舗とも、性能に とても役立っています」 関するトラブルを早期発見できるようになった。また、問題箇所 念願だったリアルタイムなシステム性能の監視を 実現、先手必勝の対応が可能に を具体的に特定して改修指示が出せるようになったため、開発に あたった SIer の対応も非常に迅速化している。 実際に CA Introscope を使用する中で要望を挙げている機能 本番環境への適用から 1 年。今ではシステムの状況を把握する 追 加項目については、CA 側でも次 期エンハンスへの組み込みな ために必要な情報がタイムリーに入手できるようになった。吉田 ど積極的に取り組んでいる。今後はさらなる性能監視の向上を目 部長は、この大きな変化を次のように語る。 指し、周辺システムや他システムへの適用も検討していく予定だ。 企業プロフィール 株式会社 NTTドコモ 携帯電話サービス（「Xi」（クロッシィ）サービス、FOMA サービス、mova サービス）、パケット通信サービス、国際電話サービス、衛星電話サービス、 各サービスの端末機器販売などを中心に事業を展開。社名は、Do Communications Over The Mobile Network（移動通信網で実現する、積極的で豊かなコ ミュニケーション）の、頭文字を綴ったもので、あらゆる場所・場面でお客さまに満足していただきたいという全社員の願いと決意が込められている。 ※製品の詳細情報については、弊社 Web ページ (www.ca.com/jp) をご覧いただくか、 CA ジャパン・ダイレクト (0120-702-600) までお問い合わせください。 CA Technologies お問い合わせ 〒 102-0093 東京都千代田区平河町 2-7-9 JA 共済ビル お問い合わせ窓口：CA ジャパン・ダイレクト 0120-702-600 WEB サイト：www.ca.com/jp すべての製品名、サービス名、会社名およびロゴは、各社の商標、または登録商標です。 製品の仕様・性能は予告なく変更する場合がありますので、ご了承ください。 ©2014 CA. and / or one of its subsidiaries. All Rights Reserved. 2014 年 11 月現在 Printed in JAPAN
© Copyright 2024 Paperzz
