平成 13 年 4 月 23 日(月) お客さま各位カブドットコム証券株式会社執行役員情報システム部長齋藤正勝 kabu.com システムサービス不備のお詫び平素よりkabu.com システムサービスをご利用いただきまして誠にありがとうございます。 3 月 31 日にイーウィング証券と日本オンライン証券のシステム統合/残高データ移管作業を無事完了し、4 月 1 日より新会社での取引サービスを開始し2 週間ほど経過いたしました。この間 kabu.com システムサービスの不備について様々なご不便をおかけしましたことを心よりお詫び申し上げます。その中でも特に、1.ログインしづらい 2.注文取次/受信結果の反映処理の遅延といった不備について、お詫びかたがた以下、ご報告申しあげます。 1. ログインしづらい状況について特に会員向ホームページ128bit 画面のレスポンスが 9:00 過ぎに顕著に劣化するとのご指摘を開業当初より多数のお客さまより頂戴いたしました。弊社情報システム部門一同、これを真摯に受け止め提供元ベンダーおよび関連協業システム会社とともに突貫体制で原因箇所(ボトルネック)として以下の点を検証し改善を図ってまいりました。 1.1. www サーバ(会員向) www サーバとはホームページを表示する画面を生成するサーバ機器のことであり、弊社では 7 台の www サーバを所有しそれぞれ協調負荷分散処理を行っております。当初よりログイン時の応答速度が悪化する原因の一つであると考え、総てのサーバ機器を24 時間体制でモニタリングし解析いたしました。その結果、合併前のアクセス数と比較しリクエスト数も倍規模ではなく数倍規模に急増しておりましたがwww サーバの負荷状況の目安となるCPU/メモリともに日中平均 50%以下で落ち着いていることが分かりました。全サーバへログイン処理や暗号化処理を少しでも高速化するよう、随時 www サーバ提供元のアドバイスを受けながら、チューニングを施し改善を行っております。 1.2. インターネット接続回線弊社では国内最大規模のプロバイダより複数社で共同利用するのではなく、100％弊社だけで利用できるインターネット専用回線を、大手町と有明の基幹バックボーンからそれぞれ 24Mbps の太さで 2 本引いておりプロバイダとは SLA(品質保障契約)を結んでおります。ただしインターネット接続回線についても、特に特定のプロバイダ使用のお客さまより接続しづらい旨のご指摘が多かったことからwww サーバ調査と並行し、他プロバイダとの接続箇所をはじめ各ネットワーク機器間に試験/状態収集ツールを設置し調査を続けてまいりました。使用量はピーク時でも18Mbps 程度で 24Mbps×2 本での容量から全く問題ないことを確認し、各プロバイダへの個別対策を随時行っております。 1.3. ネットワーク機器 1/3 弊社システムにおける各サーバ間やインターネット接続個所には、ルータと呼ばれるネットワーク接続コントロール装置をはじめ様々なネットワーク機器が存在します。特にインターネット接続でのセキュリティ上 FireWall 装置は必須であり、弊社システムとの外部ネットワーク接続には必ず FireWall 装置は通る仕組みとなっております。 www サーバやインターネット回線の調査を進め各ネットワーク機器間に状態監視ツールを設置し測定/分析を続けた結果、瞬間的に特定以上の負荷がかかるとFireWall 装置において応答し切れない状況が発生することが判明しました。弊社では 4 月 19 日(木)に事象を発見後、同日夜間から深夜にかけて代替機器と交換し状況改善を図りました。本作業により4 月 20 日(金)には高負荷がかかっても問題なく処理することを確認できました。 1.4. ログインしづらい状況のまとめ充分な対応までに時間がかかってしまい長時間に渡りご不便をおかけし大変申し訳ございませんでした。しかしながら突貫体制で緻密な測定/分析を実施し、ボトルネック箇所の特定と具体的対応措置は取れたので状況改善が見込まれると思われます。ただし、もともとインターネット接続回線に充分なキャパシティがあり、今までのボトルネック箇所であったネットワーク機器が改善されますと、更に短時間/瞬間的にアクセスが集中することも想定されます。弊社では引き続き監視体制を強化しチューニング作業を随時行うとともに、ゴールデンウィーク期間中に現状の約 2 倍規模（www サーバ 5 台と認証サーバ 2 台追加）の増設を行い、長時間メンテナンス時間を設けお客さまからの集中負荷を想定した高負荷(ラッシュ)テストを行い、限界値を確かめた上で引き続き設備整備/増強計画(キャパシティプランニング)を進めていきます。 2. 注文取次/受信結果の反映処理の遅延特に寄付直後の9:00 過ぎに顕著に劣化するとのご指摘を開業当初より多数のお客さまより頂戴いたしました。弊社情報システム部門一同、これを真摯に受け止め取引所および取次証券会社や提供元ベンダーおよび関連協業システム会社とともに突貫体制で原因箇所(ボトルネック)として以下の点を検証し改善を図ってまいりました。 2.1. 外部システムとの接続箇所（ラインハンドラーや接続回線）回線容量はモニタリングした結果、全く問題はないことが判明しました。また、弊社所有のラインハンドラー(注文電文送受信専用のサーバ)においても送受信処理自体は非常に高速でありボトルネックにはなっておらず、送受信処理後に発生する処理プロセスにおいて高負荷時に改善の余地があることが判明しました。弊社では 4/21(土)および 4/28(土)に取引所および取次証券殿と合同テストを行った上で更なる受信処理の高速化を図るようにします。また今後も予定されるJASDAQ や東証との新システム(TCP/IP 化)へも迅速に対応していきます。 2.2. データベース(DB)サーバ注文伝票やお客様各種情報が整理記録されて保存されるデータベースサーバは、開業当初より処理応答速度(レスポンス)改善の最重要課題として取り組んでまいりました。データベースサーバ機器の移管/移行作業は相応のリスクが伴いますので、合併/移管作業および開業当初は安定/安全性を最重要視し、日本オンライン証券で使用していたDB サーバを検証結果より合併以前の二倍強の負荷にも耐えられることから、ゴールデンウィークまで継続使用すること 2/3 としました。しかしながら合併後のトランザクション量は数倍規模と弊社の予想を遥かに超えるものであり、開業日より常に日々増加傾向にあります。弊社では日々チューニング作業や高速ハードディスク機器投入により対応しておりましたが限界と判断し、4/7(土)∼4/8(日)にお客さま向サービスを長時間に渡り停止し、ゴールデンウィークに投入予定であった 32CPU の DB サーバ（旧環境の 4 倍規模）を実施しました。ただし4/9(月)AM は DB サーバ上で動くデータベースソフトウェアの設定値に問題があり、本来のパフォーマンスが出せませんでした。直ちに設定値の見直しを図り4/9(月)PM 以降は常にピーク時でも30%程度と、安定したパフォーマンスに改善できております。今後もモニタリングと定期チューニングを続けながら7 月頃に超高速ディスク装置機器と接続を図り更なるパフォーマンスの向上と信頼性を高めるようします。 2.3. アプリケーションサーバや勘定系サーバ（発注系等メインプログラムの稼動するサーバ）取扱商品や各種サービスの拡張およびお客様からの照会等各種リクエストの大幅な増加により、ピーク時における単位時間あたりの処理件数が急増し、約定処理(結果受信∼注文伝票 DB 更新∼残高評価リアル更新∼客勘リアル更新∼自動会計仕訳処理∼各通知処理)への処理リクエストが集中的に発生しました。9： 00 後の大量約定処理中は DB サーバだけではなくアプリケーションサーバへも高い負荷がかかり負荷が高くなるとレスポンスが悪化し、お客さまの照会等リクエストも繰返しされる傾向が出始め、結果として処理速度にさらに悪影響を与えてしまっておりました。弊社ではシステムダウンさせないことを最重要視し、各サーバ間の通信処理にはメッセージキューという仕組みを導入し、高負荷時でもシステムダウンせず処理続行するようにしておりますが、結果として高負荷時に遅延という現象が発生しております。対策として開業当初より随時、約定処理等発注系基本処理に影響与えないよう、各発注/約定処理プログラムを別サーバに分散させるようにしております。開業以来最高の処理件数を記録した 4 月 19 日(木)の緊急夜間対策により、4 月 20 日(金)の単位時間辺りの同条件下であってもパフォーマンス劣化がないことの確認をしております。 2.4. 注文取次/受信結果の反映処理の遅延まとめネットワーク系のように一箇所大きなボトルネックがあって、そこが改善されると一気に回復という事象ではなく、特に高負荷環境での結果の受信後からの約定処理それも 9:00 直後の大量処理を他処理からの隔離し負荷軽減をすることと、約定処理そのものの中の各処理をチューニングしパフォーマンス改善させていくことが基本方針となります。弊社では引き続き状態監視と日々の改善作業を、休日の取引所や取次証券会社との合同テストを活用し徹底的に行います。またゴールデンウィーク期間中に、2 台のアプリケーションサーバ追加と２台のメッセージキュー処理専用サーバ追加により、分散後のパフォーマンス向上をさらに改善させます。この度、多数のお客さまから頂戴しました叱咤激励や様々な改善要求を真摯に受け止め、少しでもご満足いただけるシステムサービスを提供するために、引き続きスタッフ一同で昼夜/休日を問わず精一杯努力し状況改善に努めて参ります。何とぞ事情ご賢察のうえ、ご理解くださいますよう伏してお願い申しあげます。以上 3/3