【Web 連載】ビジネスを牽引させるビッグデータ活用第 3 回：顧客情報の分析と予測モデルの作成データサイエンティスト木暮大輔 A さんは、自社内に約 1 万人の顧客情報が蓄積されていることを知っていました。過去に⾞を購入した顧客と、購入に至らなかった顧客の情報から、すべての顧客をスコアリング（得点化）して、スコアの高い顧客を抽出することにしました。 Web サイトからは、サイト訪問者の資料請求時に取得する「Web 申込時点情報」のデータがあり、「成約情報」もありました。この 2 つのデータを、IBM SPSS を使って分析しました。 ■ データの内容の確認データのファイル形式は、両方ともカンマ区切りの CSV 形式でした。1 万人の顧客属性データと成約可否データは、顧客番号で紐付けることができそうです。顧客属性データは、「性別」や「年齢」など、12 個の顧客属性を持つデータです。成約可否情報データは、顧客との契約が成⽴したか、しなかったかの情報が含まれています。 ■ 2 種類のデータの読み込み読み込んだ２つのデータを、顧客番号で紐づけて１つのデータにします。IBM SPSS のレコード結合ノードを使用して、データの結合キーとして顧客番号を指定することにより、1 つのデータに変換することが容易に実現しました。 ■資料請求者のスコア算出 Web で資料を請求した人は、資料請求フォームに属性を記入しています。全資料請求者の購入スコアを算出します。IBM SPSS は一般的な分析手法を備えていますので、CHAID などの分析手法の中から自分で手法を選択することが可能です。また、複数の分析手法を使って結果を比較することも可能です。あるいは、全部の分析手法を使用して、その中から最適な分析手法を IBM SPSS が選び出すことも可能です。今回は、使い慣れている CHAID 手法を使いました。スコアは IBM SPSS が自動的に判断します。第 3 回：顧客情報の分析と予測モデルの作成【Web 連載】ビジネスを牽引させるビッグデータ活用 ■CHAID ノードを使用した成約フラグを予測するモデル作成 ■ IBM SPSS Modeler に用意されているディシジョンツリーモデル第 3 回：顧客情報の分析と予測モデルの作成【Web 連載】ビジネスを牽引させるビッグデータ活用 ■⽣成されたデータの予測モデルの精度検証既存のデータから分析のモデルを作り出すプロセスの中で重要なことは、データを分析した結果で得られる結果（モデル）が正しいかどうかの検証です。IBM SPSS は、「自分で自分を検証」します。具体的には、IBM SPSS が、検証用のデータと分析用のデータを自動的に振り分けます。例えば、1 万件のデータを検証用に 40%、分析用に 60%と設定すると、6,000 件のデータで分析した結果（モデル）を、残りの 4,000 件のデータに当てはめて検証します。2 つのデータから同等の結果が出るかどうか（分析モデルが学習していないデータに当てはまるかどうか）を判断して、信頼性の高いモデルであることを確認することができます。 ■既存データの分析の結果過去の 1 万人のデータから、スコアの上位 20%は、⾞の購買確率が 90%以上あることがわかりました。⾞のディーラーとして、90%以上の購買確率がある、上位 20%の顧客に絞ってアプローチすればよいことは、営業面で大きな意味がありました。新たに資料請求する人の中から、属性と Web サイドでの⾏動から判断して、5 人に 1 人の割合で営業が直接アプローチすることができるようになりました。これまでは、営業が⾒込み客の中から、成約の可能性が高い顧客を⾒つけるまでに時間がかかっていました。しかし、IBM SPSS の導入と活用によって、⾒込み客の発⾒（データのスクリーニング）に要する時間とコストが大幅に削減できるうえに、成約率が大幅に向上しました。第 3 回：顧客情報の分析と予測モデルの作成【Web 連載】ビジネスを牽引させるビッグデータ活用最後にまとめとして、データ活用のポイントと、分析を始めてからの運用フェイズに入ってからのポイントを整理させていただき、本手記を締めくくりたいと思います。 ■データの分析を始める前のポイントデータを分析して得られる新たな知⾒をビジネスに活用するための第 1 のポイントは、ビジネスの内容や目的に合ったデータを入手することです。ビッグデータの分析を⾏なうためには、分析の対象となる目的に沿って有効な「正しいデータ」を取得することが重要です。一⾒当たり前のように思えるデータの取得には意外な落とし穴があります。 1. 分析の内容と目的の明確化ビッグデータの分析を成功させるためには、分析を担当するマーケターなどが、自社の「ビジネスの内容」を理解していること、「ビジネスの目標・目的」を明確に理解していることが重要です。分析を始める前に、分析の対象となる「データを理解」することが重要です。1 つの販売データでも、「データ全体で分析にかける」「地域を絞って分析にかける」「期間を区切って分析をかける」「時間帯で絞って分析にかける」、顧客属性がわかっていれば「属性別に分析にかける」、これらの上記の条件を複数掛け合わせて分析するといった方法もあります。一般的に、分析機能を持つツールは下記のような分析機能を提供して「自動的に」分析を⾏ないます。  クラスター分析あるデータを、分析軸に対して類似性の高いものの集まりに自動的に分類することができます。たとえばそれぞれのグループで購入している商品、⾦額、購入時間帯などを把握することにより、グループの顧客像を具体化することができます。その結果、それぞれのグループに適したキャンペーンを実施することで、漠然と全体に対して発信していたキャンペーンよりも高い効果を得ることができます。  決定木分析決定因子と考えられる条件を自動的に判断して、確率の高い因子や条件を検出します。決定条件が明確になることでビジネスターゲットがより明確になります。  時系列予測過去の実績に基づき、時系列に沿って規則性のあるものを自動的に⾒出し、予測モデルを出⼒します。出⼒結果の⾒方が理解できれば複雑な統計の理解は必要ありません。⽣産計画や在庫補充計画に有効な情報提供が可能になります。第 3 回：顧客情報の分析と予測モデルの作成【Web 連載】ビジネスを牽引させるビッグデータ活用 ☞ 分析のポイント分析機能ツールは、データをいくつかの分析法に対してそれぞれ自動的に分析解を出します。しかし分析対象データの種類（カテゴリー）や、くくり（範囲）をどのように抽出するかを適切に判断できるのは、分析業務の専門家ではなく、自社のビジネスの内容やプロセスを理解している業務部門です。 2. 分析対象のデータの整備分析対象のビッグデータが、社内の基幹系システムの DB（データベース）にある場合や、社外に存在するデータを分析のために購入することがあります。このようなデータを取得して分析するためには、一連の工程で IT（情報システム）のスキルが必要不可⽋です。分析作業を IT 部門が担当することはまれで、分析対象の業務に詳しい営業、マーケティング、事業企画部門の担当者が分析することがほとんどです。これらの分析担当者は IT の専門家ではなく、ハードウェア、ソフトウェア、ネットワーク、プログラミング、データベースなどの取り扱いに慣れていないために、分析に必要なデータの取得が円滑に進まない傾向があります。また、分析ツールを実際に使用する分析担当部門が自ら製品を選択するのが良いという理由で、IT 部門を通さずに製品を購入した経緯がある場合や、IT サポートを社外の関連会社に依頼することになっている場合など、何らかの理由で IT 部門がデータの取得に積極的に関与されにくい状況があると、データの整備に支障を来たすことがあります。分析作業に関連するワークロード分析作業のワークロード全体を考えていると、分析担当者が分析ツールを使っている時間は全体の一部に過ぎません。株式会社 AIT の経験値によると、分析業務のライフサイクルで発⽣するワークロードは、大別して 3 つあり、それぞれの比率は下記のようになります。作業フェイズ⽐率必要なスキル 1 データ整備 50% ・データ加工スキル・分析ツールスキル 2 分析 30% ・業務知識・分析ツールスキル 3 レポート作成 20% ・業務知識・レポートツールスキル第 3 回：顧客情報の分析と予測モデルの作成【Web 連載】ビジネスを牽引させるビッグデータ活用分析業務に関係するワークロードの約 50%は、分析に必要なデータの整備・加工、他のシステムからのデータの取得など、分析対象となるデータを事前に準備する作業に使われます。分析担当者は、このようなデータの準備作業を得意にしていないために、分析に必要なデータの取得が円滑に進まない傾向があります。「ビッグデータ」という⾔葉に代表されるように、分析対象のデータの量と種類は爆発的に増加しています。今後さらに、分析に必要なデータを準備する作業の負荷が増大することが予想されます。また、分析した後に、第三者にもわかりやすく情報を⾒せるためのレポート作成のワークロードも 20％程度あり、残りのわずか 30％が、実際の分析業務となっています。換⾔すれば、分析以外のワークロードが 70%もの割合を占めています。 ☞ 分析のポイント分析担当者が分析作業に集中するためには、分析以外の作業（データの整備とレポート作成）を、社内や必要に応じて社外にいる IT スキルを持つ人へ依頼することも有効です。特に分析業務を⽴ち上げるタイミングでは、分析以外の作業に関する支援体制の確保が、プロジェクト成功の鍵となります。 ■ ビッグデータの分析開始後のポイントビッグデータを分析して得られる新たな知⾒をビジネスに活用するための第 2 のポイントは、分析ツールの活用です。分析したビッグデータをビジネスに活用するためには、導入した分析ツールを使い切ることと、ツールを使い切るスキルを社内に継続して蓄積することが重要です。分析ツールを導入しながら活用できないお客様では、下記のような状況が発⽣しています。 ① 最初に作成したストリーム（分析ロジック）をずっと使い続けているだけで、⾒直しをしていない。 ② 分析ツールを新しいテーマの分析に活用できない。 ③ 新たな分析に必要なデータの整備ができずに、分析までたどり着けない。上記の理由として、以下のようなことがあります。 ① ツール導入の中⼼になっていた担当者が異動になり、組織内にツールを使える人がいなくなった。 ② ツールのベンダーの研修は操作性に関する内容が中⼼で、自社の分析に合った有効な研修やトレーニングが存在しない。 ③ 自社の問題について相談する相手がいない。（一般にベンダーのサポートは操作方法の質問しか受け付けない） ④ 分析担当者に IT スキルが乏しいために、データの取得と分析のための整備がうまくできない。 ⑤ 何らかの理由で社内からの IT サポートを受けられない。第 3 回：顧客情報の分析と予測モデルの作成【Web 連載】ビジネスを牽引させるビッグデータ活用導⼊した分析ツールを使い切るスキルを蓄積しながら、ワークロードが⼤きな作業を効率化する施策 ① 分析ツールを使用するために必要な最低限の研修・トレーニングを複数社員が受講する。 ② 分析の対象、目標値、評価基準の設定について、継続的に社内でのコミュニケーションを取る。 ③ 新たな分析にチャレンジできるように、他社における分析事例などの情報を継続的に収集する。 ④ 分析手法の検討や、分析レポートの作成等は、必要に応じて専門性を持つソリューションベンダーのサービスを利用。 ⑤ 分析に必要なデータの取得方法を確⽴する。必要に応じて専門性を持つソリューションベンダーのサービスを利用する。分析プロジェクトの成功要因 ① 何を分析するか（分析対象）が明確になっているとりあえず社内のビッグデータがあるので「何か出てこないか試したい」というような分析では、ビジネスに役⽴つ良い知⾒を得ることはできません。また、ビッグデータの分析というものは、２〜３回データを入れ替えたぐらいで「新しい気付き」が出てくるほど単純ではありません。 ② 分析結果の目標値と評価基準が明確になっている分析した結果の評価ができないと、同様の分析手法を継続するか、次のレベルの新たな分析に進めるかなどの判断がつきません。 ③ 継続して分析する担当者がアサインされている自社のビジネスを理解して、社内（たとえば営業部門）とコミュニケーションが取れる人を、分析の担当者（あるいは分析チームのメンバー）としてアサインすることが大変重要です。 ④ 分析に必要なデータを準備するデータの準備は IT 部門以外の人にとって最もハードルが高い作業です。社内に蓄積されたデータに基づいて、データの整備に必要な作業と最善の方法をお客様と一緒になって考える IT 支援が必要です。社内の IT 部門や、信頼できるソリューションベンダーの協⼒が求められます。 ⑤ 分析ツールの最低限の研修トレーニングを受講する分析担当者は、分析手法を理解するだけでなく、分析ツールを使うための最低限の研修・トレーニングを受けて最低限のスキルを持っておくと、外部からの支援をより円滑に受けることが可能になります。第 3 回：顧客情報の分析と予測モデルの作成【Web 連載】ビジネスを牽引させるビッグデータ活用 ⑥ 分析手法の検討やレポートの作成作業は、内容と必要なスキルに応じて専門性のあるソリューションベンダーの支援を受けることも必要分析のアウトプットを理解して、実ビジネスに活用することが分析担当者の役割です。豊富な経験を持つソリューションベンダーを活用することにより、目的にあった分析手法や、分析の対象となる適切な項目の設定などの支援を得ることができます。このような現場レベルでの支援を得ることにより、お客様は本来の役割の分析に集中することが可能になります。本文では、データをいかに活用するのかを具体的な事例にもとづき述べさせていただきました。本文を通じて、データ活用・分析が皆様の実ビジネスに役⽴てていただけたら幸いです。第 3 回：顧客情報の分析と予測モデルの作成