タウンワークにおける サーバーレスアーキテクチャデザイン 株式会社リクルートジョブズ 商品本部 デジタルマーケティング室 マーケティング部 データマネジメントグループ 木田 茂穂 作野 浩之 (C)Recruit Jobs Co., Ltd. All rights reserved 株式会社リクルートジョブズ 商品本部 デジタルマーケティング室マーケティング部 データマネジメントグループ メーカー系Sierを経て 2011年 中途入社 顧客向けシステムのエンハンスを経て 2012年よりデータ関連に従事 木田 茂穂 (C)Recruit Jobs Co., Ltd. All rights reserved 1 Agenda 1. Introduction 2. About CTL and our project 3. Our sort system with AWS 4. Reduction of infrastructure management costs 5. Future work (C)Recruit Jobs Co., Ltd. All rights reserved 2 Agenda 1. Introduction 2. About CTL and our project 3. Our sort system with AWS 4. Reduction of infrastructure management costs 5. Future work (C)Recruit Jobs Co., Ltd. All rights reserved 3 About CTL データサイエンス エンジニアリング インフラ 先進的なテクノロジーや理論をスピーディに事業装着するため 数理モデル作成、アプリ実装、インフラ実装までを データサイエンティストが遂行するプロジェクト型組織 (C)Recruit Jobs Co., Ltd. All rights reserved 4 Real-timeなユーザの嗜好抽出を行う事でコールドスタート問題を解決 ●事業特性 求人 ：週次で入れ替わる 求職者：一度応募したら離脱 レーティング、CV情報を 使ったECなどで利用される 一般的な予測システム 回遊する度にユーザの 嗜好を抽出するリアルタイムな 予測システム データが蓄積される事なく、 アイテムとユーザが 入れ替わるため、 満足な予測ができない 回遊する度に 特徴量が更新されるため、 アイテムとユーザが入れ替わる 前にデータが蓄積され、 満足な予測ができる (C)Recruit Jobs Co., Ltd. All rights reserved 5 Real-time Personalized Sort の 枠組み 回遊時にカスタマーの行動を元にリアルタイムに嗜好を拾う。 検索時に嗜好を元に求人情報の並び替えを行う。 特徴量 keep数 PV数 回遊 ・求人ごとに応募確率を予測 ・並び替え 検索 求人A : 10% 求人B : 8% 求人C : 5% (C)Recruit Jobs Co., Ltd. All rights reserved 6 リアルタイムな予測を実現するためのシステム要件は大量にあった - 検索時にダウンタイムを発生させない予測基盤 - 時間帯によって大きく変動するアクティブユーザーを 考慮したスケーラビリティの担保 - 回遊時のログを損失なく取得するログ基盤 - ストリームデータをごく短時間で処理する予測基盤 - ストリームデータから逐次的な特徴の生成を可能にする 機械学習ロジックの作成 (C)Recruit Jobs Co., Ltd. All rights reserved 7 一方で、CTLのメンバー 6 data scientists (C)Recruit Jobs Co., Ltd. All rights reserved 8 このシステムを作る上で最も考慮したポイント 各種要件は満たしつつも、 可能な限りインフラの運用コストを下げて、 データサイエンティストが機械学習ロジックに集中できる環境 を作る事 (C)Recruit Jobs Co., Ltd. All rights reserved 9 運用コストを下げるために、積極的にフルマネージドサービスを活用 幅広い用途のサービスを提供し、 導入事例、文献が多いフルマネージドサービスを 展開しているAWSを採用した (C)Recruit Jobs Co., Ltd. All rights reserved 10 株式会社リクルートジョブズ 商品本部 デジタルマーケティング室マーケティング部 データマネジメントグループ 2015年 新卒入社 入社以降、一貫してサイト内検索の改善に従事。 バックグラウンド：データサイエンス 今回のプロジェクトでは、インフラの設計、構築 を担当。 さくの ひろゆき 作野 浩之 (C)Recruit Jobs Co., Ltd. All rights reserved 11 Agenda 1. Introduction 2. About CTL and our project 3. Our sort system with AWS 4. Reduction of infrastructure management costs 5. Future work (C)Recruit Jobs Co., Ltd. All rights reserved 12 リアルタイムな予測を実現するためのシステム要件 - ログ基盤の整備 - 特徴量更新、予測の高速な処理 (C)Recruit Jobs Co., Ltd. All rights reserved 13 リアルタイムな予測を実現するためのシステム要件 - ログ基盤の整備 - 特徴量更新、予測の高速な処理 (C)Recruit Jobs Co., Ltd. All rights reserved 14 ログ基盤の整備 ●ログ基盤に求められる要件 - ログを損失なく溜める - ログを多用途に使用できる Log data Stream data processing 回遊時に特徴量を更新 f (x) keep数 PV数 Batch data processing 溜まったログから予測モデル作成 (C)Recruit Jobs Co., Ltd. All rights reserved 15 KinesisとLambdaを使用して、ログ基盤を構築 Amazon Kinesis AWS Lambda (C)Recruit Jobs Co., Ltd. All rights reserved 16 ログ基盤の構成 Stream data processing 回遊時に特徴量を更新 Log data Api Gateway Lambda Kinesis Lambda ELB 特徴量計算 サーバ keep数 PV数 Batch data processing 溜まったログから予測モデル作成 Lambda ●要件 - ログを損失なく溜める - ログを多用途に使用できる S3 EMR ユーザー毎に 分割したログ モデリング サーバ Kinesisを使用し、耐障害性の高い ログ収集パイプラインを構築し実現 ログ処理タイミング別にLambdaを 使用し実現 (C)Recruit Jobs Co., Ltd. All rights reserved 17 リアルタイムな予測を実現するためのシステム要件 - ログ基盤の整備 - 特徴量更新、予測の高速な処理 (C)Recruit Jobs Co., Ltd. All rights reserved 18 特徴量の更新、予測の高速な処理の鍵を握るのはDBの選定 DBの要件： ・高速な読み書きに対応 ・特徴量の変更に柔軟である ・AWSの他サービスとの親和性が高い ・管理コストを抑えられる Amazon RedShift Amazon RDS Amazon DynamoDB Amazon ElastiCache (C)Recruit Jobs Co., Ltd.All Allrights rights reserved (C)Recruit Jobs Co., Ltd. reserved 19 特徴量の更新、予測の高速な処理の鍵を握るのはDBの選定 DBの要件： ・高速な読み書きに対応 ・特徴量の変更に柔軟である ・AWSの他サービスとの親和性が高い ・管理コストを抑えられる Amazon RedShift Amazon RDS Amazon DynamoDB Amazon ElastiCache (C)Recruit Jobs Co., Ltd.All Allrights rights reserved (C)Recruit Jobs Co., Ltd. reserved 20 NoSQLサーバを自前で運用していくか？ 自前で運用する場合 - データ量が増加する場面でハードウェア負荷や検索性能劣化の問題に直面しがち - サーバの監視の仕組みを考える、障害発生時の対応に追われる、シャーディングを考える など本質的ではない事に時間をかけなければならない (C)Recruit Jobs Co., Ltd.All Allrights rights reserved (C)Recruit Jobs Co., Ltd. reserved 21 最終的に DynamoDB, ElastiCache を選定 Amazon DynamoDB Amazon ElastiCache ・分散KVSのため高速なスループットを実現 ・スキーマの定義が不要（特徴量の変更に対して柔軟） ・AWSの他サービスとの親和性が高い ・（そして何より）フルマネージドサービス (C)Recruit Jobs Co., Ltd.All Allrights rights reserved (C)Recruit Jobs Co., Ltd. reserved 22 最終的に出来上がったシステム構成 検索 TownWork API 特徴量計算&予測 Result list Read & Write 回遊 ElastiCache ECS instance Read & Write ELB Feature Store ECS instance DynamoDB ECS instance Logger Batch jobs Auto Scaling group Data pipeline API gateway Lambda Kinesis Log Store Lambda EC2 Container Service Lambda S3 Lambda (C)Recruit Jobs Co., Ltd. All rights reserved 23 Agenda 1. Introduction 2. About CTL and our project 3. Our sort system with AWS 4. Reduction of infrastructure management costs 5. Future work (C)Recruit Jobs Co., Ltd. All rights reserved 24 管理コスト削減の為のサービス選定 AWS CloudFormation (C)Recruit Jobs Co., Ltd. All rights reserved AWS Lambda 25 管理コスト削減の為のサービス選定 AWS CloudFormation (C)Recruit Jobs Co., Ltd. All rights reserved AWS Lambda 26 今回のプロジェクトにおいて、特徴量の追加は重要だが... 今回使用した機械学習の手法の性質：特徴量を大量に追加し予測精度を上げる 新特徴量 特徴量 userid PV数 Keep数 1 25 3 特徴量計算&予測 Result list Feature Store 訪問回 数 特徴量 ElastiCache ECS instance ECS instance userid PV数 Keep数 1 25 3 DynamoDB ECS instance Auto Scaling group 特徴量の不整合が発生 => エラー (C)Recruit Jobs Co., Ltd. All rights reserved 27 特徴の更新は様々なリソースが影響を受ける（アプリケーションとDBが密に結合） Customer 検索 TownWork API 特徴計算&予測 Result list Read & Write 回遊 ElastiCache ECS instance Read & Write ELB 影響リソース ECS instance DynamoDB ECS instance Logger Feature Store Batch jobs Auto Scaling group Data pipeline API gateway Lambda Kinesis Lambda Log Store EC2 Container Service Lambda S3 Lambda (C)Recruit Jobs Co., Ltd. All rights reserved 28 Blue-Green Deploymentに着目 Blue-Green Deployment 新環境 旧環境 - サーバの状態を変更しない事でダウンタイムのないデプロイを実現する - 新環境で問題が発生した時は旧環境へロールバックできる 今回の場合、DBも含めた大量のリソースの作成が必要 (C)Recruit Jobs Co., Ltd. All rights reserved 29 オーケストレーションサービスのCloudFormationを導入 (C)Recruit Jobs Co., Ltd. All rights reserved 30 CloudFormationの特徴 CloudFormation : オーケストレーションサービス ・jsonでAWSのリソースを管理 => Infrastructure as a Code ・テンプレートを使ったリソース作成 => 容易にインフラのコピーを作成できる ・ロールバック機能が優秀 => リソース作成失敗時にゴミが残らない (C)Recruit Jobs Co., Ltd. All rights reserved 31 CloudFormationをラップするスクリプトを作成してデプロイを自動化 S3 json 1, Create stack 特徴量計算&予測 CloudFormation ECS instance Result list ElastiCache Feature Store ECS instance Scrip t 2, Swap Auto Scaling Group DynamoDB ECS instance Auto Scaling group 新環境 Elastic Load Balancing (C)Recruit Jobs Co., Ltd. All rights reserved 旧環境 32 管理コスト削減の為のサービス選定 AWS CloudFormation (C)Recruit Jobs Co., Ltd. All rights reserved AWS Lambda 33 Lambdaの特徴 Lambda : イベントドリブン型アプリ実行基盤 ・サーバレス => 運用が圧倒的に楽 ・勝手にスケールしてくれる => 運用が圧倒的に楽 ・イベントドリブンな実行環境 => サービス間の連携が容易 ・Scheduled eventに対応 => 細々としたバッチを実装できる (C)Recruit Jobs Co., Ltd. All rights reserved 34 今回のプロジェクトでは積極的にLambdaを利用 Lambdaがなかったら この規模のシステムをごく短期間でリリースする事は 不可能だったと言える (C)Recruit Jobs Co., Ltd. All rights reserved 35 CTLにおけるLambdaの利用例 Case1, ストリームデータ処理 Case2, バッチジョブ Case3, インテグレーション (C)Recruit Jobs Co., Ltd. All rights reserved 36 Case1, ストリームデータ処理 Kinesis to ELB Kinesisに新しくログデータが 溜まった際に、 すぐに特徴計算サーバへ送る API Gateway to Kinesis API Gatewayの エンドポイントへ飛んできた ログデータをKinesisに保存 Stream data processing Log data Api Gateway Lambda Kinesis Lambda ELB Batch data processing Kinesis to S3 ログデータの永続化は 1ログ毎に行う必要はないので、 ある程度Kinesisにデータが 溜まったタイミングで実行 Lambda (C)Recruit Jobs Co., Ltd. All rights reserved S3 特徴計算 サーバ EMR 37 Case2, バッチジョブ DynamoDBは日付を指定してパージする事ができない =>データが溜まり過ぎる事を防ぐために、 ユーザの特徴を格納するテーブルを週ごとに作成 最低capacityで create table drop table capacity 下げる capacity 上げる 2016/5/1 (来週使用するテーブル) 2016/4/24 (今週使用するテーブル) 2016/4/17 (先週使用したテーブル) 2016/4/10 (過去のテーブル) わざわざcronでやるか？といった細々とした バッチジョブをscheduled eventで実行 (C)Recruit Jobs Co., Ltd. All rights reserved 38 Case3, インテグレーション 異常発生時の通知先 : Eメールアドレス Slack 他のコミュニケーションに紛れる 可能性が高い 他のコミュニケーションに紛れる 可能性が低い Lambda + Slack 通知は全てSlackに飛ばす =>メンバー全員が異常検知ができる状態に (C)Recruit Jobs Co., Ltd. All rights reserved 39 Case3, インテグレーション Lambda + Slack 連携 異常検知 モニタリング対象 サービス Email Kinesis CloudWatch DynamoDB 監視 Lambda SNS 異常が発生したら SNSトピック発行 Event Sourcesに 該当の SNSトピックを指定 Slack Slackの 指定チャンネルに 通知を送る 異常検知のスピードを早める事で、 何か問題が発生した時に即座に対応できる (C)Recruit Jobs Co., Ltd. All rights reserved 40 Case3, インテグレーション Lambda + Slack 連携 使用料金がバーストする事を防ぐ Lambda Scheduled event 請求レポートから 今月の使用料金を計算 Slack Slackの 指定チャンネルに 通知を送る 使用料金が異常な動きを見せた場合、 即座に対応する事で使用料金がバーストする事を防ぐ (C)Recruit Jobs Co., Ltd. All rights reserved 41 管理コスト削減の為のサービス選定 AWS CloudFormation (C)Recruit Jobs Co., Ltd. All rights reserved AWS Lambda 42 Summary of this session インフラ管理経験がないデータサイエンティスト6名が 設計から3ヶ月程度でリアルタイム予測基盤を作って リリースする事ができた。 AWSのフルマネージドサービスをうまく適材適所で 使ったからこそ実現できた。 フルマネージドサービスを積極的に活用する事で、 本当に大事な部分、ユーザにとっての検索体験の向上 に注力する事ができた。 (C)Recruit Jobs Co., Ltd. All rights reserved 43 Agenda 1. Introduction 2. About CTL and our project 3. Our sort system with AWS 4. Reduction of infrastructure management costs 5. Future work (C)Recruit Jobs Co., Ltd. All rights reserved 44 About CTL データサイエンス エンジニアリング インフラ 先進的なテクノロジーや理論をスピーディに事業装着するため 数理モデル作成、アプリ実装、インフラ実装までを データサイエンティストが遂行するプロジェクト型組織 (C)Recruit Jobs Co., Ltd. All rights reserved 45 CTLではSortに閉じない様々なデータを活用した施策を実施する Hit of search Recommend Data Analytics Cost optimization Natural language processing Data visualization (C)Recruit Jobs Co., Ltd. All rights reserved 46 CTLでの働き方 - 使えるデータは大量にあり、データを使える環境がある - 新しいサービスを使える データサイエンティスト & エンジニア 双方が働きやすい環境 (C)Recruit Jobs Co., Ltd. All rights reserved 47 共に働く仲間を募集しています！ (C)Recruit Jobs Co., Ltd. All rights reserved ご清聴ありがとうございました (C)Recruit Jobs Co., Ltd. All rights reserved 49
© Copyright 2024 Paperzz
