AutoScale × ゲーム ∼運用効率化への取り組み∼ ゲーム事業本部 恋愛ゲームチーム 藤原 涼! ゲームインフラチーム 本田 恭! 2014年07月18日 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Agenda ∼前半∼ 運用効率化に向けたAWS導入背景から運用のお話 ∼後半∼ AWSをさらに活用するための技術的なお話 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Agenda ∼前半∼ １：サービスの特徴とシステム ２：AWSの導入に向けて ３：AWSを利用して発生した問題 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 自己紹介 藤原 涼 (ふじわらりょう) - 2012年新卒入社 (3年目) - Twitter @megadreams14 AWSを使い始めた日 - ２０１３年６月１７日（月） Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 女性向け 「恋愛ソーシャルゲーム」 における導入事例 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 恋愛ソーシャルゲームとは Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 恋愛ソーシャルゲームとは 華やかで 甘いストーリー が楽しめる http://ikemen.cybird.ne.jp/of/play.html Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 恋愛ソーシャルゲームとは アバターなどを 着せ替えて可愛く コーディネイトできる http://ikemen.cybird.ne.jp/of/play.html Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 恋愛ソーシャルゲームとは 私達が皆様にお約束すること http://ikemen.cybird.ne.jp/of/message.html Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. リリース一覧 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 現在提供している恋愛ソーシャルゲーム イケメン大奥 恋の園 イケメン恋戦 平清盛 イケメン夜曲 ロミオと秘密のジュリエット 100日間のプリンセス もうひとつのイケメン王宮 美男大奧 江戶奇緣 イケメン王宮 真夜中のシンデレラ イケメン幕末 運命の恋 新章イケメン大奥 禁じられた恋 ラブセン ∼Ｖ６とヒミツの恋∼ 美男宮殿 月下灰姑娘 한밤중의 신데렐라 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 現在提供している恋愛ソーシャルゲーム GREE Mobage AppStore Ameba GooglePlay GREE Mobage AppStore Ameba GREE Mobage AppStore GooglePlay Ameba GREE Mobage AppStore GooglePlay Ameba GooglePlay dゲーム GREE Ameba AppStore GooglePlay Ameba AppStore AppStore Ameba Ameba AppStore GooglePlay GooglePlay AppStore AppStore GooglePlay GooglePlay AppStore GooglePlay GooglePlay Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 現在提供している恋愛ソーシャルゲーム GREE Mobage AppStore Ameba GREE Mobage AppStore GooglePlay Ameba GREE Mobage AppStore GooglePlay Ameba GREE Mobage AppStore GooglePlay Ameba GooglePlay dゲーム 全４０サイト GREE Ameba AppStore GooglePlay Ameba AppStore AppStore Ameba Ameba AppStore GooglePlay GooglePlay AppStore AppStore GooglePlay GooglePlay AppStore GooglePlay GooglePlay Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 特徴 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 弊社恋愛ソーシャルゲームの特徴 朝と夜にアクセス上昇 月１回の大きなイベント Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 弊社恋愛ソーシャルゲームの特徴 朝と夜にアクセス上昇 通勤通学時間帯・日付変更時に集中 1日のアクセス数の変化 朝 夜 http://gamebiz.jp/?p=127080 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 弊社恋愛ソーシャルゲームの特徴 月１回の大きなイベント 通常の約５倍のアクセス イベント開始時のアクセス数の変化 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 弊社恋愛ソーシャルゲームの特徴 月１回の大きなイベント アバターの付与 華やかにドレスアップ♪ 「100日間のプリンセス◆もうひとつのイケメン王宮」より Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 弊社恋愛ソーシャルゲームの特徴 月１回の大きなイベント アバターの付与 華やかにドレスアップ♪ アバター合成でサーバ負荷 「100日間のプリンセス◆もうひとつのイケメン王宮」より Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. システム要件 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 弊社恋愛ソーシャルゲームのシステム要件 Webサーバ Web LoadBarancer Server Server Server アバター合成サーバ Image LoadBarancer Server Server Server Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Agenda ∼前半∼ １：サービスの特徴とシステム ２：AWSの導入に向けて ３：AWSを利用して発生した問題 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AWSを使うまでの苦労 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AWSを使うまでの苦労 イベント前のサーバ追加 手動でサーバ追加 サーバの追加に時間がかかる Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AWSを使うまでの苦労 イベント前のサーバ追加 LB LB LB LB LB LB LB LB LB LB LB LB LB コンテンツ数が多い LB Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AWSを使うまでの苦労 手動でサーバ追加 事前追加や障害対応 アラートメール サーバ追加 状況確認 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AWSを使うまでの苦労 サーバの追加に時間がかかる ３０分∼２時間程度 サーバ追加 ステータスが変わらない Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AWSを使うまでの苦労 運用上の課題 機会損失 運用コスト Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AutoScale URL Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AutoScaleとは サーバの負荷に合わせて 自動でサーバを追加/削除する機能 サーバ負荷 スケジュール Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AutoScaleを利用するには Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AutoScaleを利用するには サーバ構築の自動化 スケールイン時のデータの扱い Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AutoScaleを利用するには 増えるだけでなく減ることも考慮 セッションデータ ログファイル 画像ファイル Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AutoScaleを利用するには サーバ構築の自動化 スケールイン時のデータの扱い Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. サーバ構築の自動化 AMIで実現可能・・・だが AMI ミドルウェアのインストール 画像ファイル Apacheの設定 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 現在提供している恋愛ソーシャルゲーム GREE Mobage AppStore Ameba GooglePlay GREE Mobage AppStore Ameba GREE Mobage AppStore GooglePlay Ameba GREE Mobage AppStore GooglePlay Ameba GooglePlay dゲーム 設定が異なる複数のAMIが必要 GREE Ameba AppStore GooglePlay Ameba AppStore AppStore Ameba Ameba AppStore GooglePlay GooglePlay AppStore AppStore GooglePlay GooglePlay AppStore GooglePlay GooglePlay Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. http://www.techtonet.com/jenkins-continuous-integration/ Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. サーバ構築の自動化を目指して Chef導入理由 繰り返し作業を自動化出来る 手動によるミスを無くすことが出来る サーバごとに設定値を変更出来る Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. サーバ構築の自動化を目指して ∼Chefで設定したこと∼ NTPのインストール ユーザディレクトリの設定 PHPのインストール 全３ PHPパッケージのインストール yum: epelレポジトリ追加 MySQLクライアントのインストール yum: remiレポジトリ追加 Fluentdクライアントインストール yum: tdレポジトリ追加 Apache:インストール yumのキャッシュをクリア ZABBIX: agentインストール swap領域の設定 Chef:knifeコマンドの設定 SELinuxの設定 起動スクリプトの配置 起動スクリプトのデーモン化 ホストの設定 ユーザの作成 sudo権限の設定 ファイアウォールの設定 【AWS】CLIのインストール 【AWS】S3コマンドのインストール コンパイル系パッケージインストール mail,sarコマンドなどのインストール ４項 目 【AWS】ディスクパーティションの設定 Apache : virtualhostsの設定 Apache : 起動 ZABBIX: agent起動 Fluentd : td-agent: 起動 gitのインストール 社内gitレポジトリへのアクセス設定 SWFEditorのインストール Imagickのインストール Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. サーバ構築の自動化を目指して ∼Chefで設定したこと∼ NTPのインストール ユーザディレクトリの設定 yum: epelレポジトリ追加 yum: remiレポジトリ追加 yum: tdレポジトリ追加 PHPのインストール 約２０分 全３ PHPパッケージのインストール MySQLクライアントのインストール Fluentdクライアントインストール ZABBIX: agentインストール swap領域の設定 Chef:knifeコマンドの設定 SELinuxの設定 起動スクリプトの配置 起動スクリプトのデーモン化 ホストの設定 sudo権限の設定 ファイアウォールの設定 【AWS】CLIのインストール 【AWS】S3コマンドのインストール コンパイル系パッケージインストール mail,sarコマンドなどのインストール 目 Apache:インストール yumのキャッシュをクリア ユーザの作成 ４項 【AWS】ディスクパーティションの設定 Apache : virtualhostsの設定 Apache : 起動 ZABBIX: agent起動 Fluentd : td-agent: 起動 gitのインストール 社内gitレポジトリへのアクセス設定 SWFEditorのインストール Imagickのインストール Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. サーバ構築の自動化を目指して ∼Chefで設定したこと∼ NTP ユーザディレクトリの設定 yum: yum: remi yum: td PHP 約２０分 PHP 全３ MySQL Fluentd ZABBIX: agent swap Chef:knife SELinux 起動スクリプトの配置 起動スクリプトのデーモン化 ホストの設定 サーバ構築をスピードよく sudo ファイアウォールの設定 【 【 目 Apache: yum ユーザの作成 ４項 コンパイル系パッケージインストール mail,sar 【 Apache : Apache ZABBIX: agent Fluentd : td-agent git 社内 SWFEditor Imagick Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. サーバ構築の自動化を目指して ∼Chefで設定したこと∼ イケメン夜曲 ロミオと秘密のジュリエット イケメン幕末 運命の恋 共通の部分はAMIの中で定義 イケメン夜曲用AMI イケメン幕末用AMI Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. サーバ構築の自動化を目指して ∼Chefで設定したこと∼ GREE イケメン夜曲 ロミオと秘密のジュリエット イケメン幕末 運命の恋 イケメン夜曲用AMI イケメン幕末用AMI Mobage AppStore GooglePlay Ameba AppStore GooglePlay 設定の違いのみをChefで実行 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. サーバ構築の自動化を目指して ∼Chefで設定したこと∼ NTPのインストール ユーザディレクトリの設定 PHPのインストール 全３ PHPパッケージのインストール yum: epelレポジトリ追加 MySQLクライアントのインストール yum: remiレポジトリ追加 Fluentdクライアントインストール yum: tdレポジトリ追加 Apache:インストール yumのキャッシュをクリア ZABBIX: agentインストール swap領域の設定 Chef:knifeコマンドの設定 SELinuxの設定 起動スクリプトの配置 起動スクリプトのデーモン化 ホストの設定 ユーザの作成 sudo権限の設定 ファイアウォールの設定 【AWS】CLIのインストール 【AWS】S3コマンドのインストール コンパイル系パッケージインストール mail,sarコマンドなどのインストール gitのインストール ４項 目 【AWS】ディスクパーティションの設定 Apache : virtualhostsの設定 Apache : 起動 共通２８項目 ZABBIX: agent起動 Fluentd : td-agent: 起動 社内gitレポジトリへのアクセス設定 SWFEditorのインストール Imagickのインストール Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. サーバ構築の自動化を目指して ∼Chefで設定したこと∼ NTPのインストール ユーザディレクトリの設定 yum: epelレポジトリ追加 yum: remiレポジトリ追加 yum: tdレポジトリ追加 PHPのインストール 約５分 全３ PHPパッケージのインストール MySQLクライアントのインストール Fluentdクライアントインストール ZABBIX: agentインストール swap領域の設定 Chef:knifeコマンドの設定 SELinuxの設定 起動スクリプトの配置 起動スクリプトのデーモン化 ホストの設定 sudo権限の設定 ファイアウォールの設定 【AWS】CLIのインストール 【AWS】S3コマンドのインストール 設定６項目 mail,sarコマンドなどのインストール コンパイル系パッケージインストール gitのインストール 社内gitレポジトリへのアクセス設定 SWFEditorのインストール Imagickのインストール 目 Apache:インストール yumのキャッシュをクリア ユーザの作成 ４項 【AWS】ディスクパーティションの設定 Apache : virtualhostsの設定 Apache : 起動 ZABBIX: agent起動 Fluentd : td-agent: 起動 + デプロイ Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. サーバ構築の自動化を目指して ∼Chefの実行∼ Chef × AWS Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AutoScale構成図 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AutoScaleを利用した構成図 Elastic Load Balancing オンデマンド オンデマンド EC2 EC2 各ゾーンに均等にインスタンスを配置 ゾーンA ゾーンB Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AutoScaleを利用した構成図 Elastic Load Balancing オンデマンド EC2 オンデマンド オンデマンド EC2 EC2 オンデマンドインスタンス Auto Scaling Group ゾーンA オンデマンド EC2 ゾーンB Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AutoScaleを利用した構成図 Elastic Load Balancing オンデマンド オンデマンド EC2 EC2 CloudWatch オンデマンド EC2 CloudWatchでサーバ監視 ゾーンA オンデマンド EC2 ゾーンB Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AutoScaleを利用した構成図 アラートを検知 Alarm Elastic Load Balancing オンデマンド オンデマンド EC2 EC2 CloudWatch オンデマンド EC2 CloudWatchでサーバ監視 ゾーンA オンデマンド EC2 ゾーンB Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AutoScaleを利用した構成図 AMIから起動 Alarm Elastic Load Balancing オンデマンド オンデマンド EC2 EC2 AMI CloudWatch オンデマンド EC2 CloudWatchでサーバ監視 ゾーンA オンデマンド EC2 ゾーンB Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AutoScaleを利用した構成図 Chefの実行 Alarm Elastic Load Balancing オンデマンド オンデマンド EC2 EC2 AMI CloudWatch オンデマンド EC2 CloudWatchでサーバ監視 ゾーンA オンデマンド EC2 ゾーンB Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AutoScaleを利用した構成図 2台ずつ追加 Alarm Elastic Load Balancing オンデマンド オンデマンド EC2 EC2 EC2 Instance EC2 Instance AMI CloudWatch オンデマンド EC2 CloudWatchでサーバ監視 ゾーンA オンデマンド EC2 ゾーンB Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AutoScaleを利用した構成図 AutoScaleによる運用が順調にスタート CPUロードアベレージ Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Agenda ∼前半∼ １：サービスの特徴とシステム ２：AWSを導入に向けて ３：AWSを利用して発生した問題 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AWSを使ってみて 機能とサポート 利便性 オンデマンドの価格 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 価格・・・高い問題 ç Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 価格・・・やはり高い問題 リザーブドインスタンス検討 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. リザーブドインスタンスとは 予約金を一括で支払うことで、 期間内の時間あたりの料金が安くなる ∼特徴∼ 年単位での支払い インスタンス性能の変更に制約がある Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. リザーブドインスタンスとは 予約金を一括で支払うことで、 期間内の時間あたりの料金が安くなる 性能決めつけはリスク ∼特徴∼ 年単位での支払い インスタンス性能の変更に制約がある Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 価格・・・やはり高い問題 スポットインスタンス検討 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. スポットインスタンスとは 需要と共有のバランスによって サーバの価格が決まる入札制度 ∼特徴∼ 約５分の１の価格 必要なときに短時間だけ利用 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. スポットインスタンスとは Instance Type Availability zone それぞれ価格が違う Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. スポットインスタンスの特徴 １：価格が変動 ２：サーバ価格より入札額が低いと ・サーバが落ちる ・サーバが起動しない Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. １：価格が変動 需要と供給のバランスで価格が変動 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. ２：サーバ価格より入札額が低いと落ちる 既にサーバを利用中の場合 入札額 ＜＝ 現在のサーバ価格 サーバが落ちる ※自動でサーバが落ちた場合、1時間未満の使用料については課金されない Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. ２：サーバ価格より入札額が低いと起動しない これからサーバを利用する場合 入札額 ＜＝ 現在のサーバ価格 サーバが起動しない Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. スポットインスタンスの特徴 １：価格が変動 ２：サーバ価格より入札額が低いと 本番での運用はリスク ・サーバが落ちる ・ Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. スポットインスタンスの問題点 本番運用での課題 価格高くなる サーバ落ちる サーバ起動しない Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. CYBIRDが考えたスポットの解決策１ 価格情報を監視 ç Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 解決策１：価格情報を監視 価格変動の状況を把握する 入札価格の決定 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 解決策１：価格情報を監視 http://www.zabbix.com/jp/img/logo/zabbix_logo_500x131.png Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 解決策１：価格情報を監視 価格情報を監視・記録 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. CYBIRDが考えたスポットの解決策２ スポットとAutoScale ç Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 解決策２：AutoScaleの利用 AutoScaleの利点 設定されたインスタンス起動数を担保する仕組み 入札価格の変更はConfigの変更だけで可能 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 解決策２：AutoScaleの利用 LaunchConfig ・インスタンスタイプ ・スポットインスタンス入札額 AutoScalingGroup ・インスタンス起動数 ・LaunchConfigの指定 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 解決策２：インスタンス起動数を担保する仕組み AutoScaleの利点 設定されたインスタンス起動数を担保する仕組み 入札価格の変更はConfigの変更だけで可能 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 解決策２：インスタンス起動数を担保する仕組み LaunchConfig ・インスタンスタイプ ・スポットインスタンス入札額 AutoScalingGroup ・インスタンス起動数 ・LaunchConfigの指定 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 解決策２：インスタンス起動数を担保する仕組み 設定したサーバの起動数に足りていない時 オンデマンド インスタンス すぐにサーバ起動 スポットインスタンス 入札後サーバ起動 入札価格足りている スポットインスタンス 入札価格足りていない 入札待ちが続く Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 解決策２：インスタンス起動数を担保する仕組み 設定したサーバの起動数に足りていない時 オンデマンド インスタンス すぐにサーバ起動 スポットインスタンス 入札後サーバ起動 入札価格足りている スポットインスタンス 入札価格足りていない 入札待ちが続く Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 解決策２：AutoScaleの利用 AutoScaleの利点 設定されたインスタンス起動数を担保する仕組み 入札価格の変更はConfigの変更だけで可能 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 解決策２：AutoScaleの利用 LaunchConfig ・インスタンスタイプ ・スポットインスタンス入札額 AutoScalingGroup ・インスタンス起動数 ・LaunchConfigの指定 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 解決策２：AutoScaleの利用 AutoScalingGroupの設定 AutoScalingGroup LaunchConfigA 2台起動 LaunchConfigA m3.2xlarge $2.0入札 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 解決策２：AutoScaleの利用 AutoScalingGroupの設定 AutoScalingGroup LaunchConfigA 2台起動 LaunchConfigA m3.2xlarge $2.0入札 m3.2xlargeの価格 = $3.0 LaunchConfigAの入札額では入札価格が足りない ConfigA 入札待ち ずっと入札を待ち続ける Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 解決策２：AutoScaleの利用 AutoScalingGroupの設定 AutoScalingGroup LaunchConfigB 2台起動 LaunchConfigA LaunchConfigB m3.2xlarge $2.0入札 c3.2xlarge $3.0入札 c3.2xlargeの価格 = $0.8 サーバが起動できるLaunchConfigBに切り替える ConfigA ConfigB 入札中止 新規入札 新規で入札が入る Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 解決策２：AutoScaleの利用 AutoScalingGroupの設定 AutoScalingGroup LaunchConfigB LaunchConfigA LaunchConfigB m3.2xlarge $2.0入札 c3.2xlarge 無事にサーバ起動 2台起動 $3.0入札 c3.2xlargeの価格 = $0.8 サーバが起動できるLaunchConfigBに切り替える ConfigA ConfigB 入札中止 新規入札 新規で入札が入る Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. CYBIRDが考えたスポットインスタンス運用 構成図 ç Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AutoScaleを利用した構成図 Elastic Load Balancing オンデマンド オンデマンド EC2 EC2 オンデマンド オンデマンド EC2 EC2 ゾーンA ゾーンB Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AutoScaleを利用した構成図 スポットインスタンス AutoScalingGroup Elastic Load Balancing オンデマンド オンデマンド EC2 EC2 オンデマンド スポット スポット オンデマンド EC2 EC2 EC2 EC2 ゾーンA ゾーンB Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 価格・・・高い問題 オンデマンドとスポットの利用比率 オンデマンドインスタンス スポットインスタンス 1ヶ月の使用時間の比率 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 価格・・・高い問題 オンデマンドとスポットの利用比率 ３∼４割のコスト削減 オンデマンドインスタンス スポットインスタンス 1ヶ月の使用時間の比率 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 価格・・・高い問題 オンデマンドとスポットの利用比率 ３∼４割のコスト削減 オンデマンドインスタンス スポットインスタンス 1ヶ月の使用時間の比率 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. スポットの利用者が増えた ç Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. スポットの利用者が増えた問題 2013年8月からスポットを利用 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. スポットの利用者が増えた問題 価格変動はほとんど無かった Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. スポットの利用者が増えた問題 価格変動が激しい Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. スポットの利用者が増えた問題 利用者が増えたことで起きた問題 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. スポットの利用者が増えた問題 再掲 朝と夜にアクセス上昇 月１回の大きなイベント Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. スポットの利用者が増えた問題 通常時のサーバの例 WebServer オンデマンド スポット Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. スポットの利用者が増えた問題 イベントに備えサーバ追加 WebServer オンデマンド オンデマンド オンデマンド オンデマンド スポット スポット スポット スポット Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. スポットの利用者が増えた問題 スポットインスタンスの価格上昇 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. スポットの利用者が増えた問題 スポットインスタンスの価格上昇 自分たちで価格吊り上げる Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 現在取り組んでいること Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 現在取り組んでいること スポットインスタンスConfig切り替え自動化 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 現在取り組んでいること 今出来ていること スポットの! 価格状況が把握 AutoScaleの! 容易な設定変更 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 現在取り組んでいること やりたいこと スポットの! AutoScaleの! 価格状況が把握 容易な設定変更 自動化 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 現在取り組んでいること １：価格変動のアラートの閾値を設定 ２：最適なインスタンス・入札額の選定 ３：AutoScalingGroupに適用 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 現在取り組んでいること １：価格変動のアラートの閾値を設定 安定稼働とコスト最適化を目指す ３： Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AWSのAutoScale AutoScale スポットインスタンス 様々なツールと組み合わせることで! ニーズに合ったソリューションを構築 運用コスト削減 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. ここからは! より技術的なお話 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Agenda ∼前半∼ 運用効率化に向けたAWS導入背景から運用のお話 ∼後半∼ AWSをさらに活用するための技術的なお話 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Agenda ∼後半∼ １：アバター合成サーバの負荷対策 ２：ログ収集の効率化 ３：まとめ Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 自己紹介 本田 恭 (ほんだ たかし) - 2012年新卒入社 (3年目) - Twitter @Altsencturely 好きなAWSのサービス - S3 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Agenda ∼後半∼ １：アバター合成サーバの負荷対策 ２：ログ収集の効率化 ３：まとめ Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. アバター合成サーバの 負荷対策 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 恋愛ソーシャルゲームとは アバターなどを 着せ替えて可愛く コーディネイトできる Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. アバター画像の基本的な仕組み Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. ない ある 画像の存在確認 画像の存在確認 画像の生成 (ImageMagick) 画像のレスポンス 画像のレスポンス Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. これまでの環境 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. これまでの環境 Image Image Image NAS Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. これまでの環境 サーバ間で同じ画像は作成されない Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AWSのAutoScale運用を行う場合 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AWSの場合1 Image Image Image S3 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AWSの場合1 ・S3のマウント先への書き込みに時間がかかる ・サーバ高負荷時にマウントが外れる Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AWSの場合1 ・ S3のマウントはNASの様にいかない ・サーバ高負荷時にマウントが外れる Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AWSの場合2 画像Aリクエスト Image LoadBarancer 1 2 Image Image 画像A 画像Aが ないので作成 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 画像を余分に作成することの問題点 サーバを増やしても負荷が減らない CPUロードアベレージ Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 画像を余分に作成することの問題点 安定運用できない Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 安定運用のために アバター合成サーバの安定運用 ¦¦ 合成の回数を減らす Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 安定運用のために アバター合成サーバの安定運用 ¦¦ 合成の回数を減らす サーバ間で画像ファイルを共有 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. http://shoreditchworks.com/sw/wp-content/uploads/2013/10/orange-ant-glusterfs.png Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. GlusterFSとは マスターレスな分散ファイルシステム Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. マスターレスとは 特定のサーバに依存しないクラスタ構成 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. マスターレスとは nodeA ノード間で同期 nodeB nodeC GlusterFS-Cluster Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. マスターレスとは nodeA 単一障害点が存在しない ノード間で同期 nodeB nodeC GlusterFS-Cluster Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AWS上でGlusterFSの構築手順 1. ルート以外のパーティションでEBSをマウント 2. GlusterFSのクラスタ構築 (peer probe) 3. ファイルシステムを構築 4. 作成したファイルシステムをマウント Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AWS上でGlusterFSの構築手順 1. ルート以外のパーティションでEBSをマウント 2. GlusterFSのクラスタ構築 (peer probe) 3. ファイルシステムを構築 4. 作成したファイルシステムをマウント Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. クラスタ構築 nodeA 172.31.0.1 nodeB 172.31.0.2 nodeC 172.31.0.3 GlusterFS-Cluster Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. クラスタ構築 nodeB 172.31.0.2 nodeA 172.31.0.1 nodeC 172.31.0.3 追加 peer probe GlusterFS-Cluster Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. クラスタ構築 nodeB 172.31.0.2 nodeA 172.31.0.1 nodeC 172.31.0.3 追加 peer probe クラスタのメンバが追加する GlusterFS-Cluster Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. peer probeの違い GlusterFSのクラスタのメンバ(nodeAまたはnodeB)が メンバ追加コマンドを実行 # gluster peer probe nodeC または # gluster peer probe 172.31.0.3 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. peer probeの違い # gluster peer status Number of Peers: 2 ! Hostname: nodeB Uuid: xxxxxxxx-xxxx-xxxx State: Peer in Cluster (Connected) ! Hostname: nodeC Uuid: xxxxxxxx-xxxx-xxxx State: Peer in Cluster (Connected) Number of Peers: 2 ! Hostname: 172.31.0.2 Uuid: xxxxxxxx-xxxx-xxxx State: Peer in Cluster (Connected) ! Hostname: 172.31.0.3 Uuid: xxxxxxxx-xxxx-xxxx State: Peer in Cluster (Connected) Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AutoScale時のpeer probe AWSだとIPが自動で割り当てられる Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AutoScale時のpeer probe AWSだとIPが自動で割り当てられる サーバを一意に特定できるホスト名の方が管理しやすい Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AutoScale時のpeer probe AWSだとIPが自動で割り当てられる サーバを一意に特定できるホスト名の方が管理しやすい # gluster peer probe HOSTNAME Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. GlusterFS構築の注意点 1. GlusterFSのクラスタの生きているノードが クラスタに追加 2. IPアドレスではなくホスト名を使用 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AutoScaleに対応させるためには Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. GlusterFSのAutoScale対応 1. GlusterFSのクラスタの生きているノードの自動判別 2. クラスタ内での自動名前解決 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. クラスタの自動構築 nodeB 172.31.0.2 nodeA 172.31.0.1 nodeC 172.31.0.3 追加 peer probe GlusterFS-Cluster Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. クラスタの自動構築 nodeA 172.31.0.1 nodeB 172.31.0.2 nodeC 172.31.0.3 GlusterFS-Cluster 1. SSH Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. クラスタの自動構築 nodeA 172.31.0.1 nodeB 172.31.0.2 nodeC 172.31.0.3 2. peer probe GlusterFS-Cluster 1. SSH Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. GlusterFSのAutoScale対応 1. GlusterFSのクラスタの生きているノードの自動判別 2. クラスタ内での自動名前解決 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 案1 GlusterFSのステータスを使う Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. GlusterFSのステータスを使う # gluster peer status Number of Peers: 2 ! Hostname: nodeB Uuid: xxxxxxxx-xxxx-xxxx State: Peer in Cluster (Connected) ! Hostname: nodeC Uuid: xxxxxxxx-xxxx-xxxx State: Peer in Cluster (Connected) Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. GlusterFSのステータスを使う gluster-peer-status B? e d no ? C e nod ・・・ ホスト名がわからない Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 案1 GlusterFSのステータスを使う 名前解決されていないため構築できない Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 案2 AWS APIを使う Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AWS API 1. 情報取得 ・・・ http://cdn.blog.celingest.com/wp-content/uploads/2013/09/aws-s3-512x215.png Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AWS API ・・・ 2. SSH Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AWS API 3. 情報取得 ・・・ Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AWS API ・・・ peer probe Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AWS API ・・・ 名前解決出来ていない Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 案2 AWS APIを使う 不完全なクラスタが構築される Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. その他の案 • Chef Server API ! • Zabbix API ! • 内部DNS http://recipe.kc-cloud.jp/wp-content/uploads/2013/04/20130405_02_01.gif Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 単一障害点を作ってしまう Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. GlusterFSのAutoScale対応 1. GlusterFSのクラスタの生きているノードの自動判別 2. クラスタ内での自動名前解決 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. GlusterFS 1. GlusterFS 自動判別 GlusterFSのクラスタ内で完結 2. クラスタ内での自動名前解決 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. SERF http://pocketstudio.jp.s3.amazonaws.com/log3/wp-content/uploads/2013/11/serf-logo.png Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Serfとは マスターレスなクラスタ構成 ゴシッププロトコル Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Serfのクラスタ nodeA 172.31.0.1 nodeB 172.31.0.2 nodeC 172.31.0.3 $ serf join nodeA Serf-Cluster Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Serfのクラスタ nodeA 172.31.0.1 nodeB 172.31.0.2 nodeC 172.31.0.3 自分からクラスタに参加できる $ serf join nodeA Serf-Cluster Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. ゴシッププロトコルとは member-join nodeA nodeB nodeC Serf-Cluster Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. ゴシッププロトコルとは member-join nodeA nodeB nodeC Serf-Cluster Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. ゴシッププロトコルとは nodeA nodeB nodeC Serf-Cluster Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. ゴシッププロトコルとは 伝播して同じ状態に nodeA nodeB nodeC Serf-Cluster Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. クラスタ内の名前解決を自動化 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Serfで自動名前解決 クラスタメンバ情報で生存確認 $ serf members nodeA 172.31.0.1:7946 nodeB 172.31.0.2:7946 nodeC 172.31.0.3:7946 alive alive alive Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Serfで自動名前解決 member-join $ serf members nodeA 172.31.0.1:7946 nodeB 172.31.0.2:7946 nodeC 172.31.0.3:7946 alive alive alive /etc/hosts Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Serfの便利な点 member-join $ serf members nodeA 172.31.0.1:7946 alive nodeB 172.31.0.2:7946 alive クラスタ内の名前解決の自動化 nodeC 172.31.0.3:7946 alive /etc/hosts Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Serfのクラスタをマスターレスに構築 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Serfのクラスタをマスターレス serf-members 172.31.0.1 172.31.0.2 172.31.0.3 172.31.0.4 http://s3-blog.the-new-it.com.s3.amazonaws.com/wp-content/uploads/2014/01/WPandS3Logos.png Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Serfのクラスタをマスターレス 172.31.0.1 172.31.0.2 172.31.0.3 172.31.0.4 serf-members serf-members nodeA 172.31.0.1:7946 nodeB nodeC nodeD alive 172.31.0.2:7946 alive 172.31.0.3:7946 alive 172.31.0.4:7946 failed Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Serfのクラスタをマスターレス 172.31.0.1 172.31.0.2 172.31.0.3 172.31.0.4 $ serf join nodeA Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Serfのクラスタをマスターレス 172.31.0.1 172.31.0.2 マスターレスにクラスタ構築 172.31.0.3 172.31.0.4 $ serf join nodeA Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. S3を使う理由 S3の耐障害性 ! 最大 99.999999999% の耐久性と 99.99% の可用性 安定してどこからでも使える Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Serf × S3 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. クラスタの名前解決 クラスタの追加/削除時に/etc/hostsが 修正されメンバ間は名前解決可能 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. GlusterFSのAutoScale対応 1. GlusterFSのクラスタの生きているノードの自動判別 2. クラスタ内での自動名前解決 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. GlusterFSのAutoScale対応の仕組み Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. nodeA nodeB nodeC GlusterFS-Cluster Serf-Cluster Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. serf-members nodeA nodeB nodeC Serf-Cluster Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. nodeA nodeB nodeC $ serf join nodeB serf-members Serf-Cluster nodeA nodeB 172.31.0.1:7946 172.31.0.2:7946 alive alive Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. member-join member-join member-join nodeA nodeB nodeC Serf-Cluster Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. nodeA nodeB nodeC GlusterFS-Cluster Serf-Cluster Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 1. SSH 2. peer probe nodeA nodeB nodeC GlusterFS-Cluster Serf-Cluster Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. serf-members nodeA nodeB nodeC GlusterFS-Cluster Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. GlusterFSのマスターレスな構築 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. GlusterFS × Serf × S3 http://www.gluster.org/images/antmascot.png Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AutoScaleに対応 Webサーバと同じ様にスケールアウト GlusterFSの導入 ファイル共有により無駄なアバター合成 削減し負荷の軽減 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Agenda ∼後半∼ １：アバター合成サーバの負荷対策 ２：ログ収集の効率化 ３：まとめ Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. ログ収集の効率化 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. http://excalemedia.s3.amazonaws.com/wp-content/uploads/2014/02/fluentd2.png Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. なぜFluentdを使うの? AutoScaleだと サーバが削除された時ログも消える Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Fluentdの要件 Fluentdの運用を出来るだけ楽に ! 中継サーバのリソースを十分に使う Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Server Server Server Server Fluentd Fluentd Fluentd Fluentd タイトル毎のVPC Elasticsearch Redshift 分析用VPC Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Server Server Elasticsearch Server Server Fluentd Fluentd Fluentd Fluentd Fluentd 中継 タイトル毎のVPC Redshift Fluentd 中継 分析用VPC Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Server Server Elasticsearch Server Server Fluentd Fluentd Fluentd Fluentd Fluentd 中継 タイトル毎の Redshift Fluentd 中継 分析用VPC Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. https://blog.linode.com/wp-content/uploads/2014/01/docker.png Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Server Server Elasticsearch Server Server Fluentd Fluentd Fluentd Fluentd Fluentd 中継 タイトル毎のVPC Redshift Fluentd 中継 分析用VPC Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Server Server Server Server Fluentd Fluentd Fluentd Fluentd Fluentd 中継 タイトル毎の Fluentd Fluentd Fluentd 中継 中継 中継 分析用VPC Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Server Server Server Server Fluentd Fluentd Fluentd Fluentd Fluentd 中継 タイトル毎のVPC Elasticsearch Redshift Fluentd Fluentd Fluentd 中継 中継 中継 分析用VPC Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Fluentd × Docker × Jenkins Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. 運用効率化 JenkinsでFluentdの増減を管理 リソースの活用 中継サーバのリソースを無駄なく利用 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. One more thing… Docker Chef Serverspec Vagrant JMeter JMeter 負荷 JMeter http://tctechcrunch2011.files.wordpress.com/2010/07/github-logo.png Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. まとめ Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AWSの価値とは Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AWSの機能を使えばやりたいことが簡単にすぐに導入できる 試験的・部分的な利用から本番運用まで 幅広い利用をサポート Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. APIを使って自分たちの体制に合わせて最適化可能 海外等の普段手が回らない部分までカバー 運用コスト削減 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. AWSが私達にくれたもの すべての開発者が、 するキモチのような 心やすまる運用を。 Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.
© Copyright 2025 Paperzz
