PostgreSQLのエンタープライズ向け 利用を促進するクラスタ技術について EnterpriseDB Summit 2014 2014年7月17日 SRA OSS, Inc. 日本支社 取締役支社長 PostgreSQLコミッター 石井 達夫 自己紹介 ● ● ● ● SRA OSS, Inc.で日本支社運営を担当 PostgreSQLの開発者(コミッタ) PostgreSQL用のクラスタソフト “pgpool-II” の最 初の開発者 PostgreSQL以外では、クラウド関連の技術や構成 管理の技術に関心がある 2 Copyright(c) 2014 SRA OSS, Inc. Japan SRA OSS, Inc.のご紹介 ● ● 1999年よりPostgreSQLサポートを中心にOSS ビジネスを開始、2005年に現在の形に至る 主なビジネス ● PostgreSQLなどのOSSサポート ● PowerGresファミリーの開発、販売 ● ● トレーニング、導入、設計コンサルティング サービス EnterpriseDB製品の販売、サポート 3 Copyright(c) 2014 SRA OSS, Inc. Japan エンタープライズ領域に普及し始めた PostgreSQL ● ● ● ● ● 20年近い歴史の中で機能・性能が充実 安定性と品質の高さ 大規模ハードウェアへの対応 大規模システムでも使われている実績 昨年あたりから特に盛り上がりを見せる ● 大手クラウドサービスのPostgreSQL対応 – – ● Amazon RDS for Postgres Heroku 注目される派生製品の登場 – – – – – PowerGres EnterpriseDB Amazon Redshift Amazon RDS for PostgreSQL Greenplum 4 Copyright(c) 2014 SRA OSS, Inc. Japan 本格的ＤＢへと成長した PostgreSQL ソースコード行数 1,400,000 JSONB ロジカル レプリケーションの基 礎 マテリアライズ ドビュー 他DBとの連携 組み込み レプリケーショ ン 1,200,000 再帰SQL Window関数 マルチ プロセッサ 最適化 1,000,000 800,000 80コアまで スケール カスケーディング レプリケーション WALログ TOAST PL/pgSQL 600,000 トリガ 400,000 Concurrent Vacuum 200,000 HOT 全文検索 autovacuu m Windows 対応 真の シリアライザブル トランザクション 分離レベル 行ロック MVCC 0 6.1 6.2 6.3 6.4 副問い合わせ マルチバイト 5 6.5 7.0 7.1 7.2 7.3 7.4 8.0 8.1 8.2 8.3 8.4 9.0 9.1 9.2 2014年夏から秋にリリース予定 Copyright(c) 2014 SRA OSS, Inc. Japan 9.3 9.4 高いPostgreSQLのコード品質 ● Coverity Scan 2011 Open Source Integrity Report ● ● http://softwareintegrity.coverity.com/registerfor-the-2011-coverity-scan-report.html 静的解析手法による、ソースコード1,000行あたりのバ グ数で品質を評価 – – – Linux: 0.62 PostgreSQL: 0.21 商用ソフト: 0.6 6 Copyright(c) 2014 SRA OSS, Inc. Japan メニーコア対応で大規模 ハードウェアを効率活用 コア数と同じ80ユー ザまでリニアに検索 性能が向上 PostgreSQL Enterprise Consortium公開資料より 7 Copyright(c) 2014 SRA OSS, Inc. Japan 大規模事例の登場 ● 「Zaland」というヨーロッパ 最大のオンライン服飾販売 サイト ● ● ● ● ● 8 2008年創立、売上1,600億 円 3TB以上のDBサイズ マスタDBサーバは90台以 上 800台以上のアプリケーショ ンサーバ(Tomcat) 200人以上のアプリ開発者 Copyright(c) 2014 SRA OSS, Inc. Japan ミッションクリティカル領域で 更に求められること ● ● ● 可用性(High Availability:HA) スケールアウト これらの要件を実現するために開発されたのがク ラスタシステム 9 Copyright(c) 2014 SRA OSS, Inc. Japan 可用性(High Availability:HA)とは ● システムが停止しないで使い続けられる能力のこと ● ● 年間の稼働時間を目安にする(稼働率) 可用性を高めるには、以下のどちらかまたは両方を 使う。今日は冗長化の方向でお話します ● ● 信頼性を上げる 冗長化する 10 Copyright(c) 2014 SRA OSS, Inc. Japan 稼働率目標と実現手法 稼働率 年間動作不能時 間 実現手法 99% 3日15時間36分 バックアップとリストア 99.9% 8時間46分 バックアップとリストアに加え、夜間待機が必要 99.99% 52分34秒 クラスタ+手動切り替え+夜間待機 99.999% 5分15秒 クラスタ+自動切り替え 99.9999% 32秒 特殊なハードウェアが必要 Wikipediaより 11 Copyright(c) 2014 SRA OSS, Inc. Japan ＤＢにおけるクラスタシステムの難しさ 読み出し 読み出し 書き込み DB1 DB2 DB3 書き込みが行われたDB2の内容がDB1、DB3と異なるものになってしまう DB2への変更内容をDB1, DB3に伝搬させる仕組みが必要 12 Copyright(c) 2014 SRA OSS, Inc. Japan ＨＡクラスタの概念 DB1がダウンしたら DB2が稼動系に 取って代わる Standby側はDB2サーバに アクセスしない 読み出し 書き込み 何らかの方法でデータコピー DB2 稼動系 (active) 13 またはストレージを 共有 ストレージ Copyright(c) 2014 SRA OSS, Inc. Japan 待機系 (standby) 待機側はストレージを マウントしない ＨＡクラスタの特徴 ● ● ● ● ● 枯れた技術であり、多くの商用製品やOSS製品が ある 共有ストレージを使った構成も組めるが、最近はソ フトウェアでデータをコピーし、共有ストレージを必 要としない構成が多い(その代わり更新処理の性能 劣化が多少発生する) アプリケーションの修正は不要 待機系のリソースが活用できないのが欠点 可用性は向上するが、性能は向上しない 14 Copyright(c) 2014 SRA OSS, Inc. Japan HAクラスタの例: Amazon RDS for PostgreSQL EC2 EC2 PostgreSQL PostgreSQL Replication Availability Zone #1 15 AWS Cloud Availability Zone #2 Copyright(c) 2014 SRA OSS, Inc. Japan ＨＡクラスタの例： PowerGres HA Pacemaker版 ● ● ● オープンソースのHAクラスタソフトPacemaker/Heartbeat オープンソースのデータレプリケーションソフトDRBD PowerGres独自のクラスタ管理ツールPowerGres Cluster Manager 仮想 IPアドレス Pacemaker/ Heartbeat Pacemaker/ Heartbeat PowerGres PowerGres レプリケーション PowerGres Cluster Manager DRBD 稼働系ノード 待機系ノード HAクラスタ 16 Copyright(c) 2014 SRA OSS, Inc. Japan 管理 性能向上手法としてのクラスタ ● ● ● HAクラスタでは可用性は向上するが、スケールアウトはしない 待機系のリソースが活用できない これらの欠点を補うソフトウェア ● pgpool-II – – – ● 検索性能を向上できる 可用性も向上できる 実績あり Postgres-XC – – – 検索性能だけでなく更新性能も向上できる 可用性の向上には工夫が必要 実績は少ない 17 Copyright(c) 2014 SRA OSS, Inc. Japan pgpool-IIとは ● ● ● ● ● ● PostgeSQL/PowerGres/Postgres Plus Advanced Serverで使えるクラ スタリングミドルウェア OSSとして公開 (BSDライセンス) PostgreSQLから独立したproxyとし て動作、アプリケーションの改修は最 低限 幅広いPostgreSQLのバージョンに対 応 性能や可用性を高める多くの機能 メジャーバージョンアップは年に1回、 マイナーバージョンアップは2-3ヶ月に 1回、最新バージョンは3.3系 21 Copyright(c) 2014 SRA OSS, Inc. Japan pgpool-IIによるクラスタの概念 アプリケーションからは普通の PostgreSQLに見える 検索/更新 問い合わせを負荷分散できるか どうかを判断 検索 更新 PostgreSQL primary 更新の伝搬は PostgreSQLの 機能を利用 22 検索処理を複数のPostgreSQL で分担することにより、性能向上 (負荷分散) pgpool-II 検索 検索 PostgreSQL standby streaming replication Copyright(c) 2014 SRA OSS, Inc. Japan PostgreSQL standby pgpool-IIによるクラスタの概念 検索/更新 pgpool-II 検索 更新 PostgreSQL primary 検索 PostgreSQL standby streaming replication 23 Copyright(c) 2014 SRA OSS, Inc. Japan ダウンしたPostgreSQLを 自動切り離して運用を継続 (自動フェイルオーバ) Ｘ PostgreSQL standby pgpool-IIによるクラスタの概念 検索/更新 pgpool-II primaryのPostgreSQL がダウンした場合には そのままでは更新処理が できなくなってしまう Ｘ PostgreSQL primary 検索 更新 検索 検索 PostgreSQL standby streaming replication 24 Copyright(c) 2014 SRA OSS, Inc. Japan PostgreSQL standby pgpool-IIによるクラスタの概念 検索/更新 pgpool-II primaryサーバがダウンした時には 切り離すとともにstandbyサーバを primaryに自動昇格させる Ｘ PostgreSQL primary 検索 更新 検索 PostgreSQL primary PostgreSQL standby streaming replication 25 Copyright(c) 2014 SRA OSS, Inc. Japan pgpool-IIによるクラスタの概念 検索/更新 待機用のpgpool-IIを 用意し、稼動系のpgpool-IIが ダウンした時にフェイルオーバ させることも可能(watchdog) pgpool-II 検索 更新 PostgreSQL primary 検索 pgpool-II 検索 PostgreSQL standby streaming replication 26 Copyright(c) 2014 SRA OSS, Inc. Japan PostgreSQL standby pgpool-IIの構造 pgpool-IIメインプロセス watchdog 起動 設定ファイル pgpool.conf pgpool-IIメインプロセス 監視 起動 pgpool-II子プロセス SQLパーサ プロトコルエンジン 実際には多数のプロセス が起動される。 コネクション プール PostgreSQL PostgreSQL クエリキャッシュ PostgreSQL 27 Copyright(c) 2014 SRA OSS, Inc. Japan pgpool-IIの必要とするリソース ● ● ● ● ディスクIOはほとんど発生しない ネットワーク性能が重要 多数のプロセスが並行して動くので、CPU数は多 い方が良いが、CPU負荷は軽いので、特別高速な CPUである必要はない 必要メモリ ● 子プロセスあたり50MB位が目安 – 子プロセスの本数はnum_init_childrenで決まる 28 Copyright(c) 2014 SRA OSS, Inc. Japan pgpool-II設定 ● num_init_children ● ● ● max_pool ● ● PostgreSQLへのコネクションプールキャッシュの数 num_init_children*max_pool < PostgreSQLの最大接続数 (max_connections)である必要がある ● ● 起動する子プロセスの数 同時に受け付けるアプリケーションからの接続数を決定 実際には更に余裕が必要。詳細はマニュアルにて num_init_childrenを超えたアプリケーションからの接続はカーネ ル内のlistenキューに保持される。Linuxなら、net.core.somaxcon の設定に注意(num_init_children*2以上必要) 29 Copyright(c) 2014 SRA OSS, Inc. Japan ヘルスチェック設定 health_check_period: ヘルスチェックの間隔 開始 PostgreSQLから応答あり。OK health_check_timeout秒間応答なし health_check_retry_delay秒間待つ 最大health_check_max_retries回リトライ ● 各種設定値を短くしすぎると誤検知でフェイルオーバが頻発 ● 長くし過ぎるとエラー検知までの時間が長くなる 30 Copyright(c) 2014 SRA OSS, Inc. Japan フェイルオーバ設定 ● failover_command ● ● 典型的な処理 ● ● ヘルスチェックでpgpool-IIがPostgreSQLのダウンを検出した時に 呼び出すスクリプトを設定 primaryサーバがダウンした場合には、昇格候補のstandbyサーバ 上で “pg_ctl promote”コマンドをsshで実行する 以下の情報がpgpool-IIから渡される ● ● ● ダウンしたノード番号 以前のprimaryノード番号 現在、ダウンしていないもっとも若いノードの番号(master node id) 31 Copyright(c) 2014 SRA OSS, Inc. Japan オンラインリカバリ設定 ● ● ● primary PostgreSQLのＤＢを指定ノードに同期し てstandbyサーバを作る 実際のスクリプトはユーザが作る(サンプルあり) 同期中も更新処理を受け付ける pgpool-II pgpool_recovery recovery_1st_stage_command ベースバックアップを実行 pcp_recovery_node (管理コマンド) primary PostgreSQL standby PostgreSQL 更新差分はWALをロールフォワード 32 Copyright(c) 2014 SRA OSS, Inc. Japan チューニング ● relcache_expire ● ● ● relcache_size ● ● 上記キャッシュが保持できるテーブル数。テーブルが多い場合には増やす check_temp_table ● ● pgpool-IIが持つテーブルのメタ情報のキャッシュ期限 頻繁にテーブルを作成したりする場合は無期限ではなく、短くする テーブルが一時テーブルかどうかのチェックを行うかどうか。一時テーブ ルを使っていない場合はoffにすることにより、内部クエリの数を減らせる memory_cache_enabled ● 検索中心のシステムでは有効にすることにより性能向上 33 Copyright(c) 2014 SRA OSS, Inc. Japan pgpool-IIの運用管理(1) ● pgpool-IIの起動 ● ● pgpool-IIの停止 ● ● pgpool start pgpool stop 設定ファイルの再読み込み ● pgpool reload 34 Copyright(c) 2014 SRA OSS, Inc. Japan pgpool-IIの運用管理(2) ● DBノードの状態を表示 # show pool_nodes; node_id | hostname | port | status | lb_weight | role +++++ 0 | /tmp | 11000 | 2 | 0.333333 | primary 1 | /tmp | 11001 | 2 | 0.333333 | standby 2 | /tmp | 11002 | 2 | 0.333333 | standby ● pgpool-IIの管理下から外す ● ● pgpool-IIの管理下に組み入れる ● ● pcp_detach_node pcp_attach_node オンラインリカバリを実行する ● pcp_recovery_node 35 Copyright(c) 2014 SRA OSS, Inc. Japan pgpool-IIの運用管理(3) ● 新しいstandbyノードを追加する ● ● ● ● ● ● PostgreSQLのインストールと、initdbだけやっておく(起動 はしない) pgpool.confに新しいDBの情報を記述 “pgpool reload”でpgpool.confの再読み込み DBノードがダウン状態でpgpool-IIに認識される pcp_recovery_nodeを実行、ＤＢの同期を取り、オンライン 状態にする 新しくpgpool-IIに接続したセッションから新しいＤＢ ノードを利用できるようになる 36 Copyright(c) 2014 SRA OSS, Inc. Japan 今後の予定 ● 2014年9月くらいまでに次期メジャーバージョン(3.4.0)のリリース ● ● ● PostgreSQL 9.4対応 SQLパーサがPostgreSQL 9.4相当に 新しい設定項目の追加 – – – – ● 内部的な改良 – – ● print_user check_unlogged_table listen_backlog_multiplier connect_timeout PostgreSQLのメモリーマネージャ、例外処理の移植によるコードの簡素化、信頼性の向上 ソースツリーの整理 導入構築を容易に ● ● ● インストーラの提供 パッケージの提供 Dockerイメージの提供 37 Copyright(c) 2014 SRA OSS, Inc. Japan まとめ ● ● ● ● ミッションクリティカル 領域でのPostgreSQL の利用 可用性の向上のため のクラスタ 性能向上のためのクラ スタ pgpool-IIの紹介 38 Copyright(c) 2014 SRA OSS, Inc. Japan 参考URL ● SRA OSSのサイト(多数のスライドや技術情報あり) ● ● pgpool-IIオフィシャルサイト ● ● ● http://www.sraoss.co.jp http://www.pgpool.net http://www.pgpool.net/pgpoolweb/contrib_docs/simple_sr_setting2_3.3/index -ja.html PostgreSQLに関する各種技術情報 ● http://lets.postgresql.jp 39 Copyright(c) 2014 SRA OSS, Inc. Japan お知らせ (株)AITのブースにて、IBM POWER上のPostgreSQLのデモを 行っています。是非新しいPOWER8の実力をお確かめください！ PostgreSQL 参照多重アクセス性能の比較 400000 350000 300000 250000 T P S 200000 150000 POWER7 (64 コア ×4 スレッド ) 1/3のコア数で より高い性能！ 100000 POWER8 (20 コア ×8 スレッド） 50000 0 0 20 40 60 80 pgbench 同時接続数 40 Copyright(c) 2014 SRA OSS, Inc. Japan 100 120 140 オープンソースとともに Copyright(c) 2014 SRA OSS, Inc. Japan 41
© Copyright 2024 Paperzz
