とある Web 企業での Debian システムの使い方。大統一 Debian 勉強会 2013 株式会社サイバーエージェント前田耕平 2013 年 6 月 29 日自己紹介株式会社サイバーエージェント所属主に DC 運用関連のソフトウェアの開発やってます Debian JP Project 2011, 2012 年度会長でした趣味で Python でツール開発や、Python 関連の Debian パッケージのメンテナンスやってます仕事と趣味がほぼ一致一児（おまめ 1 ）と一匹（こまめ）の父親です 1 ネットでの通称今回お話しする内容 RHEL 系メインの環境で Debian システム増えてるって？社内向けの Debian パッケージの作成、配布方法は？ RPM の配布も Debain でやっちゃうって？私からの質問です。皆さんの職場はどんな環境？ A. B. C. D. もちろん Debian メインメインじゃないけど Debian も使ってる RHEL 系メインで Debian 使えれば使いたいいや、Unix, GNU/Linuxって何？今回お話しする内容 RHEL 系メインの環境で Debian システム増えてるって？社内向けの Debian パッケージの作成、配布方法は？ RPM の配布も Debain でやっちゃうって？サイバーエージェントでは？ 1. CentOS メイン。（今もね） 2. 転職時は所属チームのみで Ubuntu 10.04 LTS を利用 3. 今年 2 月リリースした DC はユーザ向け 2 のサービスに Ubuntu 12.04 LTS を利用 3 4. 今月 Wheezy も利用可能にした 5. 今後リリースするサービスは Wheezy を利用予定 2 3 私達のチームから見たユーザ= 社内＆グループ会社のエンジニア仮想マシンのホストや、コンシューマ向けサービスは主に CentOS Q. どうやって増やしたの？ A. ワシが使いたいから自分で増やした。具体的には？ OpenStack 環境提供期 0. OpenStack(Cactus, Diablo, Essex) Nova, Glance, Keystone, Horizon の環境として Lucid, Precise を利用 1. アメーバ環境の内部 DNS4 用に Lucid, Precise 利用 5 ※前提：この時期まではアメーバ向けの環境だけが対象 4 5 PowerDNS ＆ TonicDNS を使用 OpenStack 用のインスタンス名の自動登録が主目的新 DC プロジェクト期 Precise を前提に、必要な機能 6 を検証＆構築＆開発チームメンバーに Ubuntu の利用薦める基本公式パッケージを利用 Sid にも無いソフトウェアや開発したツールは基本全て、Debian パッケージ化 5. 作成したパッケージはローカルアーカイブで提供＆公式パッケージ化も目指す 2. 3. 4. 4. ※前提：新 DC からアメーバだけでなく、他事業部やグループ会社向けの環境も対象 6 認証, 監視, 監視用アラートメール, パッケージ管理, ログ管理, サーバ構成管理,NW 機器管理,SCM, etc. リリース後∼現在 6. チーム内でハンズオンでの勉強会 7 ＆ 4,5 の繰り返し 7 Python パッケージ作成、Debian パッケージ作成, Git 関連など身も蓋も無いけど、特別なことは何もない地道にできることをちょっとずつ増やしているだけ今回お話しする内容 RHEL 系メインの環境で Debian システム増えてるって？社内向けの Debian パッケージの作成、配布方法は？ RPM の配布も Debain でやっちゃうって？開発および本番環境 (VirtualBox 上の)Sid で開発 8 Precise や Wheezy は、Sid 上で pbuilder を利用本番環境は Clover9 で物理及び VM に OS インストール 8 9 毎日スナップショット取ると便利社内開発のツール。Nova ＆ cobbler ＆ DNS ＆ラック管理などを提供開発とパッケージメンテナンスの流れ 1. 2. 3. 4. 5. 使用するミドルウェアも Sid のパッケージを利用使用する Python パッケージも Sid のパッケージを利用パッケージが無ければ、PyPI にあるものを利用 PyPI になければ自分でツールやライブラリ開発上記いずれも Debian パッケージ化 Sid での Debian パッケージ作成 Python で開発したツールの例 10 $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ cd ~/devel/hoge python setup.py sdist ← (1) cp -i dist/hoge-x.x.tar.gz ~/debpkg/hoge/ cd ~/devpkg/hoge tar xvf hoge-x.x.tar.gz cd hoge-x.x dh_make --createorig -s ← (2) rm -rf debian cp -a ~/devel/hoge/debian . ← (3) debuild -us -uc ← (4) cd sudo pbuilder --build hoge_x.x-x.dsc ← (4) cd /var/cache/pbuilder/result sudo piuparts hoge_x.x-x_amd64.changes ← (5) debsign hoge_x.x-x_amd64.changes ← (6) sudo debi hoge_x.x-x_amd64.changes ← (7) 10 主に Python で開発しているので precise, wheezy 向けのパッケージメンテナンス（開発 and パッケージ化）したツール A) のソースパッケージをリビルドする B) が依存するモジュールがパッケージにない C) が依存するモジュールがパッケージにはあるが古いパターン A の場合 pbuilder の base.tgz イメージを２つ用意 precise の場合、precise 上で作成したものを Sid にコピー wheezy の場合、Sid 上でそのまま作成一つはシェルログインでの作業環境用もう一つは最小構成でのクリーンビルド用パターン B, C の場合 1. 作業環境で依存パッケージ 11 と最終目的のパッケージをリビルド 2. 最小構成の base.tgz から別途コピーしたイメージインストールしておく 3. 2 の base.tgz を使い、最終目的のパッケージをビルド ※ Tips は配布資料を参照。 11 依存パッケージが Sid の公式パッケージにあればそれ使用を、なければ自分で作っておきます内部のパッケージアーカイブ公式パッケージのアーカイブミラーには apt-mirror12 カスタムビルドおよび独自パッケージには reprepro13 ※ reprepro の細かい手順は配布資料を参照。 12 http://apt-mirror.github.io/ http://mirrorer.alioth.debian.org/ 14 python-apt で車輪の再開発やりかけたのは内緒 https://github.com/mkouhei/createapt 13 14 今回お話しする内容 RHEL 系メインの環境で Debian システム増えてるって？社内向けの Debian パッケージの作成、配布方法は？ RPM の配布も Debain でやっちゃうって？おまけの RPM リポジトリの作成いや、CentOS メインなんだからおまけではない RPM のリポジトリ公式リポジトリミラーは rsync するだけカスタムビルドパッケージにはパッケージアップロード用の Web UI を提供 Web UI には Flask アップロード時の RPM のメタ情報取得には python-rpm リポジトリの作成には Debian の createrepo パッケージテストデータ用の RPM は Debian 上で作成 ※ Debian 上でも RPM は作れるんですよまとめというか言いたいこと Debian 使いたければ自分で動くしかない使うパッケージ管理システムは一つに決めて運用するもっと良いやり方 15 が合ればぜひ教えてください :) Debian でだって RPM 作れるし、管理できるんですよ 15 Debian パッケージ管理として。何かご質問ありますか？