VMwareで手っ取り早く社内システムをHAサーバ化してみました (bpstudy#38)
•
5 likes•6,257 views
詳細はブログ記事にて http://www.koemu.com/blog/2010/10/30/bpstudy38/
Recommended
More Related Content
What's hot
What's hot (19)
Viewers also liked
Similar to VMwareで手っ取り早く社内システムをHAサーバ化してみました (bpstudy#38)
Similar to VMwareで手っ取り早く社内システムをHAサーバ化してみました (bpstudy#38) (20)
More from Yuichiro Saito
More from Yuichiro Saito (18)
Recently uploaded
Recently uploaded (8)
VMwareで手っ取り早く社内システムをHAサーバ化してみました (bpstudy#38)
- 1. 2010/10/29 BPStudy#38@EBISU 303 斎藤 祐⼀一郎 (id:koemu)
- 2. 1. VMware HAを使うと、特別な設定 をしなくても簡単にHA構成が組める よ！ ◦ 多分VMware以外でも応⽤用できると思います 2. VMを使うと少数のサーバでも美しく 業務を分けられるようになるよ！ 資料は後でblogにアップします 2010/10/29 2 Copyright(C) 2010 Yuichiro Saito
- 3. 1. ⾃自⼰己紹介 2. VM化以前の状況 3. システムリプレース時の要求 4. 導⼊入時に⽐比較した構成 5. 現状の構成 6. 導⼊入後のメリット 7. 注意点 8. 今後構築されたい⽅方へ 9. おわりに 2010/10/29 3 Copyright(C) 2010 Yuichiro Saito
- 4. 斎藤 祐⼀一郎 ◦ id: koemu ◦ 所属 (株)インタラクティブブレインズ ◦ ARや3Dサーバサイドレンダリングシステ ム構築に関するSEをしています ◦ その傍らで社内の情報システム管理担当 ◦ 以前は株式のテクニカル分析に関するシ ステムも組んでました ◦ ⾃自転⾞車車とスキーが好きです 2010/10/29 Copyright(C) 2010 Yuichiro Saito 4
- 5. 2010/10/29 5 Copyright(C) 2010 Yuichiro Saito • 他の業務を巻き添えにして⽌止まる • ⼤大企業のように業務毎にサーバを⽤用意できなかった • 障害切り分けを複雑化させてしまう • 業務の例: DNS, LDAP , WebDAV,メール, ML, SVN, Redmine, Proxy, Reverse Proxy, Web たった3台のサーバに10の業務 • 障害が起きると修理完了まで業務停⽌止 冗⻑⾧長化されていない機材 • 創業期(5年以上前)に買ったものらしい • 昨今のサーバに⽐比べてとても⾮非⼒力力 • 保守部品がないものもあり故障したら修理ほぼ不能 機材の⽼老老朽化と保守切れ
- 6. リプレースしないとまずい。 さて、どうするか。 2010/10/29 Copyright(C) 2010 Yuichiro Saito 6
- 7. サーバ本体の可⽤用性を次の通りとした。 基幹のため、データを守るべくパブリッ ククラウドは選定から外れた。 ネットワークを冗⻑⾧長化すると予算をオー バーするので今回はあきらめた。 求められる⽔水準 可⽤用性指標 対象サービス 10分以内に復帰し業務 影響を最⼩小限に抑える 99.950% メール (POP3, SMTP, IMAP), ML, LDAP, DNS 30分程度で復帰できれ ば問題ない業務 99.900% WebDAV, SVN, Redmine 2 3時間程度で復帰で きれば問題ない業務 99.500% リバースプロキシ, プロキシ 2010/10/29 7 Copyright(C) 2010 Yuichiro Saito
- 8. レガシー案 ◦ 重要なシステムのみ 冗⻑⾧長化 VM案 ◦ VMware HAで全て 冗⻑⾧長化 冗⻑⾧長化対応 ストレージ メール,ML, LDAP ,DNS WebDAV, SVN, Redmine Proxy, Reverse-P , DNS 3Dレンダリング テストサーバ群 Proxy, Reverse-P , DNS 3Dレンダリング テストサーバ群 冗⻑⾧長化対応 ストレージ VMware vSphere 4 VMware vCenter 2010/10/29 8 Copyright(C) 2010 Yuichiro Saito
- 9. 台数が変わらない。 2010/10/29 9 Copyright(C) 2010 Yuichiro Saito
- 10. ⼩小規模⽤用のEssential Plusは、ホスト3台分 セットで、OEM価格だと33万円だった。 (保守費⽤用は別途いるけど27万円/5年) マシン1台分のコストを上乗せすれば、 VMwareのHA構成が組めることがわかった。 2010/10/29 10 Copyright(C) 2010 Yuichiro Saito
- 11. VM案で決定 価格はマシン1台分しか変わらないし やれることが増える 2010/10/29 Copyright(C) 2010 Yuichiro Saito 11
- 12. 運⽤用中の仮想サーバ 業務毎に仮想サーバを分けている。 運⽤用状況をわかりやすくするため、2 台のうち1台のみを通常は利⽤用。⽚片⽅方 はホットスタンバイ(⾊色が薄いサーバ)。 Copyright(C) 2010 Yuichiro Saito 12 DNS, LDAP WebDAV Redmine SVN メール, ML 経理DB 開発⽤用 テストサーバ群 VMware vCenter (管理専⽤用) 2010/10/29
- 13. 機種: IBM BladeCenter S + HS22 OS: Ubuntu Linux 10.04 LTS CPU: Xeon L5518 x 2 RAM: 24GB NIC: 4枚刺し (2枚1組のBonding) ローカルHDD: RAID1 72GB x 2 ◦ イメージは共有HDDにあるので⼩小さくてOK 共有HDD: RAID5 147GB x 11 (+予備1) ◦ 共有SASタイプ コントローラ冗⻑⾧長化済 ◦ ⼀一杯HDDがあると書き込みが分散して相対的に 速くなる ◦ アレイ構築に1⽇日かかるのにびっくり 2010/10/29 Copyright(C) 2010 Yuichiro Saito 13
- 14. 下記はある平⽇日の全VMのCPU負荷を重ねた グラフである 7台動いているが超余裕 200%いかない ◦ 上限は1,600%(16スレッド)なので注意 ⽐比較的重たいのはメール・ML⽤用仮想サーバ 2010/10/29 Copyright(C) 2010 Yuichiro Saito 14
- 15. 下記はある平⽇日のメール・ML⽤用仮想 サーバのLoad Average(以下LA)である 先ほどのグラフと同じ⽇日のデータ 以前のマシンだとLAは1を常に超えてい たが現状は最⼤大0.4 2010/10/29 Copyright(C) 2010 Yuichiro Saito 15
- 16. 内容 後 前 ハード障害 待機系にフェイルオーバ してすぐに復帰可能 修理するまで復帰不可能 ミドル障害 他の業務を巻き込まなく なり影響範囲が限定 Apacheが落ちると多く を巻き込んで被害甚⼤大 障害切り分け 原則1サーバ1業務のため 障害切り分けが楽 複数のサービスがうごめ きどれが原因か探るのが ⾯面倒 マシン調達 直ちに準備可能 逐次買う必要があった メンテナンス IDCに⾏行行かなくてもOSイ ンストールやメンテがで き作業時間短縮可能 OSインストールはIDCで ⾏行行う必要あり 構築 イメージテンプレート化 で即座に⽴立立ち上げ 同じような作業を繰り返 す必要あり(OSインス トールなど) 2010/10/29 Copyright(C) 2010 Yuichiro Saito 16
- 17. 好きなOSをチョイスできる ◦ パブリッククラウドではOSが限定される イメージのテンプレート化でさくさく作業可能 ◦ 2ヶ⽉月で全システムを移⾏行行完了 マシン調達の⼿手間とリードタイムからの解放 ◦ さらば稟議書！ ◦ 場所や電源の確保も考えなくてよくなる ◦ 固定資産が増えないので経理の⼈人やB/Sにも優しい (と思う) VMイメージのメリット ◦ 万⼀一の場合はディスクイメージごと丸ごとロール バックできる。スナップショットも活⽤用する。 ◦ ミドルウェア アップデート試験がやりやすい。 2010/10/29 17 Copyright(C) 2010 Yuichiro Saito
- 18. VMware HA ≠ 完全無停⽌止。⼀一度マシンが 停⽌止して、再起動することで復帰となる。 ◦ 完全無停⽌止(FT)はべらぼうに⾼高い ◦ 機材障害からのみ守れると思うべき ◦ ミドルウェアの障害対策(MySQL等)は複数の仮 想サーバを⽤用意し回避するのが⼿手っ取り早い ◦ いずれにしても障害時試験はすること サーバをいっぱいあげたくてもグローバルIP が枯渇して叶わないことがある。 ◦ 外部公開にはリバースProxyも活⽤用 ホストが4台以上になるときは、ライセンス は全て買い直し。 ◦ そんなに増やす頃にはもっと儲かってるだろう 2010/10/29 18 Copyright(C) 2010 Yuichiro Saito
- 19. ディスクとRAM容量 ◦ これらが多いほどたくさんの仮想サーバがあげられる。 ◦ ただ、仮想サーバを⼊入れすぎるとCPUやI/Oのパワーが⾜足 りなくなって持て余す可能性あり。バランスもある。 ⽴立立ち上げる仮想サーバの注意 ◦ 連続⾼高負荷(バッチ等)がかかるサーバは仮想化から除外す ることも考慮する。他の仮想サーバに影響が出る。 ◦ GPUを使う仮想サーバは今のところ無理。 共有ディスクの構築 ◦ コントローラはケチってはダメ。I/Oパフォーマンスに悪 影響。Write Backキャッシュ必須。 ◦ SAS(3Gb)とiSCSI(1Gb)では、SASのほうがスループッ ト・レイテンシともに良好であった。⼩小規模ならSASも⼀一 考の価値あり。 VMはベンダーからOEM提供があると安く調達可能 2010/10/29 Copyright(C) 2010 Yuichiro Saito 19
- 20. 運⽤用の悩みが解消できた ◦ 仮想化で障害の悩みはずいぶんと解消可能 中⼩小企業におけるプライベートクラウド の可能性 ◦ 中⼩小企業はこれまで多くサーバを買えなかっ たが、仮想化することで業務細分化ができる ようになる。⼤大企業の仮想化とは逆。 パブリッククラウドで動く仮想サーバの 挙動についても想像がつくようになる ◦ 思ったほど速くないのは⾃自分のサーバは重い 仮想マシンばかりのクラスタだった、とか… 2010/10/29 20 Copyright(C) 2010 Yuichiro Saito
- 21. 2010/10/29 21 Copyright(C) 2010 Yuichiro Saito