ビジネス向けIBネットワークを考える ～HPCクラスタでの経験を踏まえて～
•
13 likes•10,077 views
ビジネス向けIBネットワークを考える ～HPCクラスタでの経験を踏まえて～ 2013.2.1 株式会社富士通研究所 中島耕太 Infiniband DAY [06] Business Conference for Enterprise/Web Service.
Recommended
More Related Content
What's hot
What's hot (20)
More from Naoto MATSUMOTO
More from Naoto MATSUMOTO (20)
Recently uploaded
Recently uploaded (9)
ビジネス向けIBネットワークを考える ～HPCクラスタでの経験を踏まえて～
- 1. (*) ビジネス向けIB ネットワークを考える ～HPCクラスタでの経験を踏まえて～ 2013.2.1 （株）富士通研究所 中島 耕太 nakashima.kouta@jp.fujitsu.com (*) InfiniBandはInfiniBand (SM) Trade Associationの商標またはService Markです。 また、本資料に記載されている製品名などの固有名詞は、各社の商標または登録商標です。 Copyright 2013 Fujitsu Laboratories Ltd.
- 2. これまでのInfiniBand (IB) 2000年: 仕様策定、当初は汎用I/O接続が目的 2000年代: 主にHPC(スパコン)分野中心 高帯域/低遅延実現のため 導入事例 2003年 2008年 2009年 2010年 Riken Super T2K Kyoto Riken Integrated 日本原子力研究 Combind Cluster Cluster of Cluster 開発機構スパコン 1 Copyright 2013 Fujitsu Laboratories Ltd.
- 3. IBのメリットをビジネス分野へ IBのメリット 高帯域: IB FDR 7GB/s、実測でも6GB/s越 低遅延: 片道 1μs以下 高コストパフォーマンス: 価格 IB FDR≒10GbE データセンタやクラウド環境のネットワークとして 採用するメリット高い 数百～数千サーバを接続するために どういうネットワーク(網)を考えればよいか? 2 Copyright 2013 Fujitsu Laboratories Ltd.
- 4. ネットワークを考える 複数のIBスイッチをどう接続するか Ethernetの場合 基本はTree構造 Trunking + Stackingで拡張 3 Copyright 2013 Fujitsu Laboratories Ltd.
- 5. IBネットワーク 仕様上はトポロジーフリー 何も考えずにいい加減につなぐとデッドロックする 4 Copyright 2013 Fujitsu Laboratories Ltd.
- 6. デッドロックとは スイッチA スイッチB 3 4 サーバ1 サーバ2 2 1 スイッチD スイッチC サーバ4 サーバ3 次のバッファの空きがなく転送不可 デッドロック 5 Copyright 2013 Fujitsu Laboratories Ltd.
- 7. HPCクラスタネットワーク HPCクラスタの場合、 大半がFat Treeか亜種 デッドロックの心配なし 中規模ならビジネス向けでもFat Treeがお勧め 36ポートSWをベースにFat Treeの組み方を議論 6 Copyright 2013 Fujitsu Laboratories Ltd.
- 8. Fully Bisectional Bandwidth ポート数: 上向き = 下向き ボトルネックなし 上向き 6+6+6 18ポート 18 下向き 18ポート 上段SWは最大18台。下段SWは上段の2倍。 最大構成で、648台接続可能。 サーバ数/スイッチ数 = 12.0。SW収容効率は高い 7 Copyright 2013 Fujitsu Laboratories Ltd.
- 9. 3段Fat Tree スイッチ群 (2段FT) 上向き 9+9 18ポート 下向き 9+9 18ポート 9+9 上向き 18ポート 18 下向き 18ポート スイッチ群は最大18個、最大11,664台接続可能 サーバ数/スイッチ数 = 7.2 8 Copyright 2013 Fujitsu Laboratories Ltd.
- 10. 1/n帯域 Fat Tree 1/2 Fat Tree: 帯域は1/2 上向き 12 12ポート 24 下向き 24ポート 最大構成で、864台接続可能。 サーバ数/スイッチ数 = 18.0 高SW収容効率 9 Copyright 2013 Fujitsu Laboratories Ltd.
- 11. Fat Tree vs Mesh/Torus 大規模構成ではMesh/Torusが有利? 7本 7本 35ポート 7本 7本 7ノード サーバ数/スイッチ数 = 7.0。SW収容効率は低い ケーブルコストを含めると、大規模では有利かも。 10 Copyright 2013 Fujitsu Laboratories Ltd.
- 12. Fullmesh (完全接続) すべてのスイッチ間を接続 SW数台なら良い選択肢 デッドロックはしない ブレード同士の接続にはおすすめ 11 Copyright 2013 Fujitsu Laboratories Ltd.
- 13. おわりに IBはフリートポロジー デッドロックの考慮必要 Fat Treeがおすすめ できるだけ段数は少ない方が高効率 予算と性能要件を考慮した適切な構成を設計可 Fat Tree vs Mesh/Torus Mesh/Torusはスイッチ収容効率は良くない ケーブルコストを考えると大規模では有利かも？ 小規模ならFullmeshもおすすめ 12 Copyright 2013 Fujitsu Laboratories Ltd.
- 14. 13 Copyright 2013 Fujitsu Laboratories Ltd.