Ubuntu preciseでの10GbEとinfinibandのiperf結果 - Debian/Ubuntu JP Advent Calendar 2012 8日目(2巡目)
Debian/Ubuntu JP Advent Calendar 2012 8日目担当、日本目光会のkozo2です。 昨日は岩松さん @iwamatsu の apt-forktracer を使ってパッケージをチェックする でした。 今日は、Ubuntu precise以降での10GbEとinfinibandの導入方法とその速度のiperf結果をお伝えします。
10GbEの導入方法とiperf結果
10GbEのcardを挿せば、特にdriverとかそれ用の設定は必要無く普通に認識されてるかと思います。
lspci |grep Gigabit
それらしきEthernet controller
ls -l /sys/class/net/eth-/device/driver
lrwxrwxrwx 1 root root 0 Nov 16 18:04 /sys/class/net/eth-/device/driver -> ../../../../bus/pci/drivers/ixgbe
下記は3つのクライアントからiperfした結果です。 高性能なクライアントほど速度が出てるようでした。
iperf -s
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------
[ 4] local ---.---.---.--- port 5001 connected with ---.---.---.--- port -----
[ ID] Interval Transfer Bandwidth
[ 4] 0.0-10.0 sec 3.69 GBytes 3.16 Gbits/sec
[ 5] local ---.---.---.--- port 5001 connected with ---.---.---.--- port -----
[ 5] 0.0-10.0 sec 6.99 GBytes 6.03 Gbits/sec
[ 4] local ---.---.---.--- port 5001 connected with ---.---.---.--- port -----
[ 4] 0.0-10.0 sec 4.20 GBytes 3.60 Gbits/sec
infinibandの導入方法とiperf結果
これもipoibを使う分には、precise以降のkernelであればinfinibandのcardを挿し下記の commandを実行するだけでib interfaceの設定ができるようになります。
sudo apt-get install opensm
modprobe mlx4_ib
modprobe ib_umad
modprobe ib_uverbs
modprobe ib_ipoib
lspci |grep InfiniBand
03:00.0 InfiniBand: Mellanox Technologies MT26428 [ConnectX VPI PCIe 2.0 5GT/s - IB QDR / 10GigE] (rev b0)
ls -l /sys/class/net/ib0/device/driver
lrwxrwxrwx 1 root root 0 Dec 8 04:42 /sys/class/net/ib0/device/driver -> ../../../../bus/pci/drivers/mlx4_core
こっちでも3つのクライアントからiperfしてみました。ただしこっちのクライ アントはすべて同スペックです。単純には比べられないのですが10GbEのクラ イアントより性能は劣ると思います。
iperf -s
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------
[ 4] local ---.---.---.--- port 5001 connected with ---.---.---.--- port -----
[ ID] Interval Transfer Bandwidth
[ 4] 0.0-10.0 sec 3.38 GBytes 2.90 Gbits/sec
[ 5] local ---.---.---.--- port 5001 connected with ---.---.---.--- port -----
[ 5] 0.0-10.0 sec 3.40 GBytes 2.92 Gbits/sec
[ 4] local ---.---.---.--- port 5001 connected with ---.---.---.--- port -----
[ 4] 0.0-10.0 sec 3.40 GBytes 2.92 Gbits/sec
おわりに
これだけ見る限りでは10Gの方が速いみたいですが、どうなんですかね