Ubuntu preciseでの10GbEとinfinibandのiperf結果 - Debian/Ubuntu JP Advent Calendar 2012 8日目(2巡目)

Debian/Ubuntu JP Advent Calendar 2012 8日目担当、日本目光会のkozo2です。 昨日は岩松さん @iwamatsuapt-forktracer を使ってパッケージをチェックする でした。 今日は、Ubuntu precise以降での10GbEとinfinibandの導入方法とその速度のiperf結果をお伝えします。

10GbEの導入方法とiperf結果

10GbEのcardを挿せば、特にdriverとかそれ用の設定は必要無く普通に認識されてるかと思います。

lspci |grep Gigabit
それらしきEthernet controller

ls -l /sys/class/net/eth-/device/driver
lrwxrwxrwx 1 root root 0 Nov 16 18:04 /sys/class/net/eth-/device/driver -> ../../../../bus/pci/drivers/ixgbe

下記は3つのクライアントからiperfした結果です。 高性能なクライアントほど速度が出てるようでした。

iperf -s
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------
[  4] local ---.---.---.--- port 5001 connected with ---.---.---.--- port -----
[ ID] Interval       Transfer     Bandwidth
[  4]  0.0-10.0 sec  3.69 GBytes  3.16 Gbits/sec
[  5] local ---.---.---.--- port 5001 connected with ---.---.---.--- port -----
[  5]  0.0-10.0 sec  6.99 GBytes  6.03 Gbits/sec
[  4] local ---.---.---.--- port 5001 connected with ---.---.---.--- port -----
[  4]  0.0-10.0 sec  4.20 GBytes  3.60 Gbits/sec

infinibandの導入方法とiperf結果

これもipoibを使う分には、precise以降のkernelであればinfinibandのcardを挿し下記の commandを実行するだけでib interfaceの設定ができるようになります。

sudo apt-get install opensm
modprobe mlx4_ib
modprobe ib_umad
modprobe ib_uverbs
modprobe ib_ipoib

lspci |grep InfiniBand
03:00.0 InfiniBand: Mellanox Technologies MT26428 [ConnectX VPI PCIe 2.0 5GT/s - IB QDR / 10GigE] (rev b0)

ls -l /sys/class/net/ib0/device/driver
lrwxrwxrwx 1 root root 0 Dec  8 04:42 /sys/class/net/ib0/device/driver -> ../../../../bus/pci/drivers/mlx4_core

こっちでも3つのクライアントからiperfしてみました。ただしこっちのクライ アントはすべて同スペックです。単純には比べられないのですが10GbEのクラ イアントより性能は劣ると思います。

iperf -s 
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------
[  4] local ---.---.---.--- port 5001 connected with ---.---.---.--- port -----
[ ID] Interval       Transfer     Bandwidth
[  4]  0.0-10.0 sec  3.38 GBytes  2.90 Gbits/sec
[  5] local ---.---.---.--- port 5001 connected with ---.---.---.--- port -----
[  5]  0.0-10.0 sec  3.40 GBytes  2.92 Gbits/sec
[  4] local ---.---.---.--- port 5001 connected with ---.---.---.--- port -----
[  4]  0.0-10.0 sec  3.40 GBytes  2.92 Gbits/sec

おわりに

これだけ見る限りでは10Gの方が速いみたいですが、どうなんですかね