you21979の日記

実験ネタとか。仮想化とかnodejsで嵌った所とかおもしろかったところとかいろいろ

SFP+の相性


SFP+の組み合わせをいろいろと試してみたのだが相性の悪いパターンがあったので紹介したい

手持ちの10GbEのカードは

Solarflare SFN5122F

Mellanox ConnectX-3 MCX311A-XCAT

Mellanox ConnectX-3 MCX312A(型番不明な2ポート)

 

手持ちの10GBASE-SRのSFP+は

INTEL FTLX8571D3BCV-IT

MELLANOX MFM1T02A-SR

FS SFP-10GSR-85 ME(Mellanox MFM1T02A-SR互換)

FS SFP-10GSR-85(汎用品)

 

f:id:you21979:20190417010306j:plain

f:id:you21979:20190417015945j:plain

f:id:you21979:20190417021644j:plain

 

windows10 / Mellanox ConnectX-3 / INTEL FTLX8571D3BCV-IT

CRS309 / INTEL FTLX8571D3BCV-IT

この組み合わせはリンクはするがRx FCS Errorのエラー値がどんどん上がり通信が不安定

 

windows10 / Mellanox ConnectX-3 / MELLANOX MFM1T02A-SR

CRS309 / INTEL FTLX8571D3BCV-IT

この組み合わせは問題がない

 

windows10 / Mellanox ConnectX-3 / INTEL FTLX8571D3BCV-IT

CRS309 / MELLANOX MFM1T02A-SR

この組み合わせは問題がない

 

windows10 / Mellanox ConnectX-3 / FS SFP-10GSR-85 ME

CRS309 / INTEL FTLX8571D3BCV-IT

この組み合わせはリンクはするがRx FCS Errorのエラー値がどんどん上がり通信が不安定

 

windows10 / Mellanox ConnectX-3 / INTEL FTLX8571D3BCV-IT

CRS309 / FS SFP-10GSR-85 ME

この組み合わせは問題がない

 

windows10 / Mellanox ConnectX-3 / FS SFP-10GSR-85 ME

CRS309 / FS SFP-10GSR-85 ME

この組み合わせは問題がない

 

 

INTELをCRS309側に設置すると問題がでる?(出ない組み合わせもある)

あとSFN5122Fも同様の結果になった

 

やはり安定性を求めるならMikrotik製のSFP+モジュールを買ったほうがよいのかもなぁ

自分はいろんなモジュールを買ってみたのでいろいろ試せたが

相性か、壊れているか判断するのに正解のパターン(NICやSWITCHと同メーカのもの)も持っておくのがいいと思う

動作に影響はないがTX-FAULTのチェックが付くパターンも有る

 

SFP+のモジュールを買い足すのにfs.comを使ってみたが悪くはないと思った

ケーブルも安いし。

SFP+で光ファイバーケーブルを使ってみた

ダイレクトアタッチケーブルもいいけど長いのがないので光ファイバー使ってみたいと

考えている場合には10GBASE-SRのトランシーバーを使う必要があるがどんなのが使えるだろうか

 

結論から言ってしまえばベンダーロックされていない機器ならベンダーロックされている機器のトランシーバーを使っても問題なく使える

 

例えばIntelのx520-DA2というカードはベンダーロックがかかっていて

Intel-FTLX8571D3BCV-ITというトランシーバーが使えるようになっているが

このトランシーバ自体にロックがかかっているということはなくどの機器にも使える

 

以下のツイートではCRS309に装着してその情報を表示したもの

もちろんmellanox connectx-3などのロックフリーのカードにも使えた。

ebayにアクセスできるならトランシーバーは新品で1200円程度から購入可能である

 

 

 

10GBASE-SRに使える光ファイバーはOM3という種類で最大300Mとなっている。

 

 

 

 

 

おまけネタとしてSFP+のカードにRJ45トランシーバ挿した

動くが5Gにリンク落とすのがswitch側からなのでめんどいと思う

10Gでリンクするとやはり熱がそれなりに出る(壊れる程じゃないと思うが)

 

 

 

 

 以下のようなお話もいただけたのでここに書いてある内容は動かなくても自己責任ということで。

 

 

追記

互換性リストが公開されている

MikroTik SFP module compatibility table - MikroTik Wiki

 

Manual:Peripherals - MikroTik Wiki

 

10Gbpsカード HPのベンダーロックについてしらべてみた

HP製のよく見かけるカードと対応モジュールをまとめてみた

HPが販売していた671798-001という型番のmellanox connectx-2はベンダーロックがかかっていない

 

gist.github.com

 

HPのカードは基本的には455883-B21というトランシーバーを使えば良さそうだ

 

 

 

 

10Gbpsカード海外掲示板斜め読み ConnectX-2 and ConnectX-3

Mellanox ConnectX-2 と ConnectX-3についてfreenasのフォーラムに書かれていた投稿

ConnectX2は公式には最新版OSのドライバサポートを終了しているが

windows10やfreenasでは問題なさそう

(ここには書いていないがESXiはConnectX-2のドライバは入っていないらしい)

熱はどっちもそんなに発熱しない。

価格的には10GBase-Tに比べて半額くらいのConnectX-3にしたほうがいいと思う派かな。中古と新品比べちゃいかんと思うけど。

 

あとMellanox製品にはベンダーロックがない。(OEM含めて?)

 

www.ixsystems.com

 

FreeNas11.6でConnectX-2やConnectX-3使ってる人います?

問題や何がいいか提案してもらえると。

ConnectX3はConnectX2の価格の二倍です

 

X2は公式には生産終了品で古いバージョンのFreeNASに問題があるみたいですが

X3はMellanoxがまだ公式にサポートしてるのでwindows10のドライバもあります。

 

windows10システム用にMellanox X2を買って使用していますがなにも問題はない。米国ではMellanox ConnectX-2とConnectX-3の価格差はeBayで20ドル以下なので新しい方でも良いと思います。FreeNasでサポートされているかよく知りませんがConnectX-2が機能すればConnectX-3も機能すると思います

 

熱について教えてください

ConnectX2のほうが熱くなるんじゃないかと思っています

X3は冷えると思っています

 

それほど違いはありません。どちらも温かいです

 

www.reddit.com

 

私のConnectX-2を手に入れたばかり、暑いです。(そしてフォーラムのランダムな人々によると、Intelはもっと熱く、Chelsioはもっと熱い!)

 

 

 

 

 

10Gbpsカード海外掲示板斜め読み Chelsio T320

Chelsio T320という2port sfp+の10Gのカードがある

内容読む限り電気を食う以外はそれほどトラブルはなさそう

PCI Express gen2 x8

 

forums.servethehome.com

 

freenas、windows7、windows10、esxi5.5で使える

windowsのドライバは少し見つけづらい

掲示板にリンクが張ってある)

 

Mellanoxのカードより少し熱い。エアフローが必要

 

電気消費は14wです。mellanox connectx-2デュアルポートより7~8w多い

 

 

10Gbpsカード海外掲示板斜め読み Emulex OCE11102

Emulex OCE11102というカードがある

IBMなんかにも49Y7942という名前でOEMしている

PCI Express gen2 x8

 

Beware - Emulex 10GbE Virtual Fabric Adapter II x8 PCI-E slot | ServeTheHome and ServeThe.Biz Forums

 

ここでの投稿は

PCI Express x8のカードなのに余計にピンがありx8スロットには物理で気に刺さらない

うまくリンクしない、ベンダーロックかも

トラブってもSFPのレーザーを覗かないでください

 

ある人曰く、うまく動いていたのはcisco sfp +とtwinaxケーブルを使っていました。

 

IBMファームウェア10.2.261.36-1はウインドウズ環境でリンクアップした

第二のカードに同じファームウェアを適用し、Ubuntu 12.04環境ではリンクダウンした

BIOSをいじってポートのステータスを無効にして有効にしたら10gbpsでリンクした

BIOS画面から出て再起動したらリンクしたまま

Ubuntuが立ち上がってもリンクアップしている

windowspingしてうまくいった

 

 

見た感じベンダーロックはなくてファームウェアバージョンで動いたり動かなかったりって感じに見える。

ESXi5.5だと標準ドライバが問題あるようだ

 

のちのち別の人がうまくリンクしない報告をしていた

その人はBroadcomsのWebサイトから11.xファームウェアにカードをアップデートし、次にOne command CNAマネージャからすべてのDCBx機能を無効にします。CNAマネージャを再起動して使用し、ポートを無効にしてから再度有効にします。すべてのDCBx機能が無効になっていることを確認します。再起動し、ポートがオンラインになっているかどうかを確認します。

 

と記載している

 

 

 

10Gbpsカード海外掲示板斜め読み HP NC523SFP

 

HP NC523SFPという10gbのカードがある

QLogic QLE3242というOEM品らしいのだがebayで安くたくさん出ている

redditで話題になっていたのでのぞいでみた

PCI Express gen2 x8

 

www.reddit.com

 

書き込みを見るとebayで24ドル売られていて安い

Windows10やESXi6.7など主要なOSで動くようだ

freebsd11は動かないとおもったが動くらしい

Ubuntu18でも動く

ふむふむ

チップが発熱して70度で熱いらしい

エアフローや電源容量がギリギリだと問題がでるらしい

SuperMicroとbiosレベルで相性が悪いらしい

 

最後のコメントはこのカードで遊んで結局別のカードに替えたとある

 

熱問題がきついカードであるとわかる

HPブランドなのでおそらくトランシーバーもロックありかな。

 

microserverに積んだら問題でそう(笑)