SFP+の相性
SFP+の組み合わせをいろいろと試してみたのだが相性の悪いパターンがあったので紹介したい
手持ちの10GbEのカードは
Solarflare SFN5122F
Mellanox ConnectX-3 MCX311A-XCAT
Mellanox ConnectX-3 MCX312A(型番不明な2ポート)
手持ちの10GBASE-SRのSFP+は
INTEL FTLX8571D3BCV-IT
MELLANOX MFM1T02A-SR
FS SFP-10GSR-85 ME(Mellanox MFM1T02A-SR互換)
FS SFP-10GSR-85(汎用品)
windows10 / Mellanox ConnectX-3 / INTEL FTLX8571D3BCV-IT
CRS309 / INTEL FTLX8571D3BCV-IT
この組み合わせはリンクはするがRx FCS Errorのエラー値がどんどん上がり通信が不安定
windows10 / Mellanox ConnectX-3 / MELLANOX MFM1T02A-SR
CRS309 / INTEL FTLX8571D3BCV-IT
この組み合わせは問題がない
windows10 / Mellanox ConnectX-3 / INTEL FTLX8571D3BCV-IT
CRS309 / MELLANOX MFM1T02A-SR
この組み合わせは問題がない
windows10 / Mellanox ConnectX-3 / FS SFP-10GSR-85 ME
CRS309 / INTEL FTLX8571D3BCV-IT
この組み合わせはリンクはするがRx FCS Errorのエラー値がどんどん上がり通信が不安定
windows10 / Mellanox ConnectX-3 / INTEL FTLX8571D3BCV-IT
CRS309 / FS SFP-10GSR-85 ME
この組み合わせは問題がない
windows10 / Mellanox ConnectX-3 / FS SFP-10GSR-85 ME
CRS309 / FS SFP-10GSR-85 ME
この組み合わせは問題がない
INTELをCRS309側に設置すると問題がでる?(出ない組み合わせもある)
あとSFN5122Fも同様の結果になった
やはり安定性を求めるならMikrotik製のSFP+モジュールを買ったほうがよいのかもなぁ
自分はいろんなモジュールを買ってみたのでいろいろ試せたが
相性か、壊れているか判断するのに正解のパターン(NICやSWITCHと同メーカのもの)も持っておくのがいいと思う
動作に影響はないがTX-FAULTのチェックが付くパターンも有る
SFP+のモジュールを買い足すのにfs.comを使ってみたが悪くはないと思った
ケーブルも安いし。
SFP+で光ファイバーケーブルを使ってみた
ダイレクトアタッチケーブルもいいけど長いのがないので光ファイバー使ってみたいと
考えている場合には10GBASE-SRのトランシーバーを使う必要があるがどんなのが使えるだろうか
結論から言ってしまえばベンダーロックされていない機器ならベンダーロックされている機器のトランシーバーを使っても問題なく使える
例えばIntelのx520-DA2というカードはベンダーロックがかかっていて
Intel-FTLX8571D3BCV-ITというトランシーバーが使えるようになっているが
このトランシーバ自体にロックがかかっているということはなくどの機器にも使える
以下のツイートではCRS309に装着してその情報を表示したもの
もちろんmellanox connectx-3などのロックフリーのカードにも使えた。
ebayにアクセスできるならトランシーバーは新品で1200円程度から購入可能である
1000円位で買えるトランシーバーいろいろ買ってみた。 pic.twitter.com/frHoks3Y2D
— ゆあ☆ミ (@you21979) March 22, 2019
10GBASE-SRに使える光ファイバーはOM3という種類で最大300Mとなっている。
おまけネタとしてSFP+のカードにRJ45トランシーバ挿した
動くが5Gにリンク落とすのがswitch側からなのでめんどいと思う
10Gでリンクするとやはり熱がそれなりに出る(壊れる程じゃないと思うが)
mellanoxのカードにmikrotikのrj45トランシーバさしてみたけど普通に使えた pic.twitter.com/x1rncIMfBm
— ゆあ☆ミ (@you21979) March 10, 2019
以下のようなお話もいただけたのでここに書いてある内容は動かなくても自己責任ということで。
他社製品との相性問題までサポートできないですからね。。。(各社SFP+のモジュールが追加の収益源でしょうし)
— ゆあ☆ミ (@you21979) March 26, 2019
はい、仰る通りです。ユーザーからしたらありがたい限りですが・・・ https://t.co/ULOo9Ym7lV
— Routerboard UG JP (@RBUG_JP) March 26, 2019
追記
互換性リストが公開されている
MikroTik SFP module compatibility table - MikroTik Wiki
Manual:Peripherals - MikroTik Wiki
10Gbpsカード HPのベンダーロックについてしらべてみた
HP製のよく見かけるカードと対応モジュールをまとめてみた
HPが販売していた671798-001という型番のmellanox connectx-2はベンダーロックがかかっていない
HPのカードは基本的には455883-B21というトランシーバーを使えば良さそうだ
455883-B21って日本だけしか見てないと調達するの難しそうだな。
— ゆあ☆ミ (@you21979) March 26, 2019
hpが不人気なわけだなぁ。
この辺も対象に含めるなら3500円かhttps://t.co/U7oCYlJq07
10Gbpsカード海外掲示板斜め読み ConnectX-2 and ConnectX-3
Mellanox ConnectX-2 と ConnectX-3についてfreenasのフォーラムに書かれていた投稿
ConnectX2は公式には最新版OSのドライバサポートを終了しているが
windows10やfreenasでは問題なさそう
(ここには書いていないがESXiはConnectX-2のドライバは入っていないらしい)
熱はどっちもそんなに発熱しない。
価格的には10GBase-Tに比べて半額くらいのConnectX-3にしたほうがいいと思う派かな。中古と新品比べちゃいかんと思うけど。
あとMellanox製品にはベンダーロックがない。(OEM含めて?)
FreeNas11.6でConnectX-2やConnectX-3使ってる人います?
問題や何がいいか提案してもらえると。
ConnectX3はConnectX2の価格の二倍です
X2は公式には生産終了品で古いバージョンのFreeNASに問題があるみたいですが
X3はMellanoxがまだ公式にサポートしてるのでwindows10のドライバもあります。
windows10システム用にMellanox X2を買って使用していますがなにも問題はない。米国ではMellanox ConnectX-2とConnectX-3の価格差はeBayで20ドル以下なので新しい方でも良いと思います。FreeNasでサポートされているかよく知りませんがConnectX-2が機能すればConnectX-3も機能すると思います
熱について教えてください
ConnectX2のほうが熱くなるんじゃないかと思っています
X3は冷えると思っています
それほど違いはありません。どちらも温かいです
私のConnectX-2を手に入れたばかり、暑いです。(そしてフォーラムのランダムな人々によると、Intelはもっと熱く、Chelsioはもっと熱い!)
10Gbpsカード海外掲示板斜め読み Chelsio T320
Chelsio T320という2port sfp+の10Gのカードがある
内容読む限り電気を食う以外はそれほどトラブルはなさそう
PCI Express gen2 x8
freenas、windows7、windows10、esxi5.5で使える
windowsのドライバは少し見つけづらい
(掲示板にリンクが張ってある)
Mellanoxのカードより少し熱い。エアフローが必要
電気消費は14wです。mellanox connectx-2デュアルポートより7~8w多い
10Gbpsカード海外掲示板斜め読み Emulex OCE11102
Emulex OCE11102というカードがある
PCI Express gen2 x8
Beware - Emulex 10GbE Virtual Fabric Adapter II x8 PCI-E slot | ServeTheHome and ServeThe.Biz Forums
ここでの投稿は
PCI Express x8のカードなのに余計にピンがありx8スロットには物理で気に刺さらない
うまくリンクしない、ベンダーロックかも
トラブってもSFPのレーザーを覗かないでください
ある人曰く、うまく動いていたのはcisco sfp +とtwinaxケーブルを使っていました。
IBMファームウェア10.2.261.36-1はウインドウズ環境でリンクアップした
第二のカードに同じファームウェアを適用し、Ubuntu 12.04環境ではリンクダウンした
BIOSをいじってポートのステータスを無効にして有効にしたら10gbpsでリンクした
BIOS画面から出て再起動したらリンクしたまま
Ubuntuが立ち上がってもリンクアップしている
見た感じベンダーロックはなくてファームウェアバージョンで動いたり動かなかったりって感じに見える。
ESXi5.5だと標準ドライバが問題あるようだ
のちのち別の人がうまくリンクしない報告をしていた
その人はBroadcomsのWebサイトから11.xファームウェアにカードをアップデートし、次にOne command CNAマネージャからすべてのDCBx機能を無効にします。CNAマネージャを再起動して使用し、ポートを無効にしてから再度有効にします。すべてのDCBx機能が無効になっていることを確認します。再起動し、ポートがオンラインになっているかどうかを確認します。
と記載している
10Gbpsカード海外掲示板斜め読み HP NC523SFP
HP NC523SFPという10gbのカードがある
QLogic QLE3242というOEM品らしいのだがebayで安くたくさん出ている
redditで話題になっていたのでのぞいでみた
PCI Express gen2 x8
書き込みを見るとebayで24ドル売られていて安い
Windows10やESXi6.7など主要なOSで動くようだ
freebsd11は動かないとおもったが動くらしい
Ubuntu18でも動く
ふむふむ
チップが発熱して70度で熱いらしい
エアフローや電源容量がギリギリだと問題がでるらしい
SuperMicroとbiosレベルで相性が悪いらしい
最後のコメントはこのカードで遊んで結局別のカードに替えたとある
熱問題がきついカードであるとわかる
HPブランドなのでおそらくトランシーバーもロックありかな。
microserverに積んだら問題でそう(笑)