精選

[企業儲存觀察室] 持續型記憶體與企業儲存

前些時候有讀者問我關於持續型記憶體 (Persistent Memory, PM) 的事,因為筆者之前還沒有特別去研究這項議題,所以這次就搜集整理了一些資料整理出來分享,算是現學現賣! 儲存與成本間的關係取決於存取的效能;效能越快成本越高,成本越高容量就會越小,離運算元(處理...

2019/06/21

[企業儲存觀察室] Fibre Channel 與 iSCSI(二)

上文接「Fibre Channel 與 iSCSI(一)

圖片來源:NetworkWorld

接下來我們來看看兩個實際的案例,讀者們就會更瞭解不同之處在哪裡了?

實例一,某客戶發現無法對某一部 FC 儲存系統上的部份 LUN 進行資料的存取,收集光纖交換器與儲存系統上的 log 進行分析後發現:
光纖交換器與該部儲存系統控制器相連的某一個 port 在某個時點被 log-out;
控制器上與這些 LUN 相關的 port 被 detached;
光纖交換器上與某台主機相連的 port 在同一時段接收到異常大量的錯誤封包;
該台主機在同一時點不斷的對該儲存系統提出資料存取要求;
原因:新上線的主機對儲存系統發出資料存取要求,因為某些軟體/驅動程式的 bug,這些要求以錯誤的封包型式被送出,因為接收大量的錯誤封包,數量到達儲存系統控制晶片錯誤計數器的最高值,儲存系統自動 detach 該 port 進行自我保護。
因為 FC 是在網路及交換器上進行集中式的管理,而且每個光纖網路上的設備 log 都會記錄與 FC 封包相關的資訊,因此可以在短時間內就找出原因。

實例二,某客戶在晚上離峰時間,發現某個 iSCSI LUN 會掉,在一段時間後(約幾個小時後),自動恢復。收集儲存系統與乙太網路交換器的 log 分析後發現:
儲存系統上的 iSCSI LUN 沒有異常下線的狀況,但在該時段裡的確沒有被存取的情形;
網路交換器相關的 port 都沒有異常;
網路流量在該時段稍高,某些時點超出正常峰值;
除了該特定 LUN 外,其它的 iSCSI LUN 都沒有異常狀況;
客戶堅持乙太網路環境沒有問題,一定是儲存系統的問題;
該現象不定時出現,沒有特定規律,但都在晚上時間發生;
為了尋找問題,工程師在該主機上啟動一隻排程執行的作業,在晚上時段每一小段時間,如每隔 1 分鐘就對 iSCSI LUN 的 ip address 發出 ping 指令,並記錄結果。結果發現在 iSCSI LUN 掉的時段裡,該主機無法接收到 ping 指令的回應。
於是從離儲存系統網路近端網段的主機開始進行測試,逐漸往網路的遠端網段移動,以找出在網路的哪一個網段會出現問題?
結果是,在某一個網段因為與備份系統共用網路,因此當晚上備份作業啟動時,特別是在那些備份量大的日子,就會影響網路的回應速度,然後就發生問題。
因為 iSCSI 是分散式,在客戶端和目標端進行管理,除非是很明顯在儲存系統出了狀況,否則(經驗上)都是在處理 TCP/IP 乙太網路,而不是儲存系統的問題。

這兩個例子雖然稍微有點極端,但其實在資料中心的維運實務上,是經常會碰到的典型例子。但如前文所述,FC 與 iSCSI 兩者成本顯然差很大,從邏輯上來說,iSCSI 應該早已經把 FC 給趕出資料中心了!但顯然 FC 是有它極具優勢的地方,讓企業願意為它付出高價?

關於 FC 與 iSCSI 的討論,通常會集中在成本和效能上。

在成本上,iSCSI 毫無疑問的是具備優勢的,甚至可以說是最主要的優勢。在一定的規模之上,即便是共用資料中心現有的 SAN 環境,與單獨新建一個 TCP/IP 乙太網路相比,iSCSI 也是在成本上佔盡優勢的。所以如果純粹就建置成本來考量,iSCSI 肯定是勝出的。特別是在橫向擴展的架構下,不論是應用或是 SDS,當有成百上千個節點時,成本的價差就會更形巨大。
事實上這也是乙太網路儲存架構的下一個主要戰場,當 NVMe-oRoCE/iWARP/TCP 以及更高速 25/40/100GbE 的網路成熟時,NVMe-oFC 在這些橫向擴展儲存架構上,是很難在成本上與這些以乙太網路為基礎的 NVMe-oF 競爭的。

很多人在討論 FC 與 iSCSI 的效能時,都把焦點放在 16/32/64Gb 或 25/40/100GbE 上,光纖線纜本質是一樣的,所以在同樣材質的光纜上,理論速值越高傳輸速度就應該越快。當然,在比較效能時,必須要拿對等的速度來比較,例如不能拿 1GbE iSCSI 與 8Gb FC 相比;要對比 32Gb FC 時,至少要拿 25/40GbE 來比。不過不管怎麼比,筆者還是認為這種比光纖速度的方式,根本是完全劃錯重點。

還是要回到發展的源起,如前文所說的,FC 是一個專屬於儲存的網路,它運用各種方式來強化的效能與保證資料的正確。而 TCP/IP 乙太網路本質上是一個共用網路,即便是為了 iSCSI 而特別建置的網路,乙太網路在 OSI 第二層資料鏈結層是使用 CSMA/CD (Carrier Sense Multiple Access/Collision Detection 載波偵測多重存取/碰撞偵測) 的方式來傳遞資料封包,因此當傳送的資料封包數量越大,碰撞的機會越高,重送的比率也越高。
一個簡單、但不是那麼精準的比擬就是,FC 像鐵路,iSCSI 像高速公路。兩者最高速率接近,但在現實世界中,同樣大小的資料傳送完成的時間,FC 會比 iSCSI 快。

未完,待續⋯⋯