精選

[主筆漫談] 解決低薪要從改變遊戲規則做起

這次來談一個跟 IT 有點相關,但又不是絕對相關的主題。要從天下雜誌最近的一篇文章談起。 圖片來源:AIT 前幾天看到這篇文章時,筆者下巴差點就掉下來!我們這個國家的人才發展,竟然要靠 AIT?現在還是美援的時代?還是我們是美國的第 51 州?不過這也不重要,有人願意出手幫忙...

2019/12/12

[企業儲存觀察室] 層級式儲存的建構(中)

上文接「層級式儲存的建構(上)

熱資料。這類資料需要相對較高層級的儲存,它通常使用在 CRM、ERP 或是電子郵件等應用中,是維持企業組織日常運作所必需的。效能在這個層級是相對重要的,但成本也是一個必須考慮的因素,端視應用的重要性而定。熱資料通常會存放在 2 級儲存。

圖片來源:Tableau

2 級儲存的效能當然會低於 1 級儲存,適用於高效能應用,或面向客戶如零售應用系統的交易資料,以及其他任何需要高效能、低延遲的資料。它所需要的效能級別不如 1 級儲存來得高,因此通常會使用成本稍低的快閃或高效能磁碟儲存。

3 級儲存也可以用來存放熱資料,所有不在 1、2 級儲存中,但仍然處於活躍狀態的資料。例如 CRM 或 ERP 近年內的資料,或是近年內的電子郵件,這些在短期內有極高可能性會被頻繁取存的資料。它們對效能的要求也許不高,但仍然不希望有不必要的延遲,進而影響業務的進行。這個層級通常會使用高效能磁碟儲存。

在許多企業組織中,3 級儲存的資料量會遠大於 1、2 級儲存,此需要更大的關注於成本。在大部份的情況下,2 或 3 級儲存其實沒有那麼明確的界限。再一次,這都是比較性的說法,聚焦在「資料」本身會是一個比較容易判別的方式。

暖資料。相對於熱資料,這類資料比較沒有那麼「熱」。它通常是更舊的資料,如去年或前年的電子郵件,或是上年度完成的辦公室文件檔案。這類資料被存取的機會較少,但在需要時仍必須隨時可以存取。這個層級最重要的考慮因素是成本,但也需要滿足最低效能的要求。

視企業組織的需要,暖資料可以被存放在 3 級儲存上,但更合適的會是 4 級儲存。除了上述的暖資料外,像是資料視覺化系統的資料,或是季度、年度的財務報告,量大、被存取機率不高的資料,但在需要時還是可以以相對不差效能讀取。4 級儲存的資料可能會比 3 級儲存更大,低成本是主要的考量,但又不能是處於離線狀態的磁帶或是雲端儲存,因此大容量低成本的磁碟機是一個好的選擇。

冷資料。這類資料可能、永遠也不會再次被存取,但因為各種理由或是法規上的要求,或者僅僅是因為它在將來某個時間點,可能會具有某種價值,如提供大數據分析用,所以需要被保存下來。冷資料非常適合存放在最低層級的儲存上,低成本是絕對性的考量,其可接受的存取時間比較長,從數分鐘到數小時,因此離線的儲存也是可被接受的。

5 級儲存就是用來存放可以被離線存放的冷資料,被存取的機率極低,也許接近於零。除了低成本外,可讀取性也是這個層級主要的考量因素之一。因為這些資料可能在數年後才會需要被讀取出來,因此必須要考量讀取技術的持續性。光碟、磁帶、和雲端儲存是這個層級最常被使用的儲存媒體。

低成本和相對高效能的雲端儲存在這幾年內是這個層級的熱門選擇,因為它可在相對不長的時間裡獲得所需要的資料。

很明顯的,對大部份的企業組織來說,以手動的方式來做層級式儲存過於耗時而繁瑣,不太可行。採半自動的方式也是一種做法,例如以定期排程的程式對檔案進行掃瞄,找出長期不被使用的檔案移至下一個儲存層級。但同樣的,半自動方式必須依賴人力的介入,當資料數量龐大或存取模式複雜時,這樣的方法也未必可行。
延伸閱讀:「儲存管理需要不斷的學習

半自動化、依據規則來移動資料的層級式儲存模型,所面臨的另一個大挑戰是資料分類。決定哪種儲存層級最適合給定的資料類別,並且在資料老化時,定期重新分類。關鍵是任何給定的資料類別其存取效能要求會隨著時間而變化,因此要在適當的時機移動資料到適當的層級。
在筆者的經驗中,資料分類對任何企業組織來說,都是一個大難題,更遑論定期檢視。另一種方式就是依應用來分類,或許是一個比較可行的方式。

自動化層級式儲存技術
因此大多數的層級式儲存模型都依賴儲存管理系統,使用自動化的層級式儲存技術,來進行自動化的層級式儲存作業。讓系統在整個生命週期中監控資料的熱度,在其冷卻時自動移到下一個層級,抑或是在需要時,移動到上一個層級。

在自動化的層級式儲存架構中,資料可以以區塊、檔案/目錄、檔案系統/資料卷做為移動的單位。不同的移動單位,使用的技術是不同的,在應用的方式上也不同。

資料區塊級的移動方式,必須要先建立一個新的儲存層級或資料卷,由不同比例、來自不同層級的儲存,如 10% 的 1 級儲存,30% 的 2 級儲存與 60% 的 3 級儲存所組成。資料區塊會依預先設定的規則、存取模式,或是系統的演算法,在不同的儲存層級間移動。理想的狀況是所有的資料都會獲得 1 級儲存的存取效能,而大部份的資料都會被存放 2 或 3 級儲存上。1 級儲存在此扮演著加 2 、3 級儲存加速器的角色,藉由大量 90% 的 2、3 級儲存,來降低整體的儲存成本。
延伸閱讀:「自動化層級式儲存:儲存集中化的啟動者

檔案/目錄層級的移動方式,則必須要立一個特別的檔案系統,同樣是由不同比例、來自不同層級的儲存組成。這種特別的檔案系統一樣會使用不同的方式,通常是資料最後存取時間或資料類型來做判斷,以決定資料檔的移動行為。檔案系統/資料卷的移動方式,通常會建立在單一儲存系統或虛擬儲存系統之下,因為是以整個檔案系統/資料卷這麼大的尺度來做移動,因此它會比較適合像是以時間點,或給定的應用類型來設定資料的移動。

未完,待續⋯⋯下文接「層級式儲存的建構(下)