精選文章

[新聞|產業] 大型企業儲存廠商面臨市場寒冬

大部份的儲存系統大型製造商在將要過去的 2016 年都不太好過;不過,這究竟只是另一個寒冬,還是根本就是冰河期的開始?春天還會不會來呢?在即將步入 2017 年的這個時候,這些儲存廠商的心裡只怕是五味雜陳吧! 根據最新的 IDC 全球企業儲存系統追蹤季報 (IDC World...

2011年5月25日

[觀察|技術] 資料減量技術 NFO 興起

目前市場上較為人所熟悉的資料減量技術就是去重複化 (deduplication) 與壓縮 (compression);一家來自歐洲的公司,Balesio,則是針對非結構性資料,開發出不同於前二者的資料減量技術,稱做 NFO (Native Format Optimization) 原生格式最佳化。NFO 技術是由一套複雜的內容感知 (content-aware) 最佳化演算法所構成,它是針對非結構性資料如 Microsoft Office 檔案,PowerPoint 簡報檔,圖像和 PDF 檔案,所開發出來的最佳化技術。

根據 Taneja Group 的研究顯示,企業有 58% 的新資料成長來自於非結構性資料,預計每年仍將會以 96% 的速度成長。IDC 也有類似的數據,企業對於增加儲存容量的需求快速成長,而且以每年 60% 的速度繼續成長,其中約有 30~50% 是結構性資料,而有約 50~70% 是非結構性資料。也可以說現在企業主儲存系統最大的資料成長,就是來自於非結構性資料。

資料去重複化與資料壓縮技術,對於非結構性資料的減量能力較為有限,非結構性資料有三項特徵:他們是預先壓縮過的檔案,是細密檔案的組合,檔案通常類似,但並不完全一樣;因此傳統的壓縮技術對非結構性資料沒有作用,以區塊為基礎的去重複化對非結構性資料也沒有作用,以檔案為基礎的去重複化,對非結構性資料的最佳化比率不高。

但 Balesio 則表示他們的 NFO 技術,對非結構性資料可以減量 50%~90%。NFO 只針對檔案內部進行最佳化,它並不會跨檔案尋找重複的資料,相較於儲存去重複化,或是儲存壓縮技術,NFO 的應用架構與運行方式相對簡易,可以在現有的系統架構上直接運行,不需要購置新的儲存系統或是伺服器。

而且 NFO 的技術是一種一次性的最佳化技術,原始檔案在經過最佳化之後,資料量就會減少但不會改變原始的檔案格式,因此也無損於資料的應用,使用原有的應用程式就可以直接開啟被最佳化後的檔案,無須再經過解壓縮或重組等程序,也不需要特別的閱讀器來開啟最佳化後的檔案。

Balesio 的 NFO 技術是「無損」與「視覺上無損」的最佳化技術;從技術上來說,在最佳化的過程中是有一些冗餘的資料或是不必要的資訊被移除了,但最佳化之後的檔案,「看起來」或是「使用上」與原始檔案是相同的,從使用者的角度是看不出有什麼不同的,除了檔案的大小之外!這是因為強化的圖像編碼演算法,使得人類視覺系統的敏感度無法分辨出其中的差距。原生格式最佳化所用來減少檔案資料量的技術,包括像是檔案內物件去重複化、物件格式最佳化、物件減量、雜訊降低、量子調整、非視覺資料最佳化、強化的圖像編碼,以及其它的方法。

運用 NFO 技術的 FILEminimizer 產品目前有三種應用方式,分別是電子郵件客戶端應用套件版,伺服器版,與裝置 (appliance) 版。電子郵件客戶端套件支援 MS Outlook 與 Lotus Notes,它會在郵件傳送前將附件中的非結構性資料做最佳化,除了可以減少儲存在本地端與接收端郵件檔案的資料量,同時也可以降低傳送郵件所需要的網路頻寬;而當接收者的數目越多時,資料減量的程度也就越高。

伺服器版則是安裝於做為檔案伺服器的 Windows 主機上,對設定的資料夾進行檔案最佳化處理,處理程序的啟動可以使用排程設定,以減少對伺服器效能的影響。裝置版則是將伺服器版軟體安裝於特定的硬體裝置中,經由 Web 界面進行設定,針對檔案的主要儲存如 NAS 內的非結構性資料進行最佳化。