精選文章

[企業儲存觀察室] 2017 年終系列世界篇之一

各位讀者們,好久不見!先跟忠實的讀者們說聲抱歉。看了一下本站最近的一篇文章,時間停留在 2017/4/5,已經是 3 個季度之前了。筆者很好、沒事,只是實在是因為正職工作忙,再加上一些有的沒有的私務,人一整個發懶,於是也就沒有心思更新文章了。時序進入 2017 年的尾聲,抽個空來...

2011年7月28日

[新聞] IBM 展示 43 分鐘掃瞄百億個檔案

IBM 的實驗室在上週展示了以 IBM GPFS (General Parallel File System) 技術與固態硬碟為基礎的架構,使用 43 分鐘就完成一百億個檔案的掃瞄,這比起在 2007 年的同樣展示,當時花了三個小時才完成掃瞄相同數量的檔案,要快了許多。IBM 在這個架構中結合了許多新技術,包括叢集並行檔案系統的新演算法,有 10 個八核心處理器的 IBM 1036M2 伺服器,以及四組用來儲存 6.5TB metadata 的 Violin Memory 3205 快閃固態硬碟陣列,來完成這項展示;這個展示同時也顯示並行處理與快閃儲存,在協助處理快速成長的高容量資料,有著相當大的潛力。

IBM 的實驗室在 1998 年發展出一個高擴充性的叢集並行檔案系統,它就是 GPFS;而後 IBM 把 GPFS 產品化後,就是 SONAS (Scale Out Network Attached Storage),因此現在在 GPFS 上任何新技術與應用,都可以被視為未來會在 SONAS 上實現。今年二月時 SONAS 創新了 SPECsfs2008 效能測試數字,為 403,326 ops/sec.,雖然這個數字後續被包括 EMC 在內幾家公司的產品超越,但不難想像 IBM 實驗室剛展示的這個新架構,有可能會被用在創造新的 SPECsfs2008 數字上,雖然現在也許已經沒有多少用戶會在意這些屢創新高的數字了

當然毫無疑問的,使用以快閃記憶體為基礎的固態儲存,會增加儲存的效能;但使用固態儲存所增加的效能,對大型的儲存架構而言,並不如像在個人電腦上改用固態硬碟那麼直覺。例如前述的 SPECsfs2008 效能測試數據中,使用全磁碟的系統產生的效能數字,未必比使用全固態硬碟的數字來得差;尤其是在所謂的「大資料」環境下,metadata 的儲存效能將會左右實際資料存取的效能,檔案系統的搜尋演算法或並行處理等技術,也會影響效能。因此,在適當的地方使用固態儲存,才是加快儲存系統效能的正確方法。