精選文章

[新聞|產業] 大型企業儲存廠商面臨市場寒冬

大部份的儲存系統大型製造商在將要過去的 2016 年都不太好過;不過,這究竟只是另一個寒冬,還是根本就是冰河期的開始?春天還會不會來呢?在即將步入 2017 年的這個時候,這些儲存廠商的心裡只怕是五味雜陳吧! 根據最新的 IDC 全球企業儲存系統追蹤季報 (IDC World...

2014年1月5日

[企業儲存觀察室] 關於巨量資料的現況與迷思?(下)

上文接「關於巨量資料的現況與迷思?(上)

現況四:巨量資料應用前景不明

EMC 的報告中顯示,對於整體業務決策來說,除了預算是最重要的因素之外,妨礙採用巨量資料最常見的原因包括沒有明確的業務實例或經驗證的投資回報率 (35%)、業務關聯性 (23%)、以及企業文化還沒有為巨量資料做好準備 (22%)。

類似的答案也出現在 EIU 的報告中,顯示巨量資料部署緩慢最大的問題是來自於企業或組織內部;有 40% 的受訪者表示內部缺乏相關的技能、36% 的受訪者表示內部缺乏分享資料的意願、36% 的受訪者表示內部不同部門間缺乏溝通;另外有高達 42% 的受訪者則表示缺乏適合的軟體。

這項數據也顯示出面對巨量資料的來臨,企業與組織顯得有點進退失據,一方面又確信巨量資料將為企業帶來巨大利益,一方面確又因為種種內部的因素,而無法大力推動,甚至還在等待看到別人實證的成果才會有更進一步的動作。而從 EMC 的報告中則可以明顯的看到全球/區域各國間,對於巨量資料的看法其實並不一致!

(針對國內的企業與組織用戶)
迷思一:對巨量資料的本質認識不清

「巨量資料」一詞不等同於「巨量的資料」!有不少的企業用戶(管理階層)誤認為要擁有「巨量」的資料才會需要巨量資料的相關技術。關於「巨量資料」的定義有興趣的讀者們可以在維基百科或其它相關的網站上找到,簡要來說,就是將數量巨大、變化快速、型態多樣的資料,經由新型態的資料分析技術,從而對業務產生新的價值,以幫助經營決策。在本質上,巨量資料有點類似資料倉儲或決策支援分析,但資料範圍更廣、變動速度更快、資料型態更多。

巨量資料的應用並不侷限於以上的定義,例如在日本就有一家地區性的超市,整合店內會員日常來店的購物習慣、會員在社群網站上記錄、與行動消費的行為,發展出新型態的促銷活動,從而增加公司的營收;因此巨量資料的重點在於如何從現有資料中找出新的資料價值,以提昇企業或組織的利益。

迷思二:兩個等待

第一個等待是等待典範,企業用戶不習慣於當白老鼠,最好有現成的模版 (template) 可以拷貝;但運用巨量資料產生新價值的模式不僅每一個產業不同,即便是同一個產業的不同公司間,分析資料的方式與目的也會不同,它牽涉到的更多是關於業務智慧而不僅是技術而已;基本上這是每一家公司的業務機密,它與企業競爭力有關,不是可分享的。每一家企業都必須要發展出屬於自己獨特的巨量資料應用模式,它是來自於內部的資源與創新能力。

另一個等待就是在等待巨量資料平就緒;就如前面所談到的,巨量資料的內容可能涵蓋各種不同來源的資料,沒有人知道哪些資料算巨量資料的一部份,唯一的辦法就是先把資料存下來,先儲存才能分析,才能產出洞察力 (Insight Out),當企業在等待巨量資料儲存平台建立後才開始儲存資料,就已經失去先機了。

迷思三:資料分析是關鍵,但不是全部

談到巨量資料的分析應用平台,大概就是 Hadoop 了;因此在國內談到巨量資料的企業,幾乎都是在談 Hadoop,彷彿 Hadoop 就是巨量資料的全部;我還曾經聽到某大企業用戶在談要以 Hadoop 取代所有的儲存平台,這可真是大錯特錯!

Hadoop 分散式檔案系統 (HDFS, Hadoop Distributed File System) 使 Hadoop 成為個人通用的處理平台,但是 HDFS 不提供通用的資料儲存服務,它被設計和優化用於高讀取吞吐量 (high read-throughput) 的批次處理;而且 HDFS 無法按照資料集或工作負載提供特別的 I/O 性能,Hadoop 起初並不想成為一個互動式的即時系統。就現階段而言,Hadoop 可以提供快速的處理資料,而不是快速的儲存資料,短時間內我們還看不到可以讓 Hadoop 成為通用儲存平台的跡象。

更容易理解的方式就是以現有的 IT 應用來看,線上交易處理 (OLTP, Online Transaction Processing) 與線上分析處理 (OLAP, Online Analytical Processing) 兩個平台是不同,因為它的目的根本上就是不同的。

迷思四:巨量資料不只是 IT 的事

巨量資料的應用將不只是衝擊到 IT 架構的變動,更大的衝擊是對於企業與組織的文化,以及業務決策的改變。以業務產出為導向的 IT 應用變動只是第一步,其它的像是不同部們間資訊共享、新資料價值的協力產出、 視資料為企業資產、跨組織的文化一致性、或是不同層級間的各種整合等,它關乎的是整個企業或組織,而不單單只是 IT 部門。

企業應該從組織的高度來檢視巨量資料的策略的執行,而不僅只是將它視為的 IT 的某一種應用!