圖二

　　由此可見有效的數(shù)據(jù)管理，數(shù)據(jù)庫建立及數(shù)據(jù)分析流程的重要性。傳統(tǒng)的數(shù)據(jù)管理的過程包括抽�。‥xtraction），轉(zhuǎn)換（Transformation）和載入（load）。通過 ETL，可以賦予數(shù)據(jù)一種合適恰當(dāng)?shù)慕Y(jié)構(gòu)用于特定的分析發(fā)現(xiàn)。具體數(shù)據(jù)準(zhǔn)備分析流程如圖三所示：1）抽取單個(gè)或多個(gè)來源的數(shù)據(jù) 。2）凈化，格式化，標(biāo)準(zhǔn)化，聚合，添加，或遵循其他特定的數(shù)據(jù)處理規(guī)則。3）載入處理完的數(shù)據(jù)到特定的數(shù)據(jù)庫或儲存為特定的文件格式。4）采用各種方法進(jìn)行數(shù)據(jù)分析。

　　圖三

　　ETL 的中心內(nèi)容仍舊適用于大數(shù)據(jù)，但由于大數(shù)據(jù)的大量性和多樣性對數(shù)據(jù)庫和數(shù)據(jù)管理及處理方法的要求越來越高，也越來越復(fù)雜，這樣線性處理整個(gè)數(shù)據(jù)變得相當(dāng)耗費(fèi)人力，物力，和時(shí)間。

　　此外，大數(shù)據(jù)的快速性，易變性也使得把數(shù)據(jù)儲存在單一的中央數(shù)據(jù)庫變的不太可行。 在這種情況下，最流行的思路是把數(shù)據(jù)分割處理，也就是把數(shù)據(jù)儲存到多個(gè)儲存節(jié)點(diǎn)（比如網(wǎng)絡(luò)數(shù)據(jù)庫），在每個(gè)節(jié)點(diǎn)單獨(dú)處理數(shù)據(jù)（甚至處理完就接著進(jìn)行初步分析， 但處理的程度依客戶具體問題而調(diào)整），然后再匯總整合到一起，提供給單個(gè)或多個(gè)數(shù)據(jù)庫，接著根據(jù)需要選擇合適的分析方法獲取有用結(jié)果。ETL 貫穿于整個(gè)大數(shù)據(jù)管理分析的流程中。圖四演示了大致的大數(shù)據(jù)管理分析流程及一些大數(shù)據(jù)處理分析平臺工具的名字。

　　圖四

　　SAS的數(shù)據(jù)倉庫研究院（TDWI）針對現(xiàn)今存在的大數(shù)據(jù)處理分析平臺工具進(jìn)行了一項(xiàng)調(diào)查以幫助人們在選擇軟硬件進(jìn)行大數(shù)據(jù)分析時(shí)能做出更好的決策。針對大數(shù)據(jù)技術(shù)，特點(diǎn)，和使用者操作，調(diào)查提供了三個(gè)選擇：1）現(xiàn)在使用中，并且會繼續(xù)使用。2）會在三年中開始使用。3）沒有計(jì)劃使用。圖五左側(cè)顯示了對于各種大數(shù)據(jù)分析平臺工具，被調(diào)查人員的回復(fù)比例。圖五的右側(cè)顯示了平臺工具可能的潛在成長和對采用此工具做出承諾的被調(diào)查人員比例。

　　圖五

　　根據(jù)潛在成長和承諾的綜合考量，此調(diào)查還進(jìn)一步把大數(shù)據(jù)分析平臺， 工具分成4組：第一組為適度的承諾，中度到強(qiáng)的成長潛力；第二組為中度至強(qiáng)有力的承諾，適度增長潛力；第三組為弱到中度的承諾，適度增長潛力；第四組為中度至強(qiáng)有力的承諾，弱增長潛力。圖六顯示了這些組別的內(nèi)容分布。限于篇幅，本文不詳細(xì)介紹所列的每一平臺工具的具體內(nèi)容，感興趣的讀者可以參考文獻(xiàn)獲取更詳細(xì)的介紹。