面對如此大量的數(shù)據(jù)，我們該如何處理和使用它？這就要用到“大數(shù)據(jù)技術(shù)”。

大數(shù)據(jù)技術(shù)是指從各種類型的巨量數(shù)據(jù)中快速獲得有價值信息的技術(shù)。事實上，我們所說的“大數(shù)據(jù)”并不僅指數(shù)據(jù)本身和其規(guī)模，也包括數(shù)據(jù)的采集工具、處理平臺和分析系統(tǒng)。

與傳統(tǒng)數(shù)據(jù)處理方法不同的是，大數(shù)據(jù)技術(shù)的理念有三大轉(zhuǎn)變：要全體不要抽樣；要效率不要絕對精確；要相關(guān)不要因果。

大數(shù)據(jù)的處理流程可以概括為數(shù)據(jù)采集、導(dǎo)入和預(yù)處理、統(tǒng)計分析和數(shù)據(jù)挖掘等四個步驟。

1.數(shù)據(jù)采集。大數(shù)據(jù)的采集是指利用多個數(shù)據(jù)庫來接收發(fā)自客戶端的數(shù)據(jù)，如Web、App、傳感器等。在采集過程中，會有成千上萬的用戶同時進行訪問和操作，比如火車票售票網(wǎng)站或著名網(wǎng)店，它們的同時訪問量在峰值時可達到上百萬。所以，需要在服務(wù)器端部署大量的數(shù)據(jù)庫來支撐，并且要在這些數(shù)據(jù)庫之間進行負載均衡和分片管理。

數(shù)據(jù)的采集

2.導(dǎo)入和預(yù)處理。雖然服務(wù)器端本身會有很多數(shù)據(jù)庫，但是如果要對這些海量數(shù)據(jù)進行有效的分析，還應(yīng)該將這些數(shù)據(jù)導(dǎo)入到一個集中的大型分布式數(shù)據(jù)庫，或者分布式存儲集群中，同時，在導(dǎo)入的基礎(chǔ)上做一些數(shù)據(jù)清洗等簡單的預(yù)處理，發(fā)現(xiàn)并糾正數(shù)據(jù)中可識別的錯誤和缺陷。導(dǎo)入和預(yù)處理的特點是數(shù)據(jù)量極大，每秒鐘的導(dǎo)入量經(jīng)常會達到百兆甚至千兆級別。

3.統(tǒng)計分析。統(tǒng)計分析主要依靠云計算平臺，對海量數(shù)據(jù)進行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求。在統(tǒng)計分析過程中，主要特點是涉及的數(shù)據(jù)量大，對系統(tǒng)資源如輸入/輸出設(shè)備等會有極大的占用。

數(shù)據(jù)挖掘

4.數(shù)據(jù)挖掘?！皵?shù)據(jù)挖掘”是指從大量數(shù)據(jù)中通過算法來搜索、發(fā)現(xiàn)隱藏于數(shù)據(jù)中的有用信息。與前面的統(tǒng)計分析不同的是，數(shù)據(jù)挖掘主要在現(xiàn)有數(shù)據(jù)上采用基于各種算法的計算，滿足一些高級別數(shù)據(jù)分析的需求，如數(shù)理統(tǒng)計、數(shù)據(jù)分析和機器學(xué)習等。這個過程的主要特點是算法復(fù)雜，并且所涉及的數(shù)據(jù)量和計算量都很大。