海量數(shù)據(jù)處理，就是在海量數(shù)據(jù)上的存儲(chǔ)、處理、操作。海量的意思就是數(shù)據(jù)量太大，所以導(dǎo)致要么是無(wú)法在較短時(shí)間內(nèi)迅速解決，要么是數(shù)據(jù)太大，導(dǎo)致無(wú)法一次性裝入內(nèi)存。
解決辦法：針對(duì)時(shí)間，我們可以采用巧妙的算法搭配合適的數(shù)據(jù)結(jié)構(gòu)，如Bloom filter/Hash/bit-map/堆/數(shù)據(jù)庫(kù)或倒排索引/trie樹(shù)；針對(duì)空間，可以大而化小，分而治之（hash映射），規(guī)模太大的就把規(guī)模大化為規(guī)模小的，各個(gè)擊破不就完了嘛。
單機(jī)及集群?jiǎn)栴}，單機(jī)就是處理裝載數(shù)據(jù)的機(jī)器有限(只要考慮cpu，內(nèi)存，硬盤(pán)的數(shù)據(jù)交互)，而集群，機(jī)器有多輛，適合分布式處理，并行計(jì)算(更多考慮節(jié)點(diǎn)和節(jié)點(diǎn)間的數(shù)據(jù)交互)。
處理海量數(shù)據(jù)問(wèn)題的辦法就是分而治之/hash映射 + hash統(tǒng)計(jì) + 堆/快速/歸并排序；雙層桶劃分；Bloom filter/Bitmap；Trie樹(shù)/數(shù)據(jù)庫(kù)/倒排索引；外排序；分布式處理之Hadoop/Mapreduce。
STL容器分兩種，序列式容器(vector/list/deque/stack/queue/heap)和關(guān)聯(lián)式容器。關(guān)聯(lián)式容器又分為set(集合)和map(映射表)兩大類，以及這兩大類的衍生體multiset(多鍵集合)和multimap(多鍵映射表)，這些容器均以RB-tree完成。此外，還有第3類關(guān)聯(lián)式容器，如hashtable(散列表)，以及以hashtable為底層機(jī)制完成的hash_set(散列集合)/hash_map(散列映射表)/hash_multiset(散列多鍵集合)/hash_multimap(散列多鍵映射表)。也就是說(shuō)，set/map/multiset/multimap都內(nèi)含一個(gè)RB-tree，而hash_set/hash_map/hash_multiset/hash_multimap都內(nèi)含一個(gè)hashtable。
什么樣的結(jié)構(gòu)決定其什么樣的性質(zhì)，因?yàn)閟et/map/multiset/multimap都是基于RB-tree之上，所以有自動(dòng)排序功能，而hash_set/hash_map/hash_multiset/hash_multimap都是基于hashtable之上，所以不含有自動(dòng)排序功能，至于加個(gè)前綴multi_無(wú)非就是允許鍵值重復(fù)而已。
處理海量數(shù)據(jù)問(wèn)題之六把密匙
密匙一：分而治之/Hash映射 + Hash_map統(tǒng)計(jì) + 堆/快速/歸并排序
1、海量日志數(shù)據(jù)，提取出某日訪問(wèn)百度次數(shù)最多的那個(gè)IP。海量數(shù)據(jù)處理，說(shuō)白了，就是先映射，而后統(tǒng)計(jì)，最后排序：
分而治之/hash映射：針對(duì)數(shù)據(jù)太大，內(nèi)存受限，只能是：把大文件化成(取模映射)小文件，即16字方針：大而化小，各個(gè)擊破，縮小規(guī)模，逐個(gè)解決
hash_map統(tǒng)計(jì)：當(dāng)大文件轉(zhuǎn)化了小文件，那么我們便可以采用常規(guī)的hash_map(ip，value)來(lái)進(jìn)行頻率統(tǒng)計(jì)。
堆/快速排序：統(tǒng)計(jì)完了之后，便進(jìn)行排序(可采取堆排序)，得到次數(shù)最多的IP。
具體而論，則是：“首先是這一天，并且是訪問(wèn)百度的日志中的IP取出來(lái)，逐個(gè)寫(xiě)入到一個(gè)大文件中。注意到IP是32位的，最多有個(gè)2^32個(gè)IP。同樣可以采用映射的方法，比如%1000，把整個(gè)大文件映射為1000個(gè)小文件，再找出每個(gè)小文中出現(xiàn)頻率最大的IP（可以采用hash_map對(duì)那1000個(gè)文件中的所有IP進(jìn)行頻率統(tǒng)計(jì)，然后依次找出各個(gè)文件中頻率最大的那個(gè)IP）及相應(yīng)的頻率。然后再在這1000個(gè)最大的IP中，找出那個(gè)頻率最大的IP，即為所求?！标P(guān)于本題，還有幾個(gè)問(wèn)題，如下：
1、Hash取模是一種等價(jià)映射，不會(huì)存在同一個(gè)元素分散到不同小文件中的情況，即這里采用的是mod1000算法，那么相同的IP在hash取模后，只可能落在同一個(gè)文件中，不可能被分散的。因?yàn)槿绻麅蓚€(gè)IP相等，那么經(jīng)過(guò)Hash(IP)之后的哈希值是相同的，將此哈希值取模（如模1000），必定仍然相等。
2、那到底什么是hash映射呢？簡(jiǎn)單來(lái)說(shuō)，就是為了便于計(jì)算機(jī)在有限的內(nèi)存中處理big數(shù)據(jù)，從而通過(guò)一種映射散列的方式讓數(shù)據(jù)均勻分布在對(duì)應(yīng)的內(nèi)存位置(如 大數(shù)據(jù) 通過(guò)取余的方式映射成小樹(shù)存放在內(nèi)存中，或大文件映射成多個(gè)小文件)，而這個(gè)映射散列方式便是我們通常所說(shuō)的hash函數(shù)，設(shè)計(jì)的好的hash函數(shù)能讓數(shù)據(jù)均勻分布而減少?zèng)_突。盡管數(shù)據(jù)映射到了另外一些不同的位置，但數(shù)據(jù)還是原來(lái)的數(shù)據(jù)，只是代替和表示這些原始數(shù)據(jù)的形式發(fā)生了變化而已。
2、尋找熱門(mén)查詢，300萬(wàn)個(gè)查詢字符串中統(tǒng)計(jì)最熱門(mén)的10個(gè)查詢
原題：搜索引擎會(huì)通過(guò)日志文件把用戶每次檢索使用的所有檢索串都記錄下來(lái)，每個(gè)查詢串的長(zhǎng)度為1-255字節(jié)。假設(shè)目前有一千萬(wàn)個(gè)記錄（這些查詢串的重復(fù)度比較高，雖然總數(shù)是1千萬(wàn)，但如果除去重復(fù)后，不超過(guò)3百萬(wàn)個(gè)。一個(gè)查詢串的重復(fù)度越高，說(shuō)明查詢它的用戶越多，也就是越熱門(mén)），請(qǐng)你統(tǒng)計(jì)最熱門(mén)的10個(gè)查詢串，要求使用的內(nèi)存不能超過(guò)1G。
解答：由上面第1題，我們知道，數(shù)據(jù)大則劃為小的，如如一億個(gè)Ip求Top 10，可先%1000將ip分到1000個(gè)小文件中去，并保證一種ip只出現(xiàn)在一個(gè)文件中，再對(duì)每個(gè)小文件中的ip進(jìn)行hashmap計(jì)數(shù)統(tǒng)計(jì)并按數(shù)量排序，最后歸并或者最小堆依次處理每個(gè)小文件的top10以得到最后的結(jié)。
但如果數(shù)據(jù)規(guī)模比較小，能一次性裝入內(nèi)存呢?比如這第2題，雖然有一千萬(wàn)個(gè)Query，但是由于重復(fù)度比較高，因此事實(shí)上只有300萬(wàn)的Query，每個(gè)Query255Byte，因此我們可以考慮把他們都放進(jìn)內(nèi)存中去（300萬(wàn)個(gè)字符串假設(shè)沒(méi)有重復(fù)，都是最大長(zhǎng)度，那么最多占用內(nèi)存3M*1K/4=0.75G。所以可以將所有字符串都存放在內(nèi)存中進(jìn)行處理），而現(xiàn)在只是需要一個(gè)合適的數(shù)據(jù)結(jié)構(gòu)，在這里，HashTable絕對(duì)是我們優(yōu)先的選擇。
所以我們放棄分而治之/hash映射的步驟，直接上hash統(tǒng)計(jì)，然后排序。So，針對(duì)此類典型的TOP K問(wèn)題，采取的對(duì)策往往是：hashmap + 堆。如下所示：
hash_map統(tǒng)計(jì)：先對(duì)這批海量數(shù)據(jù)預(yù)處理。具體方法是：維護(hù)一個(gè)Key為Query字串，Value為該Query出現(xiàn)次數(shù)的HashTable，即hash_map(Query，Value)，每次讀取一個(gè)Query，如果該字串不在Table中，那么加入該字串，并且將Value值設(shè)為1；如果該字串在Table中，那么將該字串的計(jì)數(shù)加一即可。最終我們?cè)贠(N)的時(shí)間復(fù)雜度內(nèi)用Hash表完成了統(tǒng)計(jì)；
堆排序：第二步、借助堆這個(gè)數(shù)據(jù)結(jié)構(gòu)，找出Top K，時(shí)間復(fù)雜度為N‘logK。即借助堆結(jié)構(gòu)，我們可以在log量級(jí)的時(shí)間內(nèi)查找和調(diào)整/移動(dòng)。因此，維護(hù)一個(gè)K(該題目中是10)大小的小根堆，然后遍歷300萬(wàn)的Query，分別和根元素進(jìn)行對(duì)比。所以，我們最終的時(shí)間復(fù)雜度是：O（N） + N’ * O（logK），（N為1000萬(wàn)，N’為300萬(wàn)）。
當(dāng)然，你也可以采用trie樹(shù)，關(guān)鍵字域存該查詢串出現(xiàn)的次數(shù)，沒(méi)有出現(xiàn)為0。最后用10個(gè)元素的最小推來(lái)對(duì)出現(xiàn)頻率進(jìn)行排序。
3、有一個(gè)1G大小的一個(gè)文件，里面每一行是一個(gè)詞，詞的大小不超過(guò)16字節(jié)，內(nèi)存限制大小是1M。返回頻數(shù)最高的100個(gè)詞。
由上面那兩個(gè)例題，分而治之+ hash統(tǒng)計(jì) + 堆/快速排序這個(gè)套路，我們已經(jīng)開(kāi)始有了屢試不爽的感覺(jué)。下面，再拿幾道再多多驗(yàn)證下。請(qǐng)看此第3題：又是文件很大，又是內(nèi)存受限，咋辦?還能怎么辦呢?無(wú)非還是：
分而治之/hash映射：順序讀文件中，對(duì)于每個(gè)詞x，取hash(x)%5000，然后按照該值存到5000個(gè)小文件（記為x0,x1,…x4999）中。這樣每個(gè)文件大概是200k左右。如果其中的有的文件超過(guò)了1M大小，還可以按照類似的方法繼續(xù)往下分，直到分解得到的小文件的大小都不超過(guò)1M。
hash_map統(tǒng)計(jì)：對(duì)每個(gè)小文件，采用trie樹(shù)/hash_map等統(tǒng)計(jì)每個(gè)文件中出現(xiàn)的詞以及相應(yīng)的頻率。
堆/歸并排序：取出出現(xiàn)頻率最大的100個(gè)詞（可以用含100個(gè)結(jié)點(diǎn)的最小堆）后，再把100個(gè)詞及相應(yīng)的頻率存入文件，這樣又得到了5000個(gè)文件。最后就是把這5000個(gè)文件進(jìn)行歸并（類似于歸并排序）的過(guò)程了。
密匙二：多層劃分
多層劃分—-本質(zhì)還是分而治之的思想，重在“分”的技巧上！
適用范圍：第k大，中位數(shù)，不重復(fù)或重復(fù)的數(shù)字
基本原理及要點(diǎn)：因?yàn)樵胤秶艽?，不能利用直接尋址表，所以通過(guò)多次劃分，逐步確定范圍，然后最后在一個(gè)可以接受的范圍內(nèi)進(jìn)行。
問(wèn)題實(shí)例：
4、2.5億個(gè)整數(shù)中找出不重復(fù)的整數(shù)的個(gè)數(shù)，內(nèi)存空間不足以容納這2.5億個(gè)整數(shù)。
有點(diǎn)像鴿巢原理，整數(shù)個(gè)數(shù)為2^32,也就是，我們可以將這2^32個(gè)數(shù)，劃分為2^8個(gè)區(qū)域(比如用單個(gè)文件代表一個(gè)區(qū)域)，然后將數(shù)據(jù)分離到不同的區(qū)域，然后不同的區(qū)域在利用bitmap就可以直接解決了。也就是說(shuō)只要有足夠的磁盤(pán)空間，就可以很方便的解決。
5、5億個(gè)int找它們的中位數(shù)。
這個(gè)例子比上面那個(gè)更明顯。首先我們將int劃分為2^16個(gè)區(qū)域，然后讀取數(shù)據(jù)統(tǒng)計(jì)落到各個(gè)區(qū)域里的數(shù)的個(gè)數(shù)，之后我們根據(jù)統(tǒng)計(jì)結(jié)果就可以判斷中位數(shù)落到那個(gè)區(qū)域，同時(shí)知道這個(gè)區(qū)域中的第幾大數(shù)剛好是中位數(shù)。然后第二次掃描我們只統(tǒng)計(jì)落在這個(gè)區(qū)域中的那些數(shù)就可以了。
實(shí)際上，如果不是int是int64，我們可以經(jīng)過(guò)3次這樣的劃分即可降低到可以接受的程度。即可以先將int64分成2^24個(gè)區(qū)域，然后確定區(qū)域的第幾大數(shù)，在將該區(qū)域分成2^20個(gè)子區(qū)域，然后確定是子區(qū)域的第幾大數(shù)，然后子區(qū)域里的數(shù)的個(gè)數(shù)只有2^20，就可以直接利用direct addr table進(jìn)行統(tǒng)計(jì)了。
密匙三：Bloom filter/Bitmap
Bloom filter
適用范圍：可以用來(lái)實(shí)現(xiàn)數(shù)據(jù)字典，進(jìn)行數(shù)據(jù)的判重，或者集合求交集
基本原理及要點(diǎn)：
對(duì)于原理來(lái)說(shuō)很簡(jiǎn)單，位數(shù)組+k個(gè)獨(dú)立hash函數(shù)。將hash函數(shù)對(duì)應(yīng)的值的位數(shù)組置1，查找時(shí)如果發(fā)現(xiàn)所有hash函數(shù)對(duì)應(yīng)位都是1說(shuō)明存在，很明顯這個(gè)過(guò)程并不保證查找的結(jié)果是100%正確的。同時(shí)也不支持刪除一個(gè)已經(jīng)插入的關(guān)鍵字，因?yàn)樵撽P(guān)鍵字對(duì)應(yīng)的位會(huì)牽動(dòng)到其他的關(guān)鍵字。所以一個(gè)簡(jiǎn)單的改進(jìn)就是 counting Bloom filter，用一個(gè)counter數(shù)組代替位數(shù)組，就可以支持刪除了。
如何根據(jù)輸入元素個(gè)數(shù)n，確定位數(shù)組m的大小及hash函數(shù)個(gè)數(shù)也是一個(gè)很重要的問(wèn)題。當(dāng)hash函數(shù)個(gè)數(shù)k=(ln2)*(m/n)時(shí)錯(cuò)誤率最小。在錯(cuò)誤率不大于E的情況下，m至少要等于n*lg(1/E)才表示任意n個(gè)元素的集合。但m還應(yīng)該更大些，因?yàn)檫€要保證bit數(shù)組里至少一半為0，則m應(yīng)該>=nlg(1/E)*lge 大概就是nlg(1/E)1.44倍(lg表示以2為底的對(duì)數(shù))。
舉個(gè)例子我們假設(shè)錯(cuò)誤率為0.01，則此時(shí)m應(yīng)大概是n的13倍。這樣k大概是8個(gè)。
注意這里m與n的單位不同，m是bit為單位，而n則是以元素個(gè)數(shù)為單位(準(zhǔn)確的說(shuō)是不同元素的個(gè)數(shù))。通常單個(gè)元素的長(zhǎng)度都是有很多bit的。所以使用bloom filter內(nèi)存上通常都是節(jié)省的。
密匙四：Trie樹(shù)/數(shù)據(jù)庫(kù)/倒排索引
Trie樹(shù)
適用范圍：數(shù)據(jù)量大，重復(fù)多，但是數(shù)據(jù)種類小可以放入內(nèi)存
基本原理及要點(diǎn)：實(shí)現(xiàn)方式，節(jié)點(diǎn)孩子的表示方式
擴(kuò)展：壓縮實(shí)現(xiàn)。
數(shù)據(jù)庫(kù)索引
適用范圍：大數(shù)據(jù)量的增刪改查
基本原理及要點(diǎn)：利用數(shù)據(jù)的設(shè)計(jì)實(shí)現(xiàn)方法，對(duì)海量數(shù)據(jù)的增刪改查進(jìn)行處理。
倒排索引(Inverted index)
適用范圍：搜索引擎，關(guān)鍵字查詢
基本原理及要點(diǎn)：為何叫倒排索引？一種索引方法，被用來(lái)存儲(chǔ)在全文搜索下某個(gè)單詞在一個(gè)文檔或者一組文檔中的存儲(chǔ)位置的映射。
以英文為例，下面是要被索引的文本：
T0 = “it is what it is”
T1 = “what is it”
T2 = “it is a banana”
我們就能得到下面的反向文件索引：
“a”: ?????{2}
“banana”: {2}
“is”: ????{0, 1, 2}
“it”: ????{0, 1, 2}
“what”: ??{0, 1}
檢索的條件”what”,”is”和”it”將對(duì)應(yīng)集合的交集。
正向索引開(kāi)發(fā)出來(lái)用來(lái)存儲(chǔ)每個(gè)文檔的單詞的列表。正向索引的查詢往往滿足每個(gè)文檔有序頻繁的全文查詢和每個(gè)單詞在校驗(yàn)文檔中的驗(yàn)證這樣的查詢。在正向索引中，文檔占據(jù)了中心的位置，每個(gè)文檔指向了一個(gè)它所包含的索引項(xiàng)的序列。也就是說(shuō)文檔指向了它包含的那些單詞，而反向索引則是單詞指向了包含它的文檔，很容易看到這個(gè)反向的關(guān)系。
密匙五、外排序
適用范圍：大數(shù)據(jù)的排序，去重
基本原理及要點(diǎn)：外排序的歸并方法，置換選擇敗者樹(shù)原理，最優(yōu)歸并樹(shù)
問(wèn)題實(shí)例：
1).有一個(gè)1G大小的一個(gè)文件，里面每一行是一個(gè)詞，詞的大小不超過(guò)16個(gè)字節(jié)，內(nèi)存限制大小是1M。返回頻數(shù)最高的100個(gè)詞。
這個(gè)數(shù)據(jù)具有很明顯的特點(diǎn)，詞的大小為16個(gè)字節(jié)，但是內(nèi)存只有1M做hash明顯不夠，所以可以用來(lái)排序。內(nèi)存可以當(dāng)輸入緩沖區(qū)使用。
密匙六：分布式處理之Mapreduce
MapReduce是一種計(jì)算模型，簡(jiǎn)單的說(shuō)就是將大批量的工作（數(shù)據(jù)）分解（MAP）執(zhí)行，然后再將結(jié)果合并成最終結(jié)果（REDUCE）。這樣做的好處是可以在任務(wù)被分解后，可以通過(guò)大量機(jī)器進(jìn)行并行計(jì)算，減少整個(gè)操作的時(shí)間。但如果你要我再通俗點(diǎn)介紹，那么，說(shuō)白了，Mapreduce的原理就是一個(gè)歸并排序。
適用范圍：數(shù)據(jù)量大，但是數(shù)據(jù)種類小可以放入內(nèi)存
基本原理及要點(diǎn)：將數(shù)據(jù)交給不同的機(jī)器去處理，數(shù)據(jù)劃分，結(jié)果歸約。
問(wèn)題實(shí)例：
The canonical example application of MapReduce is a process to count the appearances of each different word in a set of documents:
海量數(shù)據(jù)分布在100臺(tái)電腦中，想個(gè)辦法高效統(tǒng)計(jì)出這批數(shù)據(jù)的TOP10。
一共有N個(gè)機(jī)器，每個(gè)機(jī)器上有N個(gè)數(shù)。每個(gè)機(jī)器最多存O(N)個(gè)數(shù)并對(duì)它們操作。如何找到N^2個(gè)數(shù)的中數(shù)(median)？
本文題目為秒殺99%的海量數(shù)據(jù)處理面試題，而不是100%呢。OK，給讀者看最后一道題，如下：
非常大的文件，裝不進(jìn)內(nèi)存。每行一個(gè)int類型數(shù)據(jù)，現(xiàn)在要你隨機(jī)取100個(gè)數(shù)。
我們發(fā)現(xiàn)上述這道題，無(wú)論是以上任何一種模式/方法都不好做，那有什么好的別的方法呢？我們可以看看：操作系統(tǒng)內(nèi)存分頁(yè)系統(tǒng)設(shè)計(jì)(說(shuō)白了，就是映射+建索引)。
Windows 2000使用基于分頁(yè)機(jī)制的虛擬內(nèi)存。每個(gè)進(jìn)程有4GB的虛擬地址空間?；诜猪?yè)機(jī)制，這4GB地址空間的一些部分被映射了物理內(nèi)存，一些部分映射硬盤(pán)上的交換文 件，一些部分什么也沒(méi)有映射。程序中使用的都是4GB地址空間中的虛擬地址。而訪問(wèn)物理內(nèi)存，需要使用物理地址。 關(guān)于什么是物理地址和虛擬地址，請(qǐng)看：
物理地址(physical address): 放在尋址總線上的地址。放在尋址總線上，如果是讀，電路根據(jù)這個(gè)地址每位的值就將相應(yīng)地址的物理內(nèi)存中的數(shù)據(jù)放到數(shù)據(jù)總線中傳輸。如果是寫(xiě)，電路根據(jù)這個(gè) 地址每位的值就將相應(yīng)地址的物理內(nèi)存中放入數(shù)據(jù)總線上的內(nèi)容。物理內(nèi)存是以字節(jié)(8位)為單位編址的。
虛擬地址(virtual address): 4G虛擬地址空間中的地址，程序中使用的都是虛擬地址。 使用了分頁(yè)機(jī)制之后，4G的地址空間被分成了固定大小的頁(yè)，每一頁(yè)或者被映射到物理內(nèi)存，或者被映射到硬盤(pán)上的交換文件中，或者沒(méi)有映射任何東西。對(duì)于一 般程序來(lái)說(shuō)，4G的地址空間，只有一小部分映射了物理內(nèi)存，大片大片的部分是沒(méi)有映射任何東西。物理內(nèi)存也被分頁(yè)，來(lái)映射地址空間。對(duì)于32bit的 Win2k，頁(yè)的大小是4K字節(jié)。CPU用來(lái)把虛擬地址轉(zhuǎn)換成物理地址的信息存放在叫做頁(yè)目錄和頁(yè)表的結(jié)構(gòu)里。
物理內(nèi)存分頁(yè)，一個(gè)物理頁(yè)的大小為4K字節(jié)，第0個(gè)物理頁(yè)從物理地址 0x00000000 處開(kāi)始。由于頁(yè)的大小為4KB，就是0x1000字節(jié)，所以第1頁(yè)從物理地址 0x00001000 處開(kāi)始。第2頁(yè)從物理地址 0x00002000 處開(kāi)始?？梢钥吹接捎陧?yè)的大小是4KB，所以只需要32bit的地址中高20bit來(lái)尋址物理頁(yè)。
返回上面我們的題目：非常大的文件，裝不進(jìn)內(nèi)存。每行一個(gè)int類型數(shù)據(jù)，現(xiàn)在要你隨機(jī)取100個(gè)數(shù)。針對(duì)此題，我們可以借鑒上述操作系統(tǒng)中內(nèi)存分頁(yè)的設(shè)計(jì)方法，做出如下解決方案：
操作系統(tǒng)中的方法，先生成4G的地址表，在把這個(gè)表劃分為小的4M的小文件做個(gè)索引，二級(jí)索引。30位前十位表示第幾個(gè)4M文件，后20位表示在這個(gè)4M文件的第幾個(gè)，等等，基于key value來(lái)設(shè)計(jì)存儲(chǔ)，用key來(lái)建索引。
但如果現(xiàn)在只有10000個(gè)數(shù)，然后怎么去隨機(jī)從這一萬(wàn)個(gè)數(shù)里面隨機(jī)取100個(gè)數(shù)？請(qǐng)讀者思考。
