音頻：概率論22講
作者：劉嘉
01 | 全局：從局部隨機(jī)性到整體確定性
知道了概率論的本質(zhì)
- 把局部的隨機(jī)性轉(zhuǎn)變?yōu)檎w的確定性，是概率論解決問題的本質(zhì)。
- 概率論不是用來預(yù)測未來，也不是對一次偶然的結(jié)果進(jìn)行計(jì)算，它是更高層次的、確定性的認(rèn)知。
- 概率論的大廈像什么？我更愿意說：概率論不是一棟建筑，而是一個城市。我可以不知道城市里每一棟建筑的樣子，但我確定地知道這個城市的建筑模式。
02 | 隨機(jī)：隨機(jī)性不等于不確定性
- 隨機(jī)性不等于不確定性。概率論研究的是隨機(jī)性，而不是不確定性。
- 隨機(jī)分真?zhèn)?。真隨機(jī)是數(shù)學(xué)上的理想概念，是絕對不可預(yù)測。而我們最常遇到的，是在效果上類似于真隨機(jī)效果的隨機(jī)。
- 隨機(jī)是這個世界的決定性力量。
03 | 概率：對世界可能性的度量
- 概率是隨機(jī)事件發(fā)生可能性大小的定量描述。
- 概率是隨機(jī)事件在樣本空間的比率。
- 樣本空間的完備性是一個幽靈。從某種角度來說，我們對世界的認(rèn)識，就是對樣本空間完備性的認(rèn)識。
04 | 獨(dú)立性：隨機(jī)事件的相互關(guān)系
- 如果一個隨機(jī)事件發(fā)生的結(jié)果，不會影響另一個隨機(jī)事件的概率，那它們就是互相獨(dú)立的事件，反之就是非獨(dú)立事件。
- 只有明白了隨機(jī)事件之間的關(guān)系，判斷它們是否有獨(dú)立性，才能正確分析和度量它的概率。
- 很多看似獨(dú)立的事件，其實(shí)都是互相聯(lián)系、互相影響的。評估隨機(jī)事件的概率時，對獨(dú)立事件的設(shè)定需要格外謹(jǐn)慎。
05 | 概率計(jì)算：定義問題比計(jì)算更重要
- 排列組合法則、加法法則、乘法法則，是概率計(jì)算最基礎(chǔ)的三個法則，可以解決大部分概率計(jì)算問題。
- 大部分人不會做概率題，不是因?yàn)椴粫?jì)算，而是因?yàn)闆]看明白題目。
- 概率計(jì)算之所以復(fù)雜，是因?yàn)楹茈y將現(xiàn)實(shí)問題準(zhǔn)確的抽象成“對”的概率問題。準(zhǔn)確的翻譯現(xiàn)實(shí)問題，就是概率思維的核心。
06 | 概率度量：建立整體確定性的三種方式
這就是精益思維的數(shù)學(xué)依據(jù)。小步快跑、MVP都明白了。
迭代法就是說，先利用手頭少量的數(shù)據(jù)做推測，甚至是主觀猜測一件事兒的概率，然后再通過收集來的新數(shù)據(jù)，不斷調(diào)整對這件事概率的估算。最常用的方法就叫作“貝葉斯”。
08 | 大數(shù)定律：局部頻率不是整體概率
黃金定律
到此為止，我們先用弱大數(shù)定律找到了整體，又用強(qiáng)大數(shù)定律確定了整體一定是穩(wěn)定的。大數(shù)定律又被稱為“黃金定理”，它讓我們真正能用整體的確定性來對抗局部的隨機(jī)性。
常見誤區(qū)
整體不需要對局部進(jìn)行補(bǔ)償
這種整體對局部的約束作用，是怎么進(jìn)行的呢？
很多人會有一種樸素的想法，叫作“補(bǔ)償思維”。舉個例子，當(dāng)硬幣連續(xù)拋了10次都是正面朝上后，很多人就認(rèn)為，下一次反面朝上的概率肯定得更高一些。因?yàn)橹挥羞@樣才能補(bǔ)償不平衡的狀況，要不然怎么保證最終硬幣正面朝上的概率還是50%呢？
看起來很合理，但我要告訴你的是，這種思維是錯的。整體不需要通過補(bǔ)償來對局部產(chǎn)生作用，大數(shù)定律并不通過補(bǔ)償來實(shí)現(xiàn)。
還是剛才的例子，假如拋硬幣前10次都是正面，那想讓正面朝上的概率穩(wěn)定在50%，后面是不是得拋出更多的反面來補(bǔ)償呢？不需要。
09 | 數(shù)學(xué)期望：對隨機(jī)事件長期價值的衡量
決策的數(shù)學(xué)依據(jù)
幾乎所有金融產(chǎn)品的價值，比如基金、股票是否值得投資，也都可以使用數(shù)學(xué)期望來衡量。如果贏的期望超過輸?shù)钠谕?，也就是說，如果數(shù)學(xué)期望是正的，就證明它值得長期投資。這就是金融領(lǐng)域“價值投資”的真諦。
11 | 概率分布：認(rèn)識現(xiàn)實(shí)世界的數(shù)學(xué)模型
面對不確定性，先假設(shè)再求證，貝葉斯定理思維。假設(shè)權(quán)是你擁有的最大權(quán)利！
用模型不斷逼近世界的真相
找到了變化規(guī)律的，可以用概率分布模型描述。還沒有找到變化規(guī)律的怎么辦呢？只能束手無策嗎？
當(dāng)然不是。
一般情況下，面對一個無法解釋的現(xiàn)象，專家會先假設(shè)它服從某個概率分布模型，然后再去驗(yàn)證假設(shè)。
比如對于股市這個問題，過去的經(jīng)濟(jì)學(xué)家發(fā)現(xiàn)：股票的波動情況和拋硬幣一樣，連續(xù)兩天都漲或連續(xù)兩天都跌的可能性差不多都是50%，挺服從正態(tài)分布的。于是，他們就用正態(tài)分布來模擬股市，并根據(jù)這個模型的數(shù)學(xué)特征，比如數(shù)學(xué)期望、方差、極端情況出現(xiàn)的可能性等，來構(gòu)建整個金融體系的風(fēng)險系統(tǒng)。
最后，人們拿模型的預(yù)測和現(xiàn)實(shí)中股市的漲跌情況做個對比，發(fā)現(xiàn)變化挺一致的。所以人們就認(rèn)為，股市的變化服從正態(tài)分布這個模型。
但是很快，這個結(jié)論就出問題了。金融危機(jī)爆發(fā)的時候，市場完全不遵循正態(tài)分布的規(guī)律。在正態(tài)分布的模型中，幾十億年才會出現(xiàn)一次的極端情況，會在一天內(nèi)反復(fù)出現(xiàn)。
這時候，人們終于明白——用正態(tài)分布來評估股市的風(fēng)險，可能壓根就是錯的。換句話說，我們可能從一開始就選錯了模型。
請注意，是我們選錯了模型，而不是說模型本身是錯的。概率分布模型是邏輯的產(chǎn)物，百分之百是正確的；但是模型那么多，我們選擇時可能出錯。打個比方，菜刀的設(shè)計(jì)沒有錯，但你用菜刀釘釘子，就不免會傷到手。錯的不是菜刀，而是你選錯了工具。
12 | 正態(tài)分布：最簡單卻最重要的概率分布
專業(yè)和業(yè)余的數(shù)學(xué)量化就是概率的均值和標(biāo)準(zhǔn)差。
其他人總是用“刻意練習(xí)”“精準(zhǔn)”等來評價專業(yè)和業(yè)余，但在數(shù)學(xué)家看來，這些詞都太模糊。真正精確的標(biāo)準(zhǔn)只有兩個——均值和標(biāo)準(zhǔn)差。專業(yè)就是均值更高，標(biāo)準(zhǔn)差更小，業(yè)余恰恰相反。
13 | 中心極限定理：正態(tài)分布是概率分布的神
信息熵和正態(tài)分布聯(lián)系起來了
而巧合的是，正態(tài)分布就是所有已知均值和方差的分布中，信息熵最大的一種分布。如果熵不斷增長是孤立系統(tǒng)確定的演化方向，那熵的最大化，也就是正態(tài)分布，就是孤立系統(tǒng)演化的必然結(jié)果。
14 | 冪律分布：給人帶來希望的魔鬼
冪律分布是對抗熵增的有效辦法，也就是長期主義的數(shù)學(xué)依據(jù)。
其中一個比較主流，也是我最喜歡的，是1982年諾貝爾物理學(xué)獎得主肯尼斯·威爾遜的觀點(diǎn)。因?yàn)檫@個研究給人類對抗熵增，對抗世界的宿命，提供了新的希望。
威爾遜的研究突破，源于水變成冰這個常見的生活現(xiàn)象。他發(fā)現(xiàn)，在水變成冰的過程中，存在一個神奇的臨界溫度——在臨界溫度之前，水分子里原子的自旋都是隨機(jī)指向不同的方向；可一旦到了臨界溫度，就會非常有序地指向同一個方向。
這是個神奇的事情，為什么在那一瞬間突然就從混亂變成了有序呢？
威爾遜收集了很多臨界態(tài)一瞬間的關(guān)鍵數(shù)據(jù)，結(jié)果發(fā)現(xiàn)，每個指標(biāo)都在臨界態(tài)附近涌現(xiàn)出了冪律分布。換句話說，在水變成冰，也就是從無序到有序的臨界狀態(tài)上，所有指標(biāo)都呈現(xiàn)出冪律分布的現(xiàn)象。而我們知道，無序是熵值最大，有序是熵值最小，所以這也就說明，在從無序到有序這個熵減的過程中，冪律分布必然發(fā)生。
為什么說這個結(jié)論給人帶來希望呢？
你想，如果這個理論是冪律分布產(chǎn)生的原因，那冪律分布就是我們對抗熵增的必經(jīng)狀態(tài)。只要一個生命還存在，一個系統(tǒng)還在演化，它就必然在做熵減的工作，所以出現(xiàn)冪律分布也就不足為奇。這也正好解釋了正態(tài)分布和冪律分布在生活里都很常見，秒殺其他分布的原因。
所以你看，雖然冪律分布像魔鬼一樣狡詐、難以預(yù)料，但它可能是我們對抗熵增的必然選擇，是每個系統(tǒng)從無序到有序，從混沌到清晰，從未知世界到規(guī)律世界的必經(jīng)之路。冪律分布存在的地方，看似兇險，卻恰恰是對抗熵增，對抗死寂，對抗死亡的角斗場，是我們的希望之光。
19 | 貝葉斯推理：概率是對信心的度量
概率本質(zhì)上是對信心的度量，信心也就是確定性。
在貝葉斯的世界里，概率本質(zhì)上是對信心的度量，是我們對某個結(jié)果相信程度的一種定量化的表達(dá)。
生活里，我們說的很多概率，其實(shí)表達(dá)的都是我們對某個結(jié)果的相信程度。
比如說，一場精彩的球賽看下來，我們總說比賽跌宕起伏、千回百轉(zhuǎn)，其實(shí)就是因?yàn)閳錾暇謩莶粩嘧兓?，我們對比賽結(jié)果、對某支球隊(duì)輸贏的信心在不斷調(diào)整。
起點(diǎn)不重要，迭代更重要。
生活里，為什么我們總是尋找新信息，爭取信息完備？其實(shí)就是為了運(yùn)用盡可能多的信息，提高自己判斷的準(zhǔn)確率，本質(zhì)上還是貝葉斯推理。
這其實(shí)是一種非常高級的思維模式。起點(diǎn)不重要，迭代很重要，就需要保持充分的開放和積累；而信息越充分，結(jié)果越可靠，又要求隨時調(diào)整、不斷逼近真相。這樣每次精進(jìn)一點(diǎn)，每次精進(jìn)一點(diǎn)，這樣的人可不就越活越通透，越活越聰明嗎？
20 | 貝葉斯計(jì)算：定量解決逆概率問題
需求決定科學(xué)價值。
從數(shù)學(xué)上，貝葉斯老先生并沒有發(fā)明任何東西，他只是對條件概率公式做了簡單變形。如果你相信條件概率公式，就得堅(jiān)信貝葉斯公式也一定正確。
21 | 主觀與客觀：不同的概率學(xué)派在爭什么？
下圍棋和打麻將的比喻太貼切了！
而貝葉斯，是個動態(tài)的、反復(fù)的過程。每個新信息的加入都要重新進(jìn)行一遍計(jì)算，獲得一個新概率。貝葉斯沒有什么限制條件，只是在這一次次獲得新信息、重新計(jì)算的過程中迭代自己的判斷。它甚至不認(rèn)為現(xiàn)實(shí)的事兒都有正確答案，因?yàn)樗^答案，也是在不斷變化的。
打個比方，頻率法就像下圍棋，對局雙方都是完全信息的，每個人都能看到雙方棋局的全貌。在某個時刻，一定存在一個最優(yōu)解，而且對于下棋的雙方都是一樣的；而貝葉斯更像打麻將，只能看到自己的牌，而看不到別人的牌，參與者獲得的是非完全信息。根據(jù)局勢的不斷變化，每個人都會針對自己獲得的信息決定怎么打，也許有不一樣的最優(yōu)解和打法。
概率論的兩兄弟
確切的說，頻率法和貝葉斯這兩種方法都是基于嚴(yán)格的數(shù)學(xué)證明和推導(dǎo)，都是客觀的，但在使用的過程中，都會或多或少的產(chǎn)生主觀性。
說實(shí)話，主觀、客觀屬于哲學(xué)討論的范疇，是認(rèn)識論的基本問題。在現(xiàn)在的數(shù)學(xué)領(lǐng)域，應(yīng)用數(shù)學(xué)家基本是不太討論這些問題的，而是兩者都用，哪個好用用哪個。
不管是過去，還是在大數(shù)據(jù)技術(shù)非?；鸬默F(xiàn)在，頻率法都非常有用，甚至在很多領(lǐng)域可能都是最好的方法。它特別適合解決那些普遍的、通用的、群體性的問題，比如拋硬幣、玩德州撲克，或者計(jì)算生育率、患病概率、飛機(jī)失事率等。畢竟對于這類問題，得到最終那個普適的概率值就好了嘛。
而貝葉斯更適合解決變化的、個體的、無法重復(fù)的概率問題，比如明天比賽某球隊(duì)獲勝的概率、發(fā)生金融危機(jī)的概率，以及人工智能這些技術(shù)等。畢竟它衡量的就是信心，而且本身就是通過搜集不同的信息，不斷調(diào)整、不斷迭代的。
而在更多的時候，兩個方法并不是涇渭分明，而是混合著使用的。
通常，我們會先用頻率法獲得先驗(yàn)概率，再用貝葉斯計(jì)算某個證據(jù)的權(quán)重。這時候，頻率法就是貝葉斯方法的前提，提供相對靠譜的先驗(yàn)概率。而有些問題，貝葉斯方法又能為頻率法提供原始的估算，方便頻率法在茫茫的噪音中快速定位問題。這時候，貝葉斯又為頻率法提供了支撐。
也許很多年以后，數(shù)學(xué)家能做出突破，將頻率法和貝葉斯融合為一個統(tǒng)一的理論。但現(xiàn)在，用好它就行了。頻率法和貝葉斯就像概率論的兩個兒子，雖然兩個兒子性格不同，但它們常常合作解決現(xiàn)實(shí)問題。這就叫“兄弟同心，其利斷金”。
