有人說前三章難懂，讀過4、5、6章的人笑了，
有人說4、5、6章燒腦，讀過7、8、9章的人笑了，
有人說，讀《信息簡史》簡直上賊船了，領(lǐng)讀人笑了……
馬上就要登頂了，第9章是腦力挑戰(zhàn)的頂峰，我們喘口氣，這次只讀7&8。
第7章 信息論（我想要的不過只是一顆尋常的大腦）
這兩章的線索，就藏在括號中的這句話里，這兩章所描繪的就是人類為了建造“尋常大腦”而付出的努力。人類真的很不讓上帝省心，圣經(jīng)舊約加新約，就是說的上帝與人立的七次契約，最終人都違背了，你瞧，現(xiàn)在人又要自己建造自己的大腦了。
由于我們至今并不徹底了解大腦的具體運作機制，所以要想建造大腦，只能從外部模擬其功能，也就是要用我們天然的大腦，想出一套方案，用機器實現(xiàn)這套方案，那么這樣的機器就能干一部分我們大腦能干的事。
之所以說一部分，也就是說，對于諸如談戀愛和寫導(dǎo)讀這樣的事，一開始人們是壓根沒有想讓人工大腦來完成的。但是正如我們今天一提到機器人或人工智能，大眾、媒體或者說外行人，總是抱有一些孩子般的幻想，只有業(yè)內(nèi)人士才真正知道當(dāng)前所面臨的限制。所以，當(dāng)圖靈設(shè)計出看似比人還厲害的恩格尼碼密碼破解機時，普羅大眾似乎看到了制造“超級智慧大腦”的曙光，所以圖靈才不得不熱情洋溢地潑下一桶冷水：我想要的不過只是一顆尋常大腦。尋常大腦已經(jīng)不簡單了，它應(yīng)該能夠做什么呢：想想所有那些我們不喜歡做的事情吧——死記硬背、數(shù)學(xué)計算、邏輯推理，可以概括為：非創(chuàng)造性的、有確定性的前提和結(jié)果的、重復(fù)性的工作。
能做這些，其實真的已經(jīng)很不簡單了，今天的阿爾法狗也沒有超越這些，只是提升了運算速度，真正意義上的創(chuàng)造性，仍然是上帝特許給人類的專利。
在第7章，人類主要實現(xiàn)了大腦的死記硬背、數(shù)學(xué)計算和基本的邏輯推理。
在第8章，隨著控制論的介入，人工大腦具備了自適應(yīng)（根據(jù)外部環(huán)境及行為結(jié)果自主調(diào)節(jié)內(nèi)部操作或狀態(tài)）的能力，因而具備了自學(xué)習(xí)的能力，而學(xué)習(xí)能力正是人類心智的一大特征，所以這是一個飛躍，但距離真正的創(chuàng)造性，仍然不知道有多遠。
第7章 導(dǎo)讀
開篇引用喬恩·巴懷斯的話，其實道出了信息論的主要研究問題：一是如何定義信息，二是如何處理信息。要理解香農(nóng)的信息論，首先要接受香農(nóng)的告誡：忘掉意義。在香農(nóng)看來，一串隨機數(shù)和一首十四行詩沒有任何區(qū)別，所以，香農(nóng)的信息論是數(shù)學(xué)意義上的。
從數(shù)學(xué)意義上討論機器能否思考的問題，其實就是所謂的判定性問題，說白了，就是機器能否像人一樣進行邏輯推理。但數(shù)學(xué)家都是偏執(zhí)狂，必須要嚴格證明，對于任意的情況，能否找到一個嚴格的、分步的算法，通過它，給定一種演繹推理的形式語言，機器就可以自動化地進行證明。
如果這個命題被證明成立的話，那么機器將可以代替人的全部邏輯思維，不幸的是，這個命題被圖靈推翻了。P207頁給出了圖靈的證明過程，一般都看不懂，但我可以舉兩個簡單的事例，大家可以體驗一下：
第一個事例：
對于圖靈所說的“不可計算數(shù)”，大家可以聯(lián)想一下無理數(shù)，所謂無理數(shù)就是無限不循環(huán)小數(shù)，關(guān)鍵特征是它不能表示為分數(shù)，這個我們中學(xué)都學(xué)過，但課本從來沒有告訴我們這個發(fā)現(xiàn)在數(shù)學(xué)史上是如同日心說一樣的一場地震和一場流血事件。這是我昨晚讀吳國盛的《科學(xué)是什么》才知道的。最早發(fā)現(xiàn)的無理數(shù)是根2，即等腰直角三角形的斜邊，發(fā)現(xiàn)者是畢達哥拉斯學(xué)派的希帕索斯，據(jù)說因為這一發(fā)現(xiàn)，他被小伙伴兒們?nèi)拥搅撕＠?。Why？！這是因為畢達哥拉斯學(xué)派信奉“萬物皆數(shù)，數(shù)即萬物”，當(dāng)然，當(dāng)時人們對數(shù)的理解還僅限于有理數(shù)的范疇，所以對于根2這樣的怪物，簡直是離經(jīng)叛道、天理不容。其實，對于計算機而言，無理數(shù)至今也是無法表示的，甚至對于二進制而言，1/3這樣的有理數(shù)，也是沒有辦法精確表示的。
第二個事例：
有沒有辦法讓計算機判斷一個程序是死循環(huán)，答案也是否定的。想想吧，連1/3都沒法表示，連人很容易發(fā)現(xiàn)的死循環(huán)都沒法判定，計算機是不是很傻很天真？這個判斷死循環(huán)的例子其實對應(yīng)的就是圖靈所研究的“停機問題”。下面是我從知乎上看到的一個證明，其實就是P207頁證明的通俗化版本，當(dāng)然，熟悉C語言的同學(xué)，可以看這個帖子的樓上，你會笑噴的……
假設(shè)存在這樣的停機判定程序A。
那么我們首先寫出一個驗證哥德巴赫猜想的程序B。此程序?qū)γ恳粋€大于等于4的偶數(shù)驗證是否符合哥德巴赫猜想。如果碰到不符合的偶數(shù)就退出，否則繼續(xù)迭代。
用A判定B是否停機，如果停機，則說明哥德巴赫猜想為假，否則為真。
類似，可以寫出任意個程序驗證某一數(shù)學(xué)猜想/命題（例如黎曼猜想，費馬大定理 etc）的正確性，再用A去證明/證偽該命題（也就是我們發(fā)現(xiàn)了這個世界的bug），根據(jù)常識可知A不存在。
作者：匿名用戶
鏈接：https://www.zhihu.com/question/33617297/answer/57019250
來源：知乎
著作權(quán)歸作者所有，轉(zhuǎn)載請聯(lián)系作者獲得授權(quán)。
至此，不管看懂看不懂，至少你不會對人工智能盲目樂觀了（我承認我是一個人工智能悲觀主義者），但是我們說計算機連1/3都沒法精確表示、連死循環(huán)都不能判斷，這是嚴格的數(shù)學(xué)意義上的結(jié)論。在現(xiàn)實中，這些都可以妥協(xié)：通過足夠的小數(shù)位數(shù)來提升精度、通過設(shè)置一個監(jiān)視變量，一旦發(fā)現(xiàn)執(zhí)行某個程序段的次數(shù)超過常規(guī)值，就將其終止……等等，所以數(shù)學(xué)家與工程師總是生活在不同的世界里的。
但是，當(dāng)戰(zhàn)爭來臨時，純粹的數(shù)學(xué)家也會被邀請去解決現(xiàn)實問題，于是就有了圖靈的“炸彈”——專門破譯恩格尼碼密碼的機器——Bombe，現(xiàn)在人們普遍認為，圖靈的“炸彈”，對于二戰(zhàn)結(jié)局的影響，要勝過有史以來最具威力的物理炸彈——原子彈。當(dāng)然，這是不能嚴格地去驗證的，但這也許是一個很好的隱喻：數(shù)學(xué)的（純粹理論的）力量是多么強大。
這一章中很多內(nèi)容都是圍繞加密解密展開的，核心思想是，正式因為從數(shù)學(xué)層面上對信息及其傳輸過程進行了理論建模，才使得加密解密從專屬于語言學(xué)家、填字游戲冠軍們的游戲，變成了數(shù)學(xué)家向世人證明“數(shù)學(xué)有用”的舞臺（其實真正的數(shù)學(xué)家從來不熱衷于向公眾證明數(shù)學(xué)多么有用，據(jù)說歐幾里德還把問他的學(xué)問有什么用的學(xué)生趕跑了）
這一部分我能幫助大家對付的攔路虎，有兩只：
第一只：模擬信號到數(shù)字信號的轉(zhuǎn)換，就是本章開頭就提及、后面又不斷提到的香農(nóng)所進行的代號為X系統(tǒng)的研究工作，即用于加密羅斯福和丘吉爾語音通話的方法。所謂模擬信號，我們都知道聲音是一種振動波，以x軸為時間，以y軸為幅度值（代表振動的強弱）可以繪制一條曲線，這就是聲音的波形，如果用電壓或電流的強弱“模擬”聲波的強弱，就可以得到同樣的一條曲線，只不過y軸是電壓或電流的大小，用這樣變化的電路驅(qū)動揚聲器，即把變化的電信號還原為振動的空氣，我們便聽到了聲音。這就是模擬信號，一句話概括，它是連續(xù)變化的，劃下來，考試必考（對不起，職業(yè)病又犯了）。
傳統(tǒng)的廣播、留聲機、錄音機，都是模擬信號。模擬信號有很多缺點，易受干擾，因為電壓哪怕升高或降低一丁點，還原出來的聲音就變了，你想想，收音機、錄音機都有噪音吧，聽MP3你聽到過噪音嗎？
為啥MP3沒有噪音捏？因為它是數(shù)字信號！（嚴格地講，它在處理過程中是數(shù)字信號，但進入你耳機之前必須還原為模擬信號，因為你的耳朵太落后時代了，它不是阿凡達的辮子，不支持二進制?。?。聲音天然是連續(xù)變化的（模擬信號），要想轉(zhuǎn)換為數(shù)字信號，必須經(jīng)過處理，這個處理就是“采樣”和“量化”，你可以想象有一個人，每隔一段時間就看一眼聲音的波形，然后記錄下來聲音的幅度，但是他只是十分“粗略”地記錄，他不是記錄現(xiàn)在的幅度是幾點幾幾伏特，他只記錄現(xiàn)在的幅度約為幾個格，可以想象他事先在坐標紙上畫滿了方格。
有圖有真相，紅色平滑曲線是模擬信號（可以認為是聲音的電信號波形），因為它是連續(xù)變化的，所以是平滑的。陰影部分就是經(jīng)過“采樣”和“量化”后的信號，是不是粗糙了很多？但為啥MP3木有噪聲捏？ 你想啊，假如現(xiàn)在因為外界干擾，電壓變了那么一丁點，如果這一丁點沒有超過y軸的一格，那個“粗略”記錄的人，根本不care，還會“維持原判”的！也許你會說，這么粗糙的波形，聲音能好聽嗎？ 這個不用擔(dān)心，采樣頻率（每秒鐘“看”的次數(shù)）以及量化位數(shù)（縱向格子密度）越高，不就越精細嗎？而且數(shù)學(xué)家還給我們吃了一顆定心丸：當(dāng)采樣頻率大于信號中最高頻率的2倍時，采樣之后的數(shù)字信號完整地保留了原始信號中的信息。所以，我們現(xiàn)在聽的CD，其采樣頻率為44KHz，這是因為人耳能聽到的最高頻率范圍是20KHz。
其實，模擬信號數(shù)字化的最重要目的決不僅僅是抗干擾，關(guān)鍵是它能把連續(xù)變化的信號轉(zhuǎn)化為離散的數(shù)，因為完全連續(xù)的數(shù)（有理數(shù)+無理數(shù)）計算機是無法處理的，這就是前面圖靈費了那么大勁證明了的。一旦轉(zhuǎn)化為數(shù)，數(shù)學(xué)家就有了用武之地，所以這是當(dāng)時解決語音加密的必由之路?，F(xiàn)在什么都要讓計算機處理，那前提當(dāng)然是，要把各種信號都轉(zhuǎn)化為離散的數(shù)，這其實就是“數(shù)字化”——模擬信號到數(shù)字信號的轉(zhuǎn)化（簡稱模數(shù)轉(zhuǎn)換A/D），這是任何數(shù)據(jù)進入計算機的前提，但是有些數(shù)據(jù)最終還是要轉(zhuǎn)回模擬信號我們的感官才能識別，如聲音，所以在計算機處理完成后，還要再用專門的電路再轉(zhuǎn)換回來，這叫數(shù)模轉(zhuǎn)換（D/A）。寫到這里，我想畢達哥拉斯學(xué)派的在天之靈應(yīng)該感到無比欣慰了，今天的信息時代，似乎真正實現(xiàn)了他們的信仰：“萬物皆數(shù)，數(shù)即萬物”。
第二只老虎：密鑰。我們通常所接觸的都是設(shè)置一個密碼，好像從來沒有用過什么密鑰。其實這里的加密與解密都是對一段信息（你可以想象成一段文字或任何其他符號串）而言的，我們平時的郵箱密碼、支付寶密碼，都只是一種身份驗證，證明你是你本人。當(dāng)你給一個rar或zip文件設(shè)置密碼的時候，就是信息論意義上的加密解密了，你此時設(shè)置的這個密碼，就是密鑰。
舉個最簡單的例子大家體驗下，邏輯運算中，除了大家熟悉的與、或、非，還有一個叫做“異或”的運算，其規(guī)律是“相同為0、不同為1”，即0異或1=1，1異或0=1,1異或1=0,0異或0=0，這個異或運算就能實現(xiàn)簡單的加解密，因為一串二進制（明文），異或上一串二進制（密鑰），能產(chǎn)生變化，就可以用作密文，接收方如果知道密鑰，再次將密文與密鑰進行異或運算，就能還原為明文：
例如，明文為： 11001001，密鑰為 01，將明文逐位分別異或上01，得到10011100，這個就是密文了，可以發(fā)送給對方，對方收到后，再次逐位異或上01，得到11001001，即明文。
當(dāng)然，這個算法太容易破解了，圖靈和香農(nóng)追求的是理論上不能破解的加密算法，但基本原理是一樣的。目前看來，嚴格數(shù)學(xué)意義上的這種不可破解是不存在的，山東大學(xué)的王小云教授在這方面有一個重要發(fā)現(xiàn)，目前似乎只有借助量子糾纏的量子通信，才是本質(zhì)安全的。
除了加密解密外，香農(nóng)還關(guān)心這種離散的數(shù)字信號在傳輸過程中的一些數(shù)學(xué)問題，如信息的度量問題、信道的容量問題、傳輸?shù)乃俾逝c信道容量的關(guān)系問題等等，這些其實就是香農(nóng)信息論的具體內(nèi)容。
第8章 信息轉(zhuǎn)向（形成心智的基本要素）
這一章的線索就是，信息轉(zhuǎn)向，廢話，這是標題。從哪里轉(zhuǎn)向哪里呢？第7章是經(jīng)典的香農(nóng)信息論，本質(zhì)上就是信息傳輸?shù)膯栴}，加密解密，本質(zhì)上也是編碼解碼和傳輸問題。從第8章開始，轉(zhuǎn)向了對心智的模擬，其實這里的心智并非人類所專屬，實質(zhì)上是一種針對外部環(huán)境或行為結(jié)果的自我調(diào)節(jié)能力，是生物體適應(yīng)環(huán)境的基本能力，也可以說是一種最基本的學(xué)習(xí)能力。
為了讓機器也具備這種能力，就必須讓機器具備接收外部信息并對收到的信息做出自動化反應(yīng)的能力，注意這里的自動化，這個很重要，只有自動化地實現(xiàn)這一切，這個機器才是自主的、自適應(yīng)的，才是會“學(xué)習(xí)”的。
為了實現(xiàn)這一夢想，上帝說，要有控制論，于是，維納登場了。
如果上個世紀有微博，維納一定是大V，與香農(nóng)這個純種理工男不同，維納是個非常高調(diào)、甚至有些自負的“公知”。
還是繼續(xù)延續(xù)上一章的風(fēng)格，我能幫大家解決的攔路虎：
第一只老虎：負反饋、閉環(huán)系統(tǒng)。
我知道我的導(dǎo)讀讓你讀得很投入，但是也不要因為不忍釋卷養(yǎng)成憋尿的壞習(xí)慣，去上個廁所吧，順便注意一下抽水馬桶：
這貨就是個典型的“基于負反饋的閉環(huán)系統(tǒng)”，所謂反饋，就是系統(tǒng)的輸出再回到輸入，比如先天聾人自己學(xué)不會說話，不是因為不會發(fā)出聲音，而是因為沒有“反饋”，他們發(fā)出的聲音“一去不復(fù)返”，不能回到系統(tǒng)內(nèi)部，因此就構(gòu)成不了“閉環(huán)系統(tǒng)”，而所有的自適應(yīng)系統(tǒng)，都是閉環(huán)系統(tǒng)，這就要拜“反饋”所賜。反饋有正負，負反饋是個“和事佬”，你興奮了，他就讓你平靜點兒，你平靜了，他就讓你激動點兒，由于外界的影響，你“此起彼伏”，但有了負反饋，它不是不讓你波動，而是讓你始終在一個限定的范圍內(nèi)波動。而正反饋就是火上澆油了，你越生氣，它越激你的火，你越平靜，它越讓你吃安眠藥。這也不是沒有用，我們所有的無線電發(fā)射設(shè)備，包括今天所有的數(shù)字電路，都需要一個振蕩器，而這個振蕩器，就是個典型的正反饋放大器。
你一拉沖水的手柄，出水閥打開，開始放水，松開手柄，出水閥關(guān)閉，這時候進水閥打開，而當(dāng)進水的水位升高到一定程度，浮球帶動的杠桿會關(guān)閉進水閥，這就實現(xiàn)了自動停止進水。這一自動化過程，是由于外界的條件變化（水位）而引發(fā)的，系統(tǒng)首先是能夠接收這一變化的信息，然后能夠?qū)@一變化做出反應(yīng)，而做出的反應(yīng)又是使系統(tǒng)保持穩(wěn)定，所以是負反饋。
對于一個閉環(huán)系統(tǒng)，它始終在有限個狀態(tài)之間進行轉(zhuǎn)換，從一個狀態(tài)轉(zhuǎn)換到另一個狀態(tài)具有明確的外部或內(nèi)部條件，這也是實現(xiàn)自動化的基礎(chǔ)，通常在分析這類系統(tǒng)的時候，使用一種叫做“狀態(tài)機”的圖表，如下圖所示是一個手機的狀態(tài)機，有了狀態(tài)機的概念，也有助于我們理解圖靈機紙帶、符號和狀態(tài)三要素之一的“狀態(tài)”概念。
第二只老虎：千萬別小瞧香農(nóng)那只會走迷宮的老鼠
第6章開頭我們就知道了香農(nóng)小時候就是個“創(chuàng)客”，這一章又看到了他的會走迷宮的老鼠，這不能不讓我們聯(lián)想到當(dāng)下如火如荼的創(chuàng)客活動中基于Arduino之類的走迷宮的小車。這種聯(lián)想有一個很危險的誤導(dǎo)，會讓我們把注意力放在技術(shù)實現(xiàn)而非背后的原理上。香農(nóng)這只走迷宮的老鼠，其實是對他自己的信息論以及維納的控制論最好的“演示教具”。它直觀地表現(xiàn)了信息的編碼、存儲、讀寫以及反饋機制，在香農(nóng)老鼠的陪伴下，讀這一部分會容易很多。
本章的最后涉及到了心理學(xué)，其實是講的信息加工心理學(xué)的產(chǎn)生背景，這對于LSC的小伙伴們是不是有一種終于見到親人的趕腳？學(xué)習(xí)科學(xué)領(lǐng)域的先驅(qū)大牛很多都是計算機領(lǐng)域特別是機器學(xué)習(xí)領(lǐng)域的人，從這里看終于知道為什么了。
信息科學(xué)與腦科學(xué)像一對戀人，纏綿悱惻。當(dāng)圖靈與香農(nóng)等人發(fā)誓要建造大腦的時候，腦科學(xué)還沒有成形，而隨著人造大腦越來越有模有樣，心理學(xué)和腦科學(xué)領(lǐng)域的人受到啟發(fā)，人腦是不是就這樣??？ 在心理學(xué)和腦科學(xué)突飛猛進的今天，人們早已認識到人腦不僅僅是計算機，此時，信息科學(xué)又開始朝著創(chuàng)造更像人腦的高級智能機器的目標進發(fā)了。
