這倆玩意看著簡(jiǎn)單，每次回想起來(lái) 總覺(jué)得哪里不明白，就總結(jié)一下吧。

先看看百度的解釋：

最大似然估計(jì)(maximum likelihood estimation, MLE)一種重要而普遍的求估計(jì)量的方法。最大似然法明確地使用概率模型，其目標(biāo)是尋找能夠以較高概率產(chǎn)生觀察數(shù)據(jù)的系統(tǒng)發(fā)生樹(shù)。最大似然法是一類完全基于統(tǒng)計(jì)的系統(tǒng)發(fā)生樹(shù)重建方法的代表。

原理：

給定一個(gè)概率分布D，假定其概率密度函數(shù)（連續(xù)分布）或概率聚集函數(shù)（離散分布）為fD，以及一個(gè)分布參數(shù)θ，我們可以從這個(gè)分布中抽出一個(gè)具有n個(gè)值的采樣X(jué)1,X2,...,Xn，通過(guò)利用fD，我們就能計(jì)算出其概率：

但是，我們可能不知道θ的值，盡管我們知道這些采樣數(shù)據(jù)來(lái)自于分布D。那么我們?nèi)绾尾拍芄烙?jì)出θ呢？一個(gè)自然的想法是從這個(gè)分布中抽出一個(gè)具有n個(gè)值的采樣X(jué)1,X2,...,Xn，然后用這些采樣數(shù)據(jù)來(lái)估計(jì)θ。

一旦我們獲得，我們就能從中找到一個(gè)關(guān)于θ的估計(jì)。最大似然估計(jì)會(huì)尋找關(guān)于 θ的最可能的值（即，在所有可能的θ取值中，尋找一個(gè)值使這個(gè)采樣的“可能性”最大化）。這種方法正好同一些其他的估計(jì)方法不同，如θ的非偏估計(jì)，非偏估計(jì)未必會(huì)輸出一個(gè)最可能的值，而是會(huì)輸出一個(gè)既不高估也不低估的θ值。

要在數(shù)學(xué)上實(shí)現(xiàn)最大似然估計(jì)法，我們首先要定義可能性：

并且在θ的所有取值上，使這個(gè)函數(shù)最大化。這個(gè)使可能性最大的值即被稱為θ的最大似然估計(jì)。 [1]

emmm。。。 說(shuō)這么多理解起來(lái)有點(diǎn)費(fèi)勁啊 不是很直觀。

我們來(lái)看個(gè)直觀的例子吧：

總結(jié)起來(lái)，最大似然估計(jì)的目的就是：利用已知的樣本結(jié)果，反推最有可能（最大概率）導(dǎo)致這樣結(jié)果的參數(shù)值。

? ? ? ? 原理：極大似然估計(jì)是建立在極大似然原理的基礎(chǔ)上的一個(gè)統(tǒng)計(jì)方法，是概率論在統(tǒng)計(jì)學(xué)中的應(yīng)用。極大似然估計(jì)提供了一種給定觀察數(shù)據(jù)來(lái)評(píng)估模型參數(shù)的方法，即：“模型已定，參數(shù)未知”。通過(guò)若干次試驗(yàn)，觀察其結(jié)果，利用試驗(yàn)結(jié)果得到某個(gè)參數(shù)值能夠使樣本出現(xiàn)的概率為最大，則稱為極大似然估計(jì)。

再舉一個(gè)例子：

假設(shè)一個(gè)袋子裝有白球與紅球，比例未知，現(xiàn)在抽取10次（每次抽完都放回，保證事件獨(dú)立性），假設(shè)抽到了7次白球和3次紅球，在此數(shù)據(jù)樣本條件下，可以采用最大似然估計(jì)法求解袋子中白球的比例（最大似然估計(jì)是一種“模型已定，參數(shù)未知”的方法）。當(dāng)然，這種數(shù)據(jù)情況下很明顯，白球的比例是70%，但如何通過(guò)理論的方法得到這個(gè)答案呢？一些復(fù)雜的條件下，是很難通過(guò)直觀的方式獲得答案的，這時(shí)候理論分析就尤為重要了，這也是學(xué)者們?yōu)楹我岢鲎畲笏迫还烙?jì)的原因。我們可以定義從袋子中抽取白球和紅球的概率如下：

其中theta是未知的，因此，我們定義似然L為：

兩邊取ln，取ln是為了將右邊的乘號(hào)變?yōu)榧犹?hào)，方便求導(dǎo)。

最大似然估計(jì)的過(guò)程，就是找一個(gè)合適的theta，使得平均對(duì)數(shù)似然的值為最大。因此，可以得到以下公式：

這里討論的是2次采樣的情況，當(dāng)然也可以拓展到多次采樣的情況：

我們定義M為模型（也就是之前公式中的f），表示抽到白球的概率為theta，而抽到紅球的概率為(1-theta)，因此10次抽取抽到白球7次的概率可以表示為：

將其描述為平均似然可得：

那么最大似然就是找到一個(gè)合適的theta，獲得最大的平均似然。因此我們可以對(duì)平均似然的公式對(duì)theta求導(dǎo)，并另導(dǎo)數(shù)為0。

由此可得，當(dāng)抽取白球的概率為0.7時(shí)，最可能產(chǎn)生10次抽取抽到白球7次的事件。

最小二乘法

最小二乘法（又稱最小平方法）是一種數(shù)學(xué)優(yōu)化技術(shù)。它通過(guò)最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配。利用最小二乘法可以簡(jiǎn)便地求得未知的數(shù)據(jù)，并使得這些求得的數(shù)據(jù)與實(shí)際數(shù)據(jù)之間誤差的平方和為最小。最小二乘法還可用于曲線擬合。其他一些優(yōu)化問(wèn)題也可通過(guò)最小化能量或最大化熵用最小二乘法來(lái)表達(dá)。

請(qǐng)看這篇知乎文章 通俗易懂

https://www.zhihu.com/question/20447622

再來(lái)看下最小二乘是如何推導(dǎo)計(jì)算的：

總結(jié)一句話： 最小二乘法的核心是權(quán)衡，因?yàn)槟阋诤芏鄺l線中間選擇，選擇出距離所有點(diǎn)之后最短的，而極大似然核心是自戀，要相信自己是天選之子，自己看到的，就是冥冥之中最接近真相的。

參考資料：

https://baike.baidu.com/item/%E6%9C%80%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1/4967925?fr=aladdin

https://www.zhihu.com/question/20447622

http://m.itdecent.cn/p/f1d3906e4a3e

歡迎大家關(guān)注，vx公眾號(hào)同名