機器學習筆記----導數(shù)

(參考百度百科)

導數(shù)定義:

設函數(shù)y=f(x)在點x0的某個鄰域內(nèi)有定義,當自變量x在x0處有增量Δx,(x0+Δx)也在該鄰域內(nèi)時,相應地函數(shù)取得增量Δy=f(x0+Δx)-f(x0);如果Δy與Δx之比當Δx→0時極限存在,則稱函數(shù)y=f(x)在點x0處可導,并稱這個極限為函數(shù)y=f(x)在點x0處的導數(shù)記作


導函數(shù):

如果函數(shù)y=f(x)在開區(qū)間內(nèi)每一點都可導,就稱函數(shù)f(x)在區(qū)間內(nèi)可導。這時函數(shù)y=f(x)對于區(qū)間內(nèi)的每一個確定的x值,都對應著一個確定的導數(shù)值,這就構成一個新的函數(shù),稱這個函數(shù)為原來函數(shù)y=f(x)的導函數(shù),記作y'、f'(x)、dy/dx或df(x)/dx,簡稱導數(shù)。

幾何意義:

函數(shù)y=f(x)在x0點的導數(shù)f'(x0)的幾何意義:表示函數(shù)曲線在點P0(x0,f(x0))處的切線的斜率(導數(shù)的幾何意義是該函數(shù)曲線在這一點上的切線斜率)。

偏導數(shù):

偏導數(shù)的表示符號為:?。

x方向的偏導

設有二元函數(shù) z=f(x,y) ,點(x0,y0)是其定義域D 內(nèi)一點。把 y 固定在 y0而讓 x 在 x0?有增量 △x ,相應地函數(shù) z=f(x,y) 有增量(稱為對 x 的偏增量)△z=f(x0+△x,y0)-f(x0,y0)。

如果 △z 與 △x 之比當 △x→0 時的極限存在,那么此極限值稱為函數(shù) z=f(x,y) 在 (x0,y0)處對 x 的偏導數(shù),記作 f'x(x0,y0)或。函數(shù) z=f(x,y) 在(x0,y0)處對 x 的偏導數(shù),實際上就是把 y 固定在 y0看成常數(shù)后,一元函數(shù)z=f(x,y0)在 x0處的導數(shù)。

y方向的偏導

同樣,把 x 固定在 x0,讓 y 有增量 △y ,如果極限存在那么此極限稱為函數(shù) z=(x,y) 在 (x0,y0)處對 y 的偏導數(shù)。記作f'y(x0,y0)。

幾何意義:

表示固定面上一點的切線斜率。

偏導數(shù) f'x(x0,y0) 表示固定面上一點對 x 軸的切線斜率;偏導數(shù) f'y(x0,y0) 表示固定面上一點對 y 軸的切線斜率

高階導數(shù):

一階導數(shù)的導數(shù)稱為二階導數(shù),二階以上的導數(shù)可由歸納法逐階定義。二階和二階以上的導數(shù)統(tǒng)稱為高階導數(shù)。

y = f(x)的導數(shù) y = f'(x)仍是 x 的函數(shù),通常把導函數(shù)y=f'(x) 的導數(shù)叫做函數(shù)的二階導數(shù),記作:f''(x),y"? 即

或者寫成:

類似地,二階導數(shù)的導數(shù)叫做三階導數(shù),三階導數(shù)的導數(shù)叫做四階導數(shù)…… . 一般地,n-1階導數(shù)的導數(shù)叫做 n 階導數(shù),即


分別記作:


或者寫為:


二階及二階以上的導數(shù)統(tǒng)稱為高階導數(shù)。

高階導數(shù)的計算法則:

1. u(x),v(x)和的n階導數(shù)

設函數(shù)u(x),v(x)在點x都具有n階導數(shù),則有:



2??u(x),v(x)積的n階導數(shù) (萊布尼茲公式):

設函數(shù)u(x),v(x)在點x都具有n階導數(shù):則有



復合函數(shù)及鏈式法則:

鏈式法則是求復合函數(shù)的導數(shù)(偏導數(shù))的法則。

從一元函數(shù)出發(fā),設?x 是實數(shù),f 和 g?是從實數(shù)映射到實數(shù)的函數(shù)。假設 y=g(x),且 u=f(g(x))=f(y),即?u 是 x?的符合函數(shù)。是指


這個結論可推廣到任意有限個函數(shù)復合到情形,于是復合函數(shù)的導數(shù)將是構成復合這有限個函數(shù)在相應點的 導數(shù)的乘積,就像鎖鏈一樣一環(huán)套一環(huán),故稱鏈式法則。

多元函數(shù)的鏈式法則:

若多元函數(shù) u=g(y1,y2,...,ym) 在點 ??=(b1,b2,...,bm) 處可微,bi=fi(a1,a2,...,an)(i=1,2,...,m),每個函數(shù) fi(x1,x2,...,xn) 在點 (a1,a2,...,an) 處都可微,則函數(shù) u=g(f1(x1,x2,...,xn),f2(x1,x2,...,xn),...,fm(x1,x2,...,xn)) 也在(a1,a2,...,an) 處可微,且


這就是多元函數(shù)的鏈式法則,若同時考察一組(p 個)復合函數(shù) u1,u2,...,up,其中 uk=gk(fi(x1,x2,...,xn),f2(x1,x2,...,xn),...,fm(x1,x2,...,xn))(k=1,2,...,p),將它們的偏導數(shù)寫成矩陣(雅可比矩陣),則可以看到鏈式法則在形式上更有規(guī)律性,這時

若對于上面考察的這些函數(shù),令 ??=(g1,g2,...,gp),??=(f1,f2,...,fm),于是,?? 是 p 維向量值函數(shù)(定義與 ??m?的子集上),?? 是 m 維向量值函數(shù)(定義于??n?的子集上),按照定義,它們的導數(shù)是相應的雅可比矩陣,


等式右端為兩矩陣??‘ (?? (??)) 與??‘ (??) 的矩陣乘積),其中??=(a1,a2,...,an).這就是向量值函數(shù)的鏈式法則,它在形式上與一元函數(shù)的鏈式法則完全相同


函數(shù)的凹凸性:

中國數(shù)學界關于函數(shù)凹凸性定義和國外很多定義是反的。國內(nèi)教材中的凹凸,是指曲線,而不是指函數(shù),圖像的凹凸與直觀感受一致,卻與函數(shù)的凹凸性相反。只要記住“函數(shù)的凹凸性與曲線的凹凸性相反”就不會把概念搞亂了

定義:如果定義在某一區(qū)間上的一元實函數(shù)是連續(xù)函數(shù),且對這一區(qū)間中的任何兩點X1、X2,當X1<X2 時,有不等式

其中q1、q2為正數(shù),q1+q2=1,這時,我們把函數(shù)f(x)叫做凹函數(shù),或叫做下凸函數(shù)。

如果把上述條件中的“≥”改成“>”,則叫做嚴格凹函數(shù),或叫做嚴格下凸函數(shù)。

如果y=f(x)是(嚴格)凹函數(shù),那么它的圖象是(嚴格)凹曲線,或叫做(嚴格)下凸曲線。

如果一元實函數(shù)f(x)在某區(qū)間二階可導,那么這一函數(shù)為凹函數(shù)的充要條件是在這一區(qū)間上恒有f‘’(x)≤0(對于嚴格凹函數(shù),只要改成f‘’(x)<0就可以了)。

設函數(shù)f(x)在定義域內(nèi)連續(xù)可導且滿足f''(x)>0;設x1

因ax1+(1-a)x2-x1=(1-a)(x2-x1)>0;

則x1

根據(jù)拉格朗日中值定理。

必存在x1<μ< ax1+(1-a)x2;

使f[ax1+(1-a)x2]-f(x1)= (1-a)(x2-x1)f'(μ);

同理。

存在ax1+(1-a)x2<ξ

使f(x2)- f[ax1+(1-a)x2]= a(x2-x1)f'(ξ);

故a{f[ax1+(1-a)x2]-f(x1)}- (1-a){f(x2)- f[ax1+(1-a)x2]}=a (1-a)(x2-x1)[f’(μ)- f’(ξ)];

根據(jù)拉格朗日中值定理。

有μ<δ<ξ;

f'(μ)- f'(ξ)=(μ-ξ)f''(δ);

因f''(x)>0;

則f'(μ)- f'(ξ)<0;

則a{f[ax1+(1-a)x2]-f(x1)}- (1-a){f(x2)- f[ax1+(1-a)x2]}<0;

整理后得f[ax1+(1-a)x2]

同理,若f''(x)≤0,則結果相反 。

即若f''(x)≤0,則f[ax1+(1-a)x2]≥af(x1)+(1-a)f(x2);滿足凹函數(shù)的定義。

證明完畢;


泰勒公式:

泰勒公式是一個用函數(shù)在某點的信息描述其附近取值的公式。如果函數(shù)足夠平滑的話,在已知函數(shù)在某一點的各階導數(shù)值的情況之下,泰勒公式可以用這些導數(shù)值做系數(shù)構建一個多項式來近似函數(shù)在這一點的鄰域中的值。泰勒公式還給出了這個多項式和實際的函數(shù)值之間的偏差。

若函數(shù)f(x)在包含x0的某個閉區(qū)間[a,b]上具有n階導數(shù),且在開區(qū)間(a,b)上具有(n+1)階導數(shù),則對閉區(qū)間[a,b]上任意一點x,成立下式:


其中,

表示f(x)的n階導數(shù),等號后的多項式稱為函數(shù)f(x)在x0處的泰勒展開式,剩余的Rn(x)是泰勒公式的余項,是(x-x0)n的高階無窮小

實際應用中,泰勒公式需要截斷,只取有限項,一個函數(shù)的有限項的泰勒級數(shù)叫做泰勒展開式。泰勒公式的余項可以用于估算這種近似的誤差。

?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內(nèi)容

  • C語言的學習要從基礎開始,這里是100個經(jīng)典的算法-1C語言的學習要從基礎開始,這里是100個經(jīng)典的 算法 題目:...
    Poison_19ce閱讀 1,317評論 0 0
  • 來源: http://www.douban.com/group/topic/14820131/ 調(diào)整變量格式: f...
    MC1229閱讀 7,141評論 0 5
  • 凸集和凸函數(shù)的定義: 凸集: 數(shù)學定義:集合X 屬于R^n(即其中的元素x有n維,每維都在R實數(shù)空間)如果X是凸集...
    dlongry閱讀 3,673評論 0 0
  • (轉(zhuǎn)自http://www.douban.com/group/topic/14820131/,轉(zhuǎn)自人大論壇) 調(diào)整...
    f382b3d9bdb3閱讀 10,997評論 0 8
  • 最后一天,似乎是要寫我的搭檔。 我的搭檔堅持寫作,每天。寫作的時候似乎進入很自由的流動狀態(tài)。 能夠流暢的寫出很多腦...
    吉光片羽_f970閱讀 124評論 0 0

友情鏈接更多精彩內(nèi)容