機器學(xué)習(xí)的發(fā)展階段

1:推薦書目:周志華<機器學(xué)習(xí)西瓜書>,李航教授<統(tǒng)計學(xué)習(xí)方法>,這兩本書都用簡單的方式介紹了一批重要并且常用的機器學(xué)習(xí)算法

機器學(xué)習(xí)所發(fā)展的幾個重要的階段:

1符號學(xué)習(xí),在人工智能發(fā)展的早期,機器學(xué)習(xí)的技術(shù)內(nèi)涵基本都是符號學(xué)習(xí),轉(zhuǎn)折點發(fā)現(xiàn)在二十世紀(jì)九十年代,統(tǒng)計機器學(xué)習(xí)的出現(xiàn),最近幾年的人工智能在很大程度上都集中在與統(tǒng)計學(xué)和大數(shù)據(jù),并且很多的科學(xué)家都相信,未來的機器學(xué)習(xí)的未來都將要轉(zhuǎn)向更加基本的認(rèn)知科學(xué)研究,但是這將需要更長的時間進(jìn)行探索.

2:統(tǒng)計機器學(xué)習(xí)并不會一帆風(fēng)順,統(tǒng)計機器學(xué)習(xí)算法都是基于樣本數(shù)據(jù)獨立同分布的假設(shè).但是很多人提出了獨立同分布的條件對于機器學(xué)習(xí)來說是必須的么?不過我反而認(rèn)為前些時候出現(xiàn)的遷移學(xué)習(xí)會給這個問題帶來一定的解決方法.盡管現(xiàn)在遷移學(xué)習(xí)還需要要求雙方需要具備獨立同分布的條件,但是不同分步之間的遷移學(xué)習(xí)也許會提前出現(xiàn).

3:最近出現(xiàn)的比如深度學(xué)習(xí)和無終止學(xué)習(xí)等等,在社會上有很多的關(guān)注,其實有很多的學(xué)者們都在認(rèn)為深度學(xué)習(xí)掀起的熱潮都大于了它本身的貢獻(xiàn).并且目前現(xiàn)狀在理論和技術(shù)上并沒有太大的創(chuàng)新的前提下,只不過是由于硬件的技術(shù)的革命,計算機的速度大大的提高了,從而使人們有可能采用比原來更加復(fù)雜的算法,獲得比之前更加精細(xì)的結(jié)果.并且現(xiàn)在深度學(xué)習(xí)主要適合用于神經(jīng)網(wǎng)絡(luò),在現(xiàn)在各種機器學(xué)習(xí)的算法百花齊放的今天,其實它的應(yīng)用范圍還是比較有限的,并且現(xiàn)在統(tǒng)計學(xué)習(xí)的思想在機器學(xué)習(xí)的領(lǐng)域依舊被充分地使用.

2:計算機利用經(jīng)驗

在計算機利用系統(tǒng)中,經(jīng)驗通常用數(shù)據(jù)的形式存在,因此機器學(xué)習(xí)所研究的主要內(nèi)容,是關(guān)于計算機在數(shù)據(jù)中產(chǎn)生模型的算法,即學(xué)習(xí)算法,擁有了學(xué)習(xí)算法,當(dāng)我們把我們的經(jīng)驗數(shù)據(jù)提供給他,模型就會給我們提供相應(yīng)的判斷.如果說計算機科學(xué)是研究關(guān)于算法的學(xué)問,那么機器學(xué)習(xí)可以說是關(guān)于學(xué)習(xí)算法的學(xué)問.而模型就可以泛指從數(shù)據(jù)中學(xué)到的結(jié)果,有文獻(xiàn)用模型指全局性的結(jié)果,而用模式指局部性結(jié)果(例如一條結(jié)果)

Mitchell提出了一個更加可以形式化的定義:

假設(shè)可以用P來評估計算機程序在某種任務(wù)類T中的任務(wù)獲得性能的改善,則我們就說關(guān)于T和P,該程序?qū)τ贓進(jìn)行了學(xué)習(xí).

經(jīng)典的術(shù)語的集合:

1:數(shù)據(jù)集:記錄的集合稱為數(shù)據(jù)集,其中每條記錄是關(guān)于一個事件或者對象的一個描述,可以稱之為事例或者樣本,反映事物或者對象在某些方面的表現(xiàn)或者性質(zhì)的事項就可以稱為屬性或者特征,屬性張成的空間可以屬于屬性空間,樣本空間或者輸入空間.比如我們把三個屬性作為三個坐標(biāo)軸,則他們可以張成一個可以用于描述這件實物的一個三維的空間,每個屬性構(gòu)成的量其實都可以找到自己的坐標(biāo)位置.由于在空間中每一個點都對應(yīng)一個坐標(biāo)向量,因此我們可以把一個事例成為特征向量.

2:有時候整個數(shù)據(jù)集也可以稱為一個樣本,因為他們也可以看做一個樣本空間的一個采樣,同時可以通過上下文的判斷可以看出樣本是單個事例還是數(shù)據(jù)集.

3:從數(shù)據(jù)中學(xué)得模型的過程叫做學(xué)習(xí)或者訓(xùn)練,這個過程通過執(zhí)行某個學(xué)習(xí)算法完成.訓(xùn)練過程中使用的數(shù)據(jù)叫做訓(xùn)練數(shù)據(jù),其中的每個樣本稱為訓(xùn)練樣本.訓(xùn)練樣本組成的集合稱為訓(xùn)練集,學(xué)得模型對應(yīng)了數(shù)據(jù)存在的某種假設(shè)依據(jù),因此也稱為假設(shè).這種潛在規(guī)律自身則成為真相或者真事.學(xué)習(xí)過程就是為了找出或者逼近真相,模型有時候稱為學(xué)習(xí)器,可以看做學(xué)習(xí)算法給定數(shù)據(jù)和參數(shù)空間的實例化.(訓(xùn)練樣本有時候也稱為訓(xùn)練事例)

4:學(xué)習(xí)算法通?？梢杂袇?shù)需設(shè)置,使用不同的參數(shù)值或者訓(xùn)練數(shù)據(jù),將產(chǎn)生不同的結(jié)果,關(guān)于事例結(jié)果的信息,例如好瓜,可以稱之為標(biāo)簽,擁有了標(biāo)記信息的示例,可以稱之為樣例.一般的(Xi Yi)表示為第i個樣例,其中Yi是屬于Y的示例Xi的標(biāo)記,則Y是所有標(biāo)記的集合,也稱為標(biāo)記空間或者輸出空間.如果我們想要預(yù)測離散值,比如說”好人””壞人”,這樣的學(xué)習(xí)任務(wù)就可以稱之為分類,想要預(yù)測的是連續(xù)值,比如西瓜成熟度0.7 0.6之類的,這樣的學(xué)習(xí)任務(wù)就叫做回歸.對于只涉及兩個級別的’二分類’任務(wù),一般稱一個類是正類,另一個類是反類,當(dāng)涉及多個級別的時候,就可以稱為多分類.

5:學(xué)得模型之后,使用其進(jìn)行預(yù)測的過程稱為測試,被預(yù)測的樣本稱為測試樣本,例如在學(xué)得f以后,對應(yīng)測試列x,可以得到測試項目y=f(x).我們還可以對這些樣本進(jìn)行聚類,即將訓(xùn)練集中的樣本分成若干個組,這樣每個樣本就可以稱為一個簇,這樣自動形成的簇可能會對應(yīng)一些潛在的概念的劃分.在這樣的學(xué)習(xí)過程中,可以有助于我們了解數(shù)據(jù)的內(nèi)在的規(guī)律,更為深入的分析建立數(shù)據(jù)的基礎(chǔ).并且在聚類學(xué)習(xí)中,一些概念我們是不知道的,而且學(xué)習(xí)過程中使用數(shù)據(jù)樣本通常不具有標(biāo)記信息.

根據(jù)訓(xùn)練數(shù)據(jù)是否具有標(biāo)記信息,學(xué)習(xí)任務(wù)大概可以分為下列兩大類,”監(jiān)督學(xué)習(xí)”和”無監(jiān)督學(xué)習(xí)”,分類和回歸是前者的代表,而聚類是后邊的代表作.而監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)也稱為有導(dǎo)師學(xué)習(xí)和無導(dǎo)師學(xué)習(xí),更加需要注意的是,機器學(xué)習(xí)的目的是使學(xué)得的模型可以更好的適用于新的樣本,而不僅僅是在這些訓(xùn)練樣本上的工作做得很好;即便對于聚類這樣的無監(jiān)督學(xué)習(xí)任務(wù),我們也希望學(xué)得的簇可以適用于沒在訓(xùn)練集出現(xiàn)的樣本,學(xué)得的模型可以適用于學(xué)得新樣本的能力,稱為泛化,因此具有強烈的泛化能力的模型可以很好的適用于整個樣本空間.盡管有時候訓(xùn)練集通常只是訓(xùn)練樣本中一個很小的采樣,我們?nèi)匀幌Ｍ麄兡芎芎玫姆从吵稣麄€樣本空間的特性,否則就很難在訓(xùn)練集上學(xué)得的模型能在整個樣本空間上都工作的很好.一般而言,訓(xùn)練樣本越多,我們能得到的關(guān)于未知分步的信息也就越多,這樣也就越有可能通過學(xué)習(xí)獲得具有強烈泛化能力的模型.

6:歸納學(xué)習(xí):歸納和演繹是科學(xué)推理的兩個基本手段,前者是特殊到一般的泛化過程,即從具體的事實歸納出一般性的規(guī)律,而后者則是從一般到特殊的特化過程,即從基礎(chǔ)原理推理到具體的狀況.就好比從樣例中進(jìn)行學(xué)習(xí),就是一個很顯然的歸納的過程,這也就是所謂的歸納學(xué)習(xí).

歸納學(xué)習(xí)也有狹義和廣義之分,廣義的歸納學(xué)習(xí)大體相當(dāng)于從樣例中學(xué)習(xí),而狹義的歸納學(xué)習(xí)則要求從訓(xùn)練集中學(xué)得概念,因此也稱為概念學(xué)習(xí)和概念形成.概念模型中最基本的是布爾概念模型.

7:假設(shè)區(qū)間學(xué)習(xí):我們可以把學(xué)習(xí)的過程看做一個在所有假設(shè)組成的空間中進(jìn)行搜索的過程,搜索目標(biāo)是找到與訓(xùn)練集匹配的假設(shè),即能夠?qū)⒂?xùn)練集中的樣本判斷正確的假設(shè).假設(shè)的表示一旦確定,假設(shè)空間及其規(guī)模大小就可以確定了.對于如何對假設(shè)空間進(jìn)行搜索,其實有很多的策略,例如自頂向下,從一般到特殊,或者從下到頂,從特殊到一般,搜索過程可以不斷刪除與正例不一致的假設(shè),和或者與反例一致的假設(shè),最終將會獲得與訓(xùn)練集數(shù)據(jù)一致的假設(shè)(即對所有訓(xùn)練數(shù)據(jù)樣本能夠進(jìn)行正確判斷的假設(shè)),這就是我們學(xué)得的結(jié)果.但是在現(xiàn)實過程中我們會面臨很多的假設(shè)空間,但是學(xué)習(xí)過程是針對很多的有限樣本訓(xùn)練集進(jìn)行的,因此可能有多個假設(shè)和訓(xùn)練集一致的假設(shè)集合,我們稱之為版本空間.

8:歸納偏好:通過學(xué)習(xí)得到的模型對應(yīng)了假設(shè)空間的一個假設(shè),在機器學(xué)習(xí)算法中對于某種類型假設(shè)的偏好,稱為歸納偏好,(注意:盡可能特殊”適用情形可能少”,盡可能一般即”適用情形盡可能多”),對于屬性的選擇,也稱為特征選擇,但是機器學(xué)習(xí)中特征選擇仍是基于訓(xùn)練樣本的分析進(jìn)行的,但是我們有時候也可以基于某種領(lǐng)域知識而產(chǎn)生歸納的偏好.

歸納偏好可以看做學(xué)習(xí)算法自身有一個可能很龐大的假設(shè)空間中對假設(shè)進(jìn)行啟發(fā)和價值觀,其實可以使用奧卡姆剃刀的原則,(如果有多個假設(shè)和觀察一致,則選哪個最簡單的哪個),事實上,歸納偏好對應(yīng)了學(xué)習(xí)算法本身所作出關(guān)于什么模型更好地假設(shè).在具體的現(xiàn)實問題中,這個假設(shè)是否成立,即算法的歸納偏好能否與問題相匹配,大多數(shù)直接決定了算法是否可以取得好的性能.

iM1Swpl