1. 1 統(tǒng)計學習

1. 統(tǒng)計學習研究的對象是數(shù)據(jù) (data) 。它從數(shù)據(jù)出發(fā)，提取數(shù)據(jù)的特征，抽象出數(shù)據(jù)的模型，發(fā)現(xiàn)數(shù)據(jù)中的知識，然后又回到對數(shù)據(jù)的分析與預測中去。
   統(tǒng)計學習關(guān)于數(shù)據(jù)的基本假設(shè)是同類數(shù)據(jù)具有一定的統(tǒng)計規(guī)律性，這是統(tǒng)計學習的前提。這里的同類數(shù)據(jù)是指具有某種共同性質(zhì)的數(shù)據(jù)。

2. 統(tǒng)計學習用于對數(shù)據(jù)的預測與分析，特別是對未知新數(shù)據(jù)的預測與分析。
   對數(shù)據(jù)的預測與分析是通過構(gòu)建 概率統(tǒng)計模型 實現(xiàn)的。
   統(tǒng)計學習總的目標： 就是考慮學習什么樣的模型和如何學習模型，以使模型能對數(shù)據(jù)進行準確的預測與分析，同時也要考慮盡可能地提高學習效率。

3. 統(tǒng)計學習的方法是基于數(shù)據(jù)構(gòu)建概率統(tǒng)計模型從而對數(shù)據(jù)進行預測與分析。
   統(tǒng)計學習由 監(jiān)督學習 (supervised learning) 、無監(jiān)督學習 ( unsupervised learning) 和強化學習 (reinforcement learning) 等組成。

4. 統(tǒng)計學習方法的三要素：模型 (model)、策略 (strategy) 和算法 (algorithm)

5. 實現(xiàn)統(tǒng)計學習方法的步驟如下:
   (1)得到一個有限的訓練、數(shù)據(jù)集合:
   (2) 確定包含所有可能的模型的假設(shè)空間，即學習模型的集合;
   (3) 確定模型選擇的準則，即學習的策略;
   (4) 實現(xiàn)求解最優(yōu)模型的算法，即學習的算法:
   (5) 通過學習方法選擇最優(yōu)模型:
   (6) 利用學習的最優(yōu)模型對新數(shù)據(jù)進行預測或分析。

1.2 統(tǒng)計學習的分類

基本分類

機器學習一般包括監(jiān)督學習、無監(jiān)督學習、強化學習。有時還包括半監(jiān)督學習、主動學習。

1. 監(jiān)督學習