1、人臉微表情識別綜述，徐峰，自動化學報，2017.3
（1）微表情的特點：持續(xù)時間短，1/25s到1/3s的時間，動作幅度小，不會在上半臉和下半臉同時出現(xiàn)
（2）兩個研究方向：
1）一種是通過構建計算機視覺特征，尋找高效的表達形式描述微表情并進行模型學習；
2） 另一種是針對微表情本身的特點， 尋找合適的學習算法進行模型的構建。
（3）識別過程：對于面部圖片序列，先檢測微表情，再對微表情分類；對于視頻人臉檢測，尋找微表情進行階段劃分，標注起始點、定點和終止點
（4）微表情數(shù)據(jù)集：芬蘭Oulu大學的SMIC和SMIC2，中科院的CASME和CASME 2，美國南佛羅里達大學的USF-HD，日本筑波大學的Polikovsky dataset
（5）數(shù)據(jù)集的要點：幀率（普通攝像機、高速攝像機、紅外攝像機）、誘導方式（人不能主觀模擬微表情）、標注方式（情緒分類、FACS（面部編碼系統(tǒng)是一種客觀的基于３８個基本元素組合的量化面部運動方法。這些基本元素包含３２個運動單元（AUs）和６個運動描述符（ADs）））
（6）抽取特征的方法：
1）LBP-TOP（Local Binary Pattern on Three Orthogonal Plane）
2）STCLQP（Spatial temporal completed local quantized pattern）
3）六交點局部二值模式 (Local binary pattern with six intersection points, LBP-SIP)
4）基 于 Delaunay 三 角 化 的時域編碼模型(Delaunay-based temporal codingmodel, DTCM)
5）基于時空梯度特征的識別方法
6）基于 Gabor 特征的識別方法
7）基于顏色空間變換的特征增強
8）時空局部二值模式積分圖 (Spatiotemporal local binary pattern with integral projection, STLBP-IP)
9）面部動力譜特征(Facial dynamics map, FDM)
10）主方向平均光流特征(Main directional mean optical flow feature, MDMO)
11）基于判別式張量子空間分析的識別方法
12）基于稀疏張量典型相關性分析的識別方法
13）基于 MMPTR 的識別方法
（7）微表情分類方法：
1）基于 CBP-TOP 的分類方法
2）基于 Riesz 小波變換的識別方法
3）基于運動模式放大的分類方法：歐拉視頻放大技術(Eulerian video magniflcation, EVM)
4）基于特定點跟蹤的特定動作單元識別
（8）微表情檢測方法：在此過程中需要減小由于面部移動所造成的誤差
1）基于幾何形變建模的檢測方法
2）基于特征差異的檢測方法
3）基于光流場積分的階段分割方法
4）基于 Strain Tensor 的檢測方法
（9）結果：
2、Recognising Spontaneous Facial Micro-expressions, Tomas Pfister，2011
（1）算法過程：
1）Active Shape Model, ASM: 物體形狀的統(tǒng)計模型，經(jīng)過迭代變形以適應對象的一個例子。
2）Local Weighted Mean, LWM: 做特征點的局部加權平均計算
3）spatiotemporal local texture descriptors, SLTD: 用于視頻中的特征提取，滑動窗口來提取特征
4）LBP-TOP: 用于特征提取
5）MKL: 用于提升分類結果
6）MKL-PHASE 1 & MKL-PHASE 2
3、Spontaneous Facial Micro-expression Analysis using Spatiotemporal Completed Local Quantized Patterns，Xiaohua Huang，NeuroComputing，2015.10
（1）摘要：
1）STCLQP提取了三個有趣的信息，包括sign，magnitude和orientation component
2）向量量化和碼本選擇（圖像編碼）
3）discriminative codebooks用于三個信息的提取和融合
（2）優(yōu)點：將 STCLQP 用于微表情識別的優(yōu)點在于考慮更多信息, 但這不可避免地引入了高維度, 使用向量量化的技術一定程度上可以緩解這一問題
4、LBP with six intersection points: reducing redundant information in LBPTOP for micro-expression recognition，Yandan Wang，ACCV，2015.4
這項工作的主要改進就是降低了特征的維度，提高了特征抽取的效率
5、A Delaunay-Based Temporal Coding Model for Micro-expression Recognition，Zhaoyu Lu，ACCV，2014
引入了主觀表觀模型 (AAM) 和 Delaunay 三角化對人臉進行區(qū)域的劃分, 只編碼含有重要信息的區(qū)域, 理論上識別能力很強. 但是在所有圖像上使用AAM 進行標注可能面臨標注結果不穩(wěn)定的問題, 從而破壞后續(xù)處理的有效性
6、Facial micro-expressiondetection in hi-speed video based on facial action coding system (FACS)，Polikovsky S，IEICE Transactions on Information and Systems，2013
使用一種梯度特征描述面部的時空局部動態(tài)
1）使用主觀形狀模型定位人臉關鍵點, 根據(jù)常用 FACS 編碼把人臉分割為 12 個區(qū)域
2） 對每個區(qū)域的圖像進行一些預處理, 包括歸一化和平滑處理
3）上述過程得到預處理完畢的 12 個時空塊, 每個塊對應一個面部局部區(qū)域.
7、Microexpression Identification and Categorization Using a Facial Dynamics Map，F(xiàn)eng Xu，IEEE Transactions on Afiective Computing，2016
1）著重于解決人臉移動造成的識別問題。利用光流對像素級別的微表情序列進行特征提取。
2）以光流場為描述微表情運動模式的基礎特征，并進一步提取更精簡表達的形式，提出了面部動力譜特征。其瓶頸在于稠密光流場的計算時間比較長， 不適合做實時、 大規(guī)模的微表情識別
8、Face recognition and micro-expression recognition based on discriminant tensor subspace analysis plus extreme learning machine，Wang S J，Neural Processing Letters, 2014, 39(1): 25-43
將微表情看作三維時空中的張量（圖像尺寸 * 幀數(shù)），通過判別式的子空間學習方法學習最優(yōu)的特征表達，然后使用極限學習機進行模式分類。
9、Wang S J, Yan W J, Sun T K, Zhao G Y, Fu X L. Sparse tensor canonical correlation analysis for micro-expression recognition. Neurocomputing, 2016, 214: 218-232
通過張量表示微表情序列及其LBP 特征, 并在張量上進行典型相關性分析 (Sparse tensor canonical correlation analysis)，學習微表情序列本身與其LBP 特征的關系。將兩種變換后的表達作為最終特征， 并利用最近鄰算法進行分類, 性能取得了進一步的提升
8和9分類的準確率都不超過50%。
10、Wang S J, Yan W J, Zhao G Y, Fu X L, Zhou C G.
Micro-expression recognition using robust principal component analysis and local spatiotemporal directional features.
Computer Vision | ECCV 2014 Workshops. Switzerland: Springer International Publishing, 2014
通過 RPCA 將微表情分解成靜態(tài)面部圖像和動態(tài)微表情過程。利用使用一種改進的算子局部時空方向特征提取微表情的動態(tài)特征，使用SVM進行分類。準確率為60%+。
11、Ben X Y, Zhang P, Yan R, Yang M Q, Ge G D.
Gait recognition and micro-expression recognition based on maximum margin projection with tensor representation.
Neural Computing and Applications, 2015, 127(3): 1-18
把微表情圖像序列和步態(tài)序列看作三階張量，并尋找最優(yōu)投影矩陣。試圖優(yōu)化類間拉普拉斯散度與類內(nèi)拉普拉斯散度之差。使用MPCA作為預處理，在原高維度空間中找出一種合適的線性變換做最優(yōu)矩陣投影，再使用KNN做分類。準確率為80.2%。
12、總結：
1）目前的方法主要是對微表情圖片特征的提取（如果是視頻）、識別和分類進行研究。
2）識別主要是對微表情圖片進行切割、區(qū)域劃分+光流場、圖像積分、圖像編碼、特征點定位等方法進行操作。然后選擇特定方法進行分類。
3）同時包括圖片的預處理，主要是降噪濾波。
4）識別精度由于訓練集的不同無法統(tǒng)一定義，還有評判標準的不同也無法準確判定。大致在60%-80%（自稱），30%-80%（他稱）
13、畢設：
（1）分塊LBP-TOP特征提取：提取LBP特征，采用 uniform code 編碼的話，會生成一個 59 維的數(shù)組，記錄著 LBP 的直方圖信息，那么 LBP-TOP特征，在三個正交平面都提取LBP，最終會生成一個 3*59的數(shù)組，再乘表情的塊數(shù)就是整個表情序列的特征維度。
（2）將（1）中的特征做一定的矩陣轉換放入CNN中進行訓練，測試集也做對應的預處理，使用softmax分類器進行分類
（3）對比試驗：
1）不提取特征直接放進CNN
2）提取LBP-TOP特征，使用其他分類方法（如組稀疏最小二乘回歸、SVM等）進行對比
3）與其他人工作進行對比
.
