最近由于需要在帶有標(biāo)注的VID視頻數(shù)據(jù)集上利用caffe工具訓(xùn)練模型，所以需要將該種類(lèi)型的原始數(shù)據(jù)文件轉(zhuǎn)換成為lmdb格式的數(shù)據(jù)文件。在可獲得的資料上可以查到SSD: Single Shot MultiBoxDetector，這種目標(biāo)檢測(cè)方法效果不錯(cuò)而且利用的是專(zhuān)門(mén)用來(lái)進(jìn)行視頻目標(biāo)檢測(cè)的數(shù)據(jù)集VOC2007/2012進(jìn)行數(shù)據(jù)處理的，和我所需要處理的數(shù)據(jù)格式類(lèi)似。所以首先簡(jiǎn)單的利用作者github上的文件進(jìn)行了復(fù)現(xiàn)，感覺(jué)該方法的處理效果不錯(cuò)，速度相比f(wàn)ast-rcnn快但還是較慢，我使用的顯卡是gtx950m顯卡，測(cè)試中速度大概FPS=8左右，還是較慢。而且當(dāng)檢測(cè)的圖片/視頻文件內(nèi)目標(biāo)增多時(shí)，出現(xiàn)目標(biāo)丟失/漏檢的情況比較多。。。下面是實(shí)驗(yàn)的過(guò)程：

• 在~/work/ssd/目錄下clone作者github下的caffe文件包

   git clone https://github.com/weiliu89/caffe.git
   cd caffe
   git checkout ssd(出現(xiàn)“分支”則說(shuō)明copy-check成功...作者caffe目錄下有三個(gè)分支fcn/master/ssd,利用git checkout來(lái)切換分支，否則只有master目錄下的文件)

• 配置caffe所需文件進(jìn)行編譯

cp Makefile.config.example Makefile.config

根據(jù)電腦具體的配置修改Makefile.config(cudnn，opencv pythonpath等設(shè)置)具體可以參考Ubuntu16.04+CUDA8.0+caffe配置里面的Makefile.config和Makefile的設(shè)置。

make -j 8 all
make -j 8 runtest
make -j 8 pycaffe  #model是通過(guò)python編寫(xiě)的文件進(jìn)行訓(xùn)練的

tips:如果在make all的時(shí)候出現(xiàn)/src/caffe/util/xxx.cpp報(bào)錯(cuò)，如io.cpp,bbox_util.cpp等報(bào)錯(cuò)問(wèn)題，根據(jù)查到的一些資料顯示可能是作者在生成ssd的時(shí)候用的是opencv2.0,而此處我用的是opencv3.2，這兩個(gè)版本的opencv有很多不同的地方導(dǎo)致了這個(gè)錯(cuò)誤，[Opencv 3.0環(huán)境下編譯SSD的問(wèn)題以及解決方法。]。所以我按照下面的這種方法Ubuntu 16.04 + Opencv3.0 + gtx1080 + caffe(SSD) + ROS(Kinetic)可以配置成功：

cd ~/caffe 
make clean
mkdir build 
cd build 
cmake .. 
make all -j16 
make install 
make runtest 
make pycaffe

• 下載預(yù)訓(xùn)練模型
  鏈接：http://pan.baidu.com/s/1miDE9h2
  密碼：0hf2
  將它放入caffe/models/VGGNet/目錄下
• 下載VOC2007和VOC2012數(shù)據(jù)集，放到/home/data(需要在home目錄下生成data文件夾)

cd ..
   mkdir data
   cd data/

• 下載數(shù)據(jù)集

wget  http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar

然后解壓數(shù)據(jù)集，這樣數(shù)據(jù)就準(zhǔn)備好了，注意這里選擇講數(shù)據(jù)放置在/home/data內(nèi)是因?yàn)橛?xùn)練時(shí)的腳本文件內(nèi)的數(shù)據(jù)路徑是這里，也可以不放置在該文件夾內(nèi)，但是需要在腳本文件內(nèi)更新數(shù)據(jù)的路徑。

tar -xvf VOCtrainval_11-May-2012.tar
tar -xvf VOCtrainval_06-Nov-2007.tar
tar -xvf VOCtest_06-Nov-2007.tar

將圖片轉(zhuǎn)化為L(zhǎng)MDB文件，用于訓(xùn)練。注意這兩個(gè)文件對(duì)于我們訓(xùn)練ilsvrc數(shù)據(jù)集很有幫助！

   cd ..
   cd caffe/
   ./data/VOC0712/create_list.sh  
   ./data/VOC0712/create_data.sh

• 開(kāi)始訓(xùn)練

python examples/ssd/ssd_pascal.py

經(jīng)過(guò)120000次的訓(xùn)練之后，我們可以得到所需要的帶有超參數(shù)的訓(xùn)練model。

I0505 06:15:46.453992  7203 solver.cpp:596] Snapshotting to binary proto file models/VGGNet/VOC0712/SSD_300x300/VGG_VOC0712_SSD_300x300_iter_120000.caffemodel
I0505 06:15:47.089884  7203 sgd_solver.cpp:307] Snapshotting solver state to binary proto file models/VGGNet/VOC0712/SSD_300x300/VGG_VOC0712_SSD_300x300_iter_120000.solverstate
I0505 06:15:48.236326  7203 solver.cpp:332] Iteration 120000, loss = 4.45728
I0505 06:15:48.236359  7203 solver.cpp:433] Iteration 120000, Testing net (#0)
I0505 06:15:48.236398  7203 net.cpp:693] Ignoring source layer mbox_loss
I0505 06:24:21.998587  7203 solver.cpp:546]     Test net output #0: detection_eval = 0.570833
I0505 06:24:22.015635  7203 solver.cpp:337] Optimization Done.
I0505 06:24:22.028441  7203 caffe.cpp:254] Optimization Done.

• 模型測(cè)試
  （1）圖片數(shù)據(jù)集上測(cè)試

python examples/ssd/score_ssd_pascal.py

輸出為：

I0505 10:32:27.929069 16272 caffe.cpp:155] Finetuning from models/VGGNet/VOC0712/SSD_300x300/VGG_VOC0712_SSD_300x300_iter_120000.caffemodel
I0505 10:32:28.052016 16272 net.cpp:761] Ignoring source layer mbox_loss
I0505 10:32:28.053956 16272 caffe.cpp:251] Starting Optimization
I0505 10:32:28.053966 16272 solver.cpp:294] Solving VGG_VOC0712_SSD_300x300_train
I0505 10:32:28.053969 16272 solver.cpp:295] Learning Rate Policy: multistep
I0505 10:32:28.197612 16272 solver.cpp:332] Iteration 0, loss = 1.45893
I0505 10:32:28.197657 16272 solver.cpp:433] Iteration 0, Testing net (#0)
I0505 10:32:28.213793 16272 net.cpp:693] Ignoring source layer mbox_loss
I0505 10:42:04.390517 16272 solver.cpp:546]     Test net output #0: detection_eval = 0.570833
I0505 10:42:04.414819 16272 solver.cpp:337] Optimization Done.
I0505 10:42:04.414847 16272 caffe.cpp:254] Optimization Done.

可以看到圖片數(shù)據(jù)集上的檢測(cè)結(jié)果為57.0833%。利用caffe/examples/ssd_detect.ipynb文件可以用單張圖片測(cè)試檢測(cè)效果(注意文件內(nèi)加載文件的路徑，如果報(bào)錯(cuò)修改為絕對(duì)路徑)：

fish-bike.png

cat.png

horse-race.png

（2）視頻數(shù)據(jù)測(cè)試

python examples/ssd/ssd_pascal_video.py 

可得到測(cè)試結(jié)果：

detect1

detect2

detect3.png

通過(guò)上面的檢測(cè)結(jié)果可以看出測(cè)試的準(zhǔn)確性還可以，但是也存在漏檢的情況，而且速度也只有FPS=8左右。

（3）攝像頭上測(cè)試：

 python examples/ssd/ssd_pascal_webcam.py

因此通過(guò)SSD的方法可以用來(lái)訓(xùn)練和檢測(cè)交通標(biāo)志，文本檢測(cè)或人臉檢測(cè)等等，也可以用此方法來(lái)講帶有標(biāo)記信息的視頻目標(biāo)檢測(cè)數(shù)據(jù)集進(jìn)行轉(zhuǎn)換，生成所需要的lmdb格式的數(shù)據(jù)文件。