凸面鏡反射場(chǎng)景無(wú)監(jiān)督域適應(yīng)語(yǔ)義分割的一些問題

凸面鏡反射場(chǎng)景無(wú)監(jiān)督域適應(yīng)語(yǔ)義分割的一些問題

大家好，我是來(lái)自北京大學(xué)的石永杰同學(xué)，最近我們組的工作《Unsupervised Domain Adaptation for Semantic Segmentation of Urban Street Scenes Reflected by Convex Mirrors》

被IEEE Transactions on Intelligent Transportation Systems (T-ITS)接收，傳送門https://ieeexplore.ieee.org/document/9903282

在做這個(gè)工作的時(shí)候，遇到了一些問題，第一個(gè)問題是為什么需要UDA來(lái)解決這個(gè)問題？第二個(gè)問題是（包括審稿人也在問）：“凸面鏡作為光學(xué)成像里的一個(gè)基本器件，在光學(xué)設(shè)計(jì)領(lǐng)域已經(jīng)被充分地研究，并且有精確地物理建模，為什么要將凸面鏡成像的畸變分解為徑向畸變和透視畸變？”

這里要從無(wú)監(jiān)督域適應(yīng)（UDA）和針相機(jī)模型以及凸面鏡的成像規(guī)律說起。

關(guān)鍵詞

凸面鏡 語(yǔ)義分割 徑向畸變 畸變 無(wú)監(jiān)督域適應(yīng) 北京大學(xué)

無(wú)監(jiān)督域適應(yīng)

域適應(yīng)（Domain Adaptation）技術(shù)主要是解決分類器在測(cè)試的時(shí)候有偏差的問題，如下圖所示

[圖片上傳失敗...(image-f54ec3-1666185319052)]

域適應(yīng)技術(shù)分為三種setting，分別是全監(jiān)督域適應(yīng)，半監(jiān)督域適應(yīng)以及無(wú)監(jiān)督域適應(yīng)。全監(jiān)督域適應(yīng)要求目標(biāo)域所有的樣本都具有標(biāo)簽，半監(jiān)督則要求目標(biāo)域數(shù)據(jù)有部分標(biāo)簽。對(duì)于不同的任務(wù)往往需要不同的設(shè)定，對(duì)圖像分類任務(wù)而言，每張圖像給打一個(gè)標(biāo)簽，標(biāo)注的任務(wù)相對(duì)而言不是那么地繁重。但是對(duì)于語(yǔ)義分割任務(wù)則不同，Cityscapes數(shù)據(jù)集報(bào)告說每張Cityscapes里面的圖像需要1.5小時(shí)的標(biāo)注時(shí)間，成本可謂非常之高，因此對(duì)于無(wú)監(jiān)督域適應(yīng)而言，如果有大量的現(xiàn)成的圖像（源域圖像），和大量的目標(biāo)域無(wú)標(biāo)記的圖像，就能夠提升模型在目標(biāo)域的性能，這將會(huì)極大減少分割任務(wù)標(biāo)注的壓力。

對(duì)于凸面鏡這種新場(chǎng)景而言，如果用監(jiān)督學(xué)習(xí)的方式進(jìn)行訓(xùn)練，則需要大量的標(biāo)記數(shù)據(jù)，這顯然不太現(xiàn)實(shí)。在數(shù)據(jù)采集的過程中，我們?cè)诒本┐髮W(xué)校園內(nèi)采集，使用的是三腳架以及買的一些凸面鏡，北大的師弟幫忙拍攝采集；在標(biāo)注的過程也是，北京大學(xué)的師弟幫忙標(biāo)注，算了一下，每個(gè)人標(biāo)注一張數(shù)據(jù)，復(fù)雜的可能要花三個(gè)小時(shí)，簡(jiǎn)單的至少也要一個(gè)小時(shí)，工作量可見之大。

這也是為啥我們決定用無(wú)監(jiān)督域適應(yīng)這種方法來(lái)提升凸面鏡反射場(chǎng)景的分割精度。

針孔相機(jī)模型

針孔相機(jī)模型是計(jì)算機(jī)視覺的基礎(chǔ)，針孔相機(jī)模型的理論基礎(chǔ)是小孔成像，如下圖所示

[圖片上傳失敗...(image-fae35f-1666185319052)]

如果已知焦距和物距，實(shí)際上可以算出成像平面上的物體大小。

現(xiàn)有的很多公開數(shù)據(jù)集都已經(jīng)是標(biāo)定之后的圖像或者是徑向畸變程度很小的圖像，讀者拿到的圖像都符合或者是幾乎接近針孔相機(jī)模型所成的圖像的，如果想用針孔相機(jī)模型下拍攝到的圖像用來(lái)模擬鏡面反射的圖像，需要鏡面反射的過程能夠保持單光心的性質(zhì)，即空間中一點(diǎn)發(fā)射的光線經(jīng)過鏡面反射之后，其反向延長(zhǎng)線同樣地相交于一點(diǎn)。這對(duì)于平面鏡是顯然的，對(duì)于凸面鏡卻不是這樣（這里僅以常見的球面鏡為例）。

凸面鏡成像

[圖片上傳失敗...(image-3edfbf-1666185319052)]

對(duì)平面鏡而言，空間中的一點(diǎn)P發(fā)出的光線經(jīng)過反射，其反向延長(zhǎng)線相交于一點(diǎn)P^\prime，這里給出簡(jiǎn)單的證明。根據(jù)反射定理，可以得到\angle PA_2M=\angle MA_2P^\prime，而A_2M又垂直于PP^\prime，則\triangle PA_2M與\triangle P^\prime A_2M全等，因此有PM=PM^\prime，同樣可以證明在三角形\triangle PA_1M與\triangle P^\prime A_1M全等。所以他們相交于P^\prime這一點(diǎn)。

但是對(duì)于凸面鏡卻不是這樣。假設(shè)凸面鏡表面的形狀為球面，空間中的一點(diǎn)P距離凸面鏡球心O的距離為OP，球面凸面鏡的半徑為R，如上圖所示。從P點(diǎn)發(fā)出的入射光線沿著\alpha角入射到球面凸面鏡上，入射點(diǎn)為A，反向延長(zhǎng)反射光線，與光軸相交于P^\prime。如果凸面鏡能夠保持入射光束的單光心性，則同一位置不同光線（\alpha角不同）經(jīng)過凸面鏡反射后，其反向延長(zhǎng)線理應(yīng)匯聚于P^\prime點(diǎn)，否則，凸面鏡不能夠保持入射光束的單光心性。假設(shè)入射角與出射角為\theta，由于入射角與出射角相同，并且出射角與\angle P^\prime AO互為對(duì)頂角，因此\angle P^\prime AO=\theta。
根據(jù)正弦定理，對(duì)\triangle POA有：
\frac{\sin(\pi-\theta) }{OP} = \frac{\sin \alpha}{R}.\tag{1}
同時(shí)入射角\theta為\triangle PAO中\angle PAO的外角，因此有\angle APO+\angle AOP=\theta，\angle POA=\theta-\alpha，則可求出\angle AP^\prime O=\pi-2\theta+\alpha。對(duì)\triangle P^\prime OA有：
\frac{\sin \theta }{OP^\prime} = \frac{\sin \left(\pi-2\theta+\alpha\right)}{R}. \tag{2}
結(jié)合上面兩個(gè)式子，可以得到
OP^\prime = \frac{\sin \alpha}{\sin\left( 2\theta-\alpha\right)}OP.\tag{3}
在上式中，OP為常數(shù)。根據(jù)式1，\theta可用\alpha表示，并且\frac{\sin \alpha}{\sin\left( 2\theta-\alpha\right)}不可化為常數(shù)，因此OP^\prime與入射角\alpha密切相關(guān)，即凸面鏡反射并不能保持入射光束的單光心性質(zhì)。由相機(jī)模型是假設(shè)空間中的入射光線經(jīng)過小孔投射到成像平面，而凸面鏡并不能保持入射光束的單光心性，因此無(wú)法利用現(xiàn)有的正常圖像來(lái)嚴(yán)格模擬凸面鏡反射圖像，這也是為什么無(wú)法用現(xiàn)有的Cityscapes等語(yǔ)義分割數(shù)據(jù)集來(lái)嚴(yán)格模擬凸面鏡成像的原因。

總結(jié)

面向新場(chǎng)景時(shí)，因?yàn)闃?biāo)注工作量大，所以需要UDA。而利用現(xiàn)有的針孔相機(jī)模型拍攝的圖像無(wú)法嚴(yán)格模擬凸面鏡反射圖像，因此我們從直觀上將凸面鏡產(chǎn)生的形變分解為徑向畸變還有透視畸變，以此來(lái)模擬凸面鏡產(chǎn)生的變形，提升分割模型在目標(biāo)域的表現(xiàn)性能。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容