好久沒寫博客了,寫一波。此為umich eecs504的第二課筆記。
圖像分類
完美圖像
完美圖像(perfect image)是連續(xù)圖形,完美圖像由一個物理過程所產(chǎn)生。
將這個物理過程用I所表示,他們代表了從平面上的點到一個數(shù)字的映射,即
Remark:
Remark: 抽象后我們可以將定義域看作超平面上的點,其維度可以超過2 。如此,哦我們可以將它們定義成一個映射:
由所經(jīng)受的物理過程所決定
Remark: 完美圖像僅在無法取樣的時候存在抽象化。
例子:朗伯模型(Lambertian Image)
朗伯模型是一個經(jīng)典的漫反射模型。朗博模型中光的反射量由入射角的余弦角所決定。
考慮一個點 在朗伯表面上,其對此表面的法向量
。入射角的方向是
。 此時反射可以寫作:
其中是一個常量,用于描述材料屬性。
仍和的反射光與我們的圖像平面相交時,都會引起我們的完美圖像
其中P投影函數(shù),I(u)是投影的能量
問題:朗伯模型的缺點是什么?
朗伯模型難以對光滑的表面,比如金屬,進(jìn)行建模。此時我們需要Phong模型。

數(shù)字圖像
雖然我們不能直接獲得完美圖像,但是我們可以通過電子設(shè)備將其轉(zhuǎn)換之。如此做,我們可以通過量化和取樣完美圖像來獲得數(shù)字圖像。
定義:數(shù)字圖像是取樣和量化完美圖像所獲得。它們展現(xiàn)出從點到非負(fù)自然像素(non-negative natural pixels)到自然數(shù)的映射
Remark:數(shù)字化是一個投影()
Remark:“取樣”指的是坐標(biāo)值的數(shù)字化,“量化”指的是(能量,亮度)強(qiáng)度值的數(shù)字化。
Remark:取樣密度由傳感器的物理限制所約束
Remark:量化深度由特殊的硬件所決定。8bit的量化廣泛應(yīng)用于數(shù)字化的圖像。
Remark: 在特定的數(shù)字化情境下(可能指Bayer pattern)完美圖像被用于梳理感興趣的信號。
數(shù)字圖像建模
對數(shù)字圖像的數(shù)學(xué)解釋
- 一個從像素到數(shù)字的離散函數(shù)
- 作為對于原來完美圖像的一個近似,我們對一個函數(shù)的值域和定義域進(jìn)行了一個泛化,并且用函數(shù)的形式呈現(xiàn)出來。(We generalize domain and range of this function to once again consider a continuous image, albeit an approximate one to our original perfect image,這句話有點離譜)
定義:一個離散圖像是一個數(shù)字圖像的自然數(shù)的數(shù)字型概述。它獲取數(shù)字圖像中的整數(shù)像素位置并且將其映射到整數(shù)像素值上。
Remark:它可以表示更高維的圖像,比如(視頻),并且值域維度也可以更高,比如
(三色圖像)。
Remark:我們將一個圖像的值于的整數(shù)的子集稱作
例子:Potts 模型
Potts模型是一個離散圖像模型。Potts模型最初在統(tǒng)機(jī)物理學(xué)中作為雙態(tài)化模型(two-state Ising model)的推廣而派生出來的。它假定了一個分段常熟圖像信號。對于大小為的圖像,我們將其寫作能量泛函(energy functional)。
是一個建模常數(shù),最初與所研究的材料的物理性質(zhì)有關(guān),我們忽略了區(qū)域上的邊界條件
是指示器函數(shù)。根據(jù)Potts模型的定義,我們發(fā)現(xiàn)模型的能量正比于橫縱像素的變化。當(dāng)圖像
由大的恒定取與,他將具有相應(yīng)的能量。
定義:一個連續(xù)圖像可以將離散圖像泛化(generalize)為定義域與值域。
Remark:對于離散圖像的相似的定義域和值于的泛化可以用于連續(xù)模型
Remark:離散與連續(xù)混合的表現(xiàn)是非常常見的
Remark:插值。通過數(shù)字化過程,最初的完美圖像已經(jīng)被量化到整數(shù)坐標(biāo)了。為了研究連續(xù)圖形并分析,我們需要不斷地對非整數(shù)坐標(biāo)進(jìn)行插值。
圖像操作
在圖像的函數(shù)解釋下,我們可以用數(shù)學(xué)的角度去處理圖像。
在圖像的函數(shù)解釋下,圖像的三個主要操作:
- 空間范圍操作(Spatial Range Operation)如計算圖像所有強(qiáng)度值的和
- 范圍映射操作(Range map operation)比如計算圖的差別
- 定義域操作或幾何變換比如平移和旋轉(zhuǎn)
空間范圍操作
空間范圍操作講一個區(qū)域內(nèi)所有信息集合起來,將一個圖像的區(qū)域定義成 。其中W代表一張圖像中的窗口(windows)。
定義:一個空間范圍操作是一個講一張圖映射到一個實數(shù)的函數(shù)
其中為圖像本身。
Remark:我們使用縮寫來表示定義域由
所截取的新圖,這種新圖也叫子圖(sub-image),或者image patch。
Remark:我們可以講當(dāng)作一種函數(shù),當(dāng)
時,這種函數(shù)講像素映射到
。我們可以將mask應(yīng)用在圖像上。在空間范圍操作應(yīng)用之前,我們也可以基于窗口
在函數(shù)
上實現(xiàn)特殊的定義域。
Remark:一個空間范圍操作是線性的當(dāng)
與
是任意常標(biāo)量。
Remark:空間范圍操作可以在圖像領(lǐng)域中被組合去組成復(fù)雜的操作符。
范圍映射操作
范圍映射擦歐總作用于圖像值域,他們將單個操作作用域整個圖像域
定義:一個范圍映射操作對于圖像
來說,是一個函數(shù)
作用域圖像定義域
的每一個空間中,范圍映射操作會產(chǎn)生一個新的圖像。
圖像
procedure GENERIC_RANGE_MAP_OPERATOR:
foreach pixel s do
? let be the window into
at centered at s
?
? end for
end procedure
Remark:范圍映射操作的輸出集是實數(shù)集。實際操作上,它常被放寬到實數(shù)或者其他的范圍。
Remark:范圍映射操作通常被用于一個被稱作強(qiáng)度轉(zhuǎn)換(intensity transformations)的像素窗口。文獻(xiàn)中存在許多可能的強(qiáng)度變換 (very many possibly intensity transformations exist in the literature,不會翻譯)并且包括了操作符比如直方圖均衡化(histogram equalization),線性放大(linear scaling)或者log轉(zhuǎn)換等。
例子單像素范圍映射強(qiáng)度轉(zhuǎn)換。一個強(qiáng)度轉(zhuǎn)換的例子是對負(fù)圖像的轉(zhuǎn)換。每一個新像素的值是輸入值的負(fù)值。
Remark:一個特殊的范圍映射例子是映射到二進(jìn)制像素而不是實數(shù):
對于二進(jìn)制圖像。
例子二進(jìn)制函數(shù)的范圍映射
考研率一個二進(jìn)制閾值操作符。在一個確定的范圍對每一個像素窗口,
選擇像素值
。
或在更大的窗口中使用空間范圍操作符,比如:
Remark:在一個范圍操作符中,空間范圍操作在一個大窗口將應(yīng)用相同的操作在這個圖的每一個區(qū)域內(nèi)。
Remark:一個特別重要的參數(shù)在一個空間操作符中的是核(kernel)。一個核是一個與
大小相同的矩陣。核的值都是實數(shù),
。在核操作中,核
與圖像窗口
的元素積操作被計算與累加起來。這個操作最容易被向量化的核
與圖像窗口
的點積所表示。向量化一個矩陣代表連接一個矩陣的所在列,并且將其連成一個長列向量。
當(dāng)核操作被應(yīng)用于整個圖像中的一個范圍映射的時候,我們可以將這個過程稱作離散卷積,并用符號表示。我們?yōu)榱溯敵鰣D像位置
而寫下這個卷積。核的大小是
因此一個窗口可以索引至
與
被寫作
我們將核映射應(yīng)用于所有位置,適當(dāng)?shù)乜紤]圖像邊界,即簡單的說,它是創(chuàng)建圖像的函數(shù)。這里有一個卷積的連續(xù)模擬,但是我們暫不進(jìn)行討論。假如維度與核相匹配,這個操作可以清晰地泛化到高維。
例子離散圖像求導(dǎo)
在圖像的函數(shù)解釋下,像這樣的計算式非常正常的。
對的部分求導(dǎo)是
考慮一個離散圖像模型,我們有一個固定的值可以讓我們?nèi)タ紤]一個有限(離散)差別的解釋:
最后,考慮到離散圖像,我們可以將
設(shè)為1來表示一個像素的差別。我們將有限差別符設(shè)為
將其用于核中,則縱向為,橫向為
Remark:范圍操作可以是二元,三元,或者同時任意數(shù)字
例子圖像拉普拉斯與0-crossing
考慮圖像 被核
與
所卷積處理,
與
是分別從
與
的高斯函數(shù)中取樣出來。將卷積出來的圖像稱為
與
。取兩者之差
??梢园l(fā)現(xiàn)圖像的邊緣被凸顯出來。
一個突然的強(qiáng)度改變會在一階導(dǎo)提升到頂峰,或者在二階導(dǎo)達(dá)到0-crossing
之前的例子(離散圖像求導(dǎo))表現(xiàn)了一階導(dǎo),這個例子考慮二階導(dǎo)
這兩個(二階導(dǎo)和高斯核)效果相近
專業(yè)術(shù)語翻譯對照(不確定是不是對的)
完美圖像: perfect Image
定義域: Domain
值域:range
朗伯模型Lambertian Model
數(shù)字圖像 digital Image
非負(fù)自然像素 non-negative natural pixels
取樣:Sampling
量化:quantization
感興趣的信號 signals of interest.
雙態(tài)化模型:two-state Ising model
指示器函數(shù):indicator function
泛化generalize
空間范圍操作 Spatial Range Operation
范圍映射操作 Range map operation
文獻(xiàn)中 in the literature