圖像如函數(shù)

好久沒寫博客了,寫一波。此為umich eecs504的第二課筆記。

圖像分類

完美圖像

完美圖像(perfect image)是連續(xù)圖形,完美圖像由一個物理過程所產(chǎn)生。

將這個物理過程用I所表示,他們代表了從平面上的點到一個數(shù)字的映射,即

I: R^2\rightarrow R

Remark: 0<I(\cdot)<\infty

Remark: 抽象后我們可以將定義域看作超平面上的點,其維度可以超過2 。如此,哦我們可以將它們定義成一個映射:

I: R^k \rightarrow R

由所經(jīng)受的物理過程所決定

Remark: 完美圖像僅在無法取樣的時候存在抽象化。

例子:朗伯模型(Lambertian Image)

朗伯模型是一個經(jīng)典的漫反射模型。朗博模型中光的反射量由入射角的余弦角所決定。

考慮一個點x \in R^3 在朗伯表面上,其對此表面的法向量n(x) 。入射角的方向是l(x)。 此時反射可以寫作:

R(x) = \rho l(x)^Tn(x)

其中\rho是一個常量,用于描述材料屬性。

仍和的反射光與我們的圖像平面相交時,都會引起我們的完美圖像

I(u) = P(R(x))

其中P投影函數(shù),I(u)是投影的能量

問題:朗伯模型的缺點是什么?

朗伯模型難以對光滑的表面,比如金屬,進(jìn)行建模。此時我們需要Phong模型。

lambertian.png

數(shù)字圖像

雖然我們不能直接獲得完美圖像,但是我們可以通過電子設(shè)備將其轉(zhuǎn)換之。如此做,我們可以通過量化取樣完美圖像來獲得數(shù)字圖像。

定義:數(shù)字圖像是取樣和量化完美圖像所獲得。它們展現(xiàn)出從點到非負(fù)自然像素(non-negative natural pixels)到自然數(shù)的映射

N_0 ^2\rightarrow N_0

Remark:數(shù)字化是一個投影(R^2 \rightarrow R)

Remark:“取樣”指的是坐標(biāo)值的數(shù)字化,“量化”指的是(能量,亮度)強(qiáng)度值的數(shù)字化。

Remark:取樣密度由傳感器的物理限制所約束

Remark:量化深度由特殊的硬件所決定。8bit的量化廣泛應(yīng)用于數(shù)字化的圖像。

Remark: 在特定的數(shù)字化情境下(可能指Bayer pattern)完美圖像被用于梳理感興趣的信號。

數(shù)字圖像建模

對數(shù)字圖像的數(shù)學(xué)解釋

  1. 一個從像素到數(shù)字的離散函數(shù)
  2. 作為對于原來完美圖像的一個近似,我們對一個函數(shù)的值域和定義域進(jìn)行了一個泛化,并且用函數(shù)的形式呈現(xiàn)出來。(We generalize domain and range of this function to once again consider a continuous image, albeit an approximate one to our original perfect image,這句話有點離譜)

定義:一個離散圖像是一個數(shù)字圖像的自然數(shù)的數(shù)字型概述。它獲取數(shù)字圖像中的整數(shù)像素位置并且將其映射到整數(shù)像素值上。I:Z^3\rightarrow Z

Remark:它可以表示更高維的圖像,比如Z^3(視頻),并且值域維度也可以更高,比如Z^ 3(三色圖像)。

Remark:我們將一個圖像的值于的整數(shù)的子集稱作\Lambda

例子:Potts 模型

Potts模型是一個離散圖像模型。Potts模型最初在統(tǒng)機(jī)物理學(xué)中作為雙態(tài)化模型(two-state Ising model)的推廣而派生出來的。它假定了一個分段常熟圖像信號。對于大小為n\times n的圖像,我們將其寫作能量泛函(energy functional)。

E(I)=\beta \Sigma^{n-1}_{s=1}\Sigma^{n}_{t=1}(1[I(s, t)\neq(s+1, t)]+\beta \Sigma^{n-1}_{s=1}\Sigma^{n}_{t=1}(1[I(s, t)\neq(s, t+1)])

\beta是一個建模常數(shù),最初與所研究的材料的物理性質(zhì)有關(guān),我們忽略了區(qū)域上的邊界條件1是指示器函數(shù)。根據(jù)Potts模型的定義,我們發(fā)現(xiàn)模型的能量正比于橫縱像素的變化。當(dāng)圖像I由大的恒定取與,他將具有相應(yīng)的能量。

定義:一個連續(xù)圖像可以將離散圖像泛化(generalize)為定義域與值域。

Remark:對于離散圖像的相似的定義域和值于的泛化可以用于連續(xù)模型

Remark:離散與連續(xù)混合的表現(xiàn)是非常常見的

Remark:插值。通過數(shù)字化過程,最初的完美圖像已經(jīng)被量化到整數(shù)坐標(biāo)了。為了研究連續(xù)圖形并分析,我們需要不斷地對非整數(shù)坐標(biāo)進(jìn)行插值。

圖像操作

在圖像的函數(shù)解釋下,我們可以用數(shù)學(xué)的角度去處理圖像。

在圖像的函數(shù)解釋下,圖像的三個主要操作:

  1. 空間范圍操作(Spatial Range Operation)如計算圖像所有強(qiáng)度值的和
  2. 范圍映射操作(Range map operation)比如計算圖的差別
  3. 定義域操作或幾何變換比如平移和旋轉(zhuǎn)

空間范圍操作

空間范圍操作講一個區(qū)域內(nèi)所有信息集合起來,將一個圖像的區(qū)域定義成W\subseteq \Lambda \subseteq Z^2 。其中W代表一張圖像中的窗口(windows)。

定義:一個空間范圍操作f是一個講一張圖映射到一個實數(shù)的函數(shù)

f: W\times(Z^2\rightarrow Z)\rightarrow R / W \times I \rightarrow R

其中I為圖像本身。

Remark:我們使用縮寫I[W]來表示定義域由W所截取的新圖,這種新圖也叫子圖(sub-image),或者image patch。

Remark:我們可以講W當(dāng)作一種函數(shù),當(dāng)W=\Lambda\rightarrow B^{\Lambda}時,這種函數(shù)講像素映射到B=\{0, 1\}。我們可以將mask應(yīng)用在圖像上。在空間范圍操作應(yīng)用之前,我們也可以基于窗口W在函數(shù)f上實現(xiàn)特殊的定義域。

Remark:一個空間范圍操作是線性的當(dāng)

f_W(\alpha_i I_i + \alpha_j I_j)=\alpha_i f_W(I_i)+\alpha_jf_W(I_j)

\alpha_i\alpha_j是任意常標(biāo)量。

Remark:空間范圍操作可以在圖像領(lǐng)域中被組合去組成復(fù)雜的操作符。

范圍映射操作

范圍映射擦歐總作用于圖像值域,他們將單個操作作用域整個圖像域\Lambda

定義:一個范圍映射操作g:(W\times I \rightarrow R)\times I \rightarrow J對于圖像J來說,是一個函數(shù)f作用域圖像定義域\Lambda的每一個空間中,范圍映射操作會產(chǎn)生一個新的圖像。

圖像J f: W \times I \rightarrow R

procedure GENERIC_RANGE_MAP_OPERATOR:
foreach pixel s \in \Lambda_J do

? let W_s be the window into \Lambda at centered at s

? J(s)=f(I, W_s)

? end for

end procedure

Remark:范圍映射操作的輸出集是實數(shù)集。實際操作上,它常被放寬到實數(shù)或者其他的范圍。

Remark:范圍映射操作通常被用于一個被稱作強(qiáng)度轉(zhuǎn)換(intensity transformations)的像素窗口。文獻(xiàn)中存在許多可能的強(qiáng)度變換 (very many possibly intensity transformations exist in the literature,不會翻譯)并且包括了操作符比如直方圖均衡化(histogram equalization),線性放大(linear scaling)或者log轉(zhuǎn)換等。

例子單像素范圍映射強(qiáng)度轉(zhuǎn)換。一個強(qiáng)度轉(zhuǎn)換的例子是對負(fù)圖像的轉(zhuǎn)換。每一個新像素的值是輸入值的負(fù)值。

J(S)=-I(S)

Remark:一個特殊的范圍映射例子是映射到二進(jìn)制像素而不是實數(shù):

g:(W\times I\rightarrow B)\times I \rightarrow B

對于二進(jìn)制圖像B。

例子二進(jìn)制函數(shù)的范圍映射

考研率一個二進(jìn)制閾值操作符f_b。在一個確定的范圍對每一個像素窗口,f_b選擇像素值(\Gamma^-\le I[W]\le \Gamma^+)。

f_b(I[W];\Gamma^-,\Gamma^+)=\left\{ \begin{aligned} 1\quad & \Gamma^-\leq I[W]\leq\Gamma^+\\ 0\quad & otherwise \end{aligned} \right.

或在更大的窗口中使用空間范圍操作符,比如:

f_b(I,W;\Gamma^-,\Gamma^+)=\left\{ \begin{aligned} 1\quad & \Gamma^-\leq sum(I, W)\leq\Gamma^+\\ 0\quad & otherwise \end{aligned} \right.

Remark:在一個范圍操作符中,空間范圍操作在一個大窗口W將應(yīng)用相同的操作在這個圖的每一個區(qū)域內(nèi)。

Remark:一個特別重要的參數(shù)在一個空間操作符中的是核(kernel)。一個核\kappa是一個與W大小相同的矩陣。核的值都是實數(shù),\kappa\in\mathbb{R}^{|W|}。在核操作中,核\kappa與圖像窗口I[W]的元素積操作被計算與累加起來。這個操作最容易被向量化的核\kappa與圖像窗口I[W]的點積所表示。向量化一個矩陣代表連接一個矩陣的所在列,并且將其連成一個長列向量。

當(dāng)核操作被應(yīng)用于整個圖像中的一個范圍映射的時候,我們可以將這個過程稱作離散卷積,并用符號\otimes表示。我們?yōu)榱溯敵鰣D像位置J(s, t)而寫下這個卷積。核的大小是2m+1\times 2m+1因此一個窗口可以索引至s-m ...s+mt-n ... t+n被寫作

J(s, t) = \kappa \otimes I[W]=\Sigma^m_{k=-m}\Sigma^n_{l=-n}\kappa(k,l)I(s-k, t-l)=\vec{\kappa}^TI\vec{[W]}

我們將核映射應(yīng)用于所有位置,適當(dāng)?shù)乜紤]圖像邊界,即簡單的說\kappa\otimes I,它是創(chuàng)建圖像的函數(shù)。這里有一個卷積的連續(xù)模擬,但是我們暫不進(jìn)行討論。假如維度與核相匹配,這個操作可以清晰地泛化到高維。

例子離散圖像求導(dǎo)

在圖像的函數(shù)解釋下,像這樣的計算式非常正常的。

I(x, y)的部分求導(dǎo)是

\frac{\partial I(x,y)}{\partial x} = lim_{h\rightarrow 0}\frac{I(x+h, y)-I(x, y)}{h}

考慮一個離散圖像模型,我們有一個固定的值h可以讓我們?nèi)タ紤]一個有限(離散)差別的解釋:

\frac{dI(x,y)}{dx}=\frac{I(x+h,y)-I(x,y)}{h}

最后,考慮到離散圖像I,我們可以將h設(shè)為1來表示一個像素的差別。我們將有限差別符設(shè)為\nabla_x=\frac{dI(x,y)}{dx}=I(x+1,y)-I(x,y)

將其用于核中,則縱向為\kappa=[1,-1]^T,橫向為\kappa=[1,-1]

Remark:范圍操作可以是二元,三元,或者同時任意數(shù)字

例子圖像拉普拉斯與0-crossing

考慮圖像I 被核\kappa_1\kappa_2所卷積處理,\kappa_1\kappa_2是分別從\sigma=1\sigma=2的高斯函數(shù)中取樣出來。將卷積出來的圖像稱為G_1G_2。取兩者之差G_2-G_1??梢园l(fā)現(xiàn)圖像的邊緣被凸顯出來。

一個突然的強(qiáng)度改變會在一階導(dǎo)提升到頂峰,或者在二階導(dǎo)達(dá)到0-crossing

之前的例子(離散圖像求導(dǎo))表現(xiàn)了一階導(dǎo),這個例子考慮二階導(dǎo)

\nabla^2=\frac{\partial^2}{\partial x^2}+\frac{\partial^2}{\partial y^2}

這兩個(二階導(dǎo)和高斯核)效果相近

專業(yè)術(shù)語翻譯對照(不確定是不是對的)

完美圖像: perfect Image

定義域: Domain

值域:range

朗伯模型Lambertian Model

數(shù)字圖像 digital Image

非負(fù)自然像素 non-negative natural pixels

取樣:Sampling

量化:quantization

感興趣的信號 signals of interest.

雙態(tài)化模型:two-state Ising model

指示器函數(shù):indicator function

泛化generalize

空間范圍操作 Spatial Range Operation

范圍映射操作 Range map operation

文獻(xiàn)中 in the literature

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

友情鏈接更多精彩內(nèi)容