图像滤波：信号、卷积与空间滤波

信号与系统 #

离散脉冲信号 #

以下默认离散信号定义在整数域 $\mathbb{Z}$ 上。

定义离散脉冲信号

\delta_k[n]=\begin{cases} 1, & n=k, \\ 0, & n\neq k. \end{cases}

默认以 $\delta[n]$ 表示 $\delta_0[n]$ 。其中 $\delta[n-n_0]=\delta_{n_0}[n]$ ；它既可以表示一个信号，也可以表示该信号在索引 $n$ 处的取值。

性质

离散脉冲信号是卷积的单位元，即

(\delta * g)[n]=\sum\limits_{k}\delta[n-k]g[k]=g[n]

从信号角度看，求和表示若干移位脉冲的叠加；从采样值角度看，与 $\delta_n$ 做内积可以提取第 $n$ 项： $g[n]=\langle\delta_n,g\rangle$ 。

性质

离散脉冲信号也可用于平移： $f$ 与 $\delta_{n_0}$ 卷积得到 $f[n-n_0]$ ，即

f[n-n_0]=(\delta_{n_0}*f)[n]=\sum\limits_{k}\delta[n-n_0-k]f[k]=\langle\delta_{n-n_0},f\rangle

前两个等号描述移位后的整个信号；最后的内积只表示该信号在给定索引 $n$ 处的采样值。

定义

线性时不变系统（linear time-invariant system, LTI）同时满足线性性和时间不变性。

性质

设 LTI 系统 $T$ 对单位脉冲的响应为 $h=T(\delta)$ ，则任意输入信号 $f$ 的输出都可写为卷积 $g=h*f$ ：

\begin{aligned} T(f)&=T(\sum\limits_{k}f[k]\delta[n-k]) & (\text{此处理解为脉冲信号的叠加}) \\ &=\sum\limits_{k}f[k]T(\delta[n-k]) & (\text{T 的线性性}) \\ &=\sum\limits_{k}f[k]h[n-k] & (f[k]\text{ 是值 }\ h[n-k]\text{ 是信号}) \\ &=f*h=h*f. \end{aligned}

注

$T(f)[n]\neq T(f[n])$ ：系统 $T$ 作用于整个信号，而不是只作用于某个采样值。

Dirac δ 分布 #

定义 Dirac δ 分布

连续情形使用 Dirac $\delta$ 分布描述理想脉冲：它集中在 $x_0$ ，总积分为 $1$ ，并满足抽样性质。它不是通常意义下的函数，应在分布意义下理解；直观上可看作在 $x_0$ 附近无限窄、面积保持为 $1$ 的脉冲。

性质

对任意足够光滑的函数 $f(x)$ ，有

\int_{-\infty}^{\infty} f(x)\delta(x-x_0)\,\mathrm{d}x=f(x_0)

因此，Dirac $\delta$ 分布也可视为取样算子。

例

Dirac $\delta$ 分布常通过函数族的分布极限表示，例如：

\text{Gaussian:}\quad \delta(x)=\lim_{\alpha\to 0}\frac{1}{\sqrt{2\pi}\alpha}e^{-x^2/(2\alpha^2)}

\text{sinc:}\quad \delta(x)=\lim_{\alpha\to\infty}\frac{\sin(\alpha x)}{\pi x}

\text{Fourier:}\quad \delta(x)=\frac{1}{2\pi}\int_{-\infty}^{\infty}e^{\mathrm{i}\omega x}\,\mathrm{d}\omega

图像与图像处理 #

图像通常以矩阵形式存储，常见颜色表示包括：

灰度：取值范围为 0–255，其中 0 为黑色、255 为白色。
RGB：每个像素表示为 $[R,G,B]$ ，各通道取值范围为 0–255。
Lab： $L$ 表示亮度， $a$ 表示绿—红分量， $b$ 表示蓝—黄分量。
HSV： $H$ 、 $S$ 、 $V$ 分别表示色调、饱和度和明度。
定义
图像可以理解为函数 $f:\mathbb{R}^2\to\mathbb{R}$ 或 $f:\mathbb{R}^2\to\mathbb{R}^M$ 。例如，灰度图像可写为 $f:[a,b]\times[c,d]\to[0,255]$ 。

例
将灰度值整体增加 20，可使图像整体变亮。对应的点算子为 $g(x,y)=h(f(x,y))$ 。

例
令 $x$ 变为 $-x$ ，可实现图像的水平翻转。对应的几何变换为 $g(x,y)=f(T(x,y))$ 。

滤波与均值滤波 #

定义滤波

滤波是按照给定邻域与组合规则，从原图像生成新图像的过程。滤波通常有两类目的：

提取边缘、轮廓等有效信息。
对图像进行去噪、锐化等增强处理。

定义均值滤波

均值滤波以邻域像素的平均值替代当前像素，利用局部像素通常相近的假设抑制噪声。邻域越大，平滑效果越强，但图像细节也更容易被模糊。

例

以

3\times3

邻域为例，均值滤波算子可写为

S(f)[n,m]=\frac 1 9\sum\limits_{i=-1}^1\sum\limits_{j=-1}^1 f(n+i,m+j)

例

常见建模假设是噪声服从 Gaussian 分布： $\varepsilon(n,m)\sim\mathcal{N}(0,\sigma^2)$ 。

非线性滤波 #

均值滤波在抑制噪声的同时容易模糊细节，因此还需要非线性滤波方法。

定义中位数滤波

中位数滤波用邻域像素的中位数替代当前像素。当异常值只占少数时，中位数对离群点比均值更稳健。

性质

不引入新的像素值。
对脉冲噪声（salt-and-pepper noise）通常有较好的抑制效果。

如何选择滤波器 #

设计局部滤波器时，需要确定两件事：

邻域 $N_p$ ：哪些像素会影响位置 $p$ 的新像素值。
权重 $w(p,q)$ ：邻域内各像素的影响程度。

当滤波前后的像素位置不变时，可写为

局部邻域滤波示意图

I'(p)=T\{(I(q),q)\mid q\in N_p\} =\sum_{q\in N_p}w(p,q)I(q) =(w*I)(p).

例常见局部滤波器

均值滤波

w(p,q)=\frac{1}{|N_p|}.

高斯滤波

\begin{aligned} w(p,q)&=\frac{1}{S}\exp\left(-\frac{\lVert p-q\rVert^2}{2\sigma^2}\right),\\ S&=\sum_{r\in N_p}\exp\left(-\frac{\lVert p-r\rVert^2}{2\sigma^2}\right). \end{aligned}

中位数滤波

I'(p)=\operatorname{median}\{I(q):q\in N_p\}.

卷积与互相关 #

定义卷积与互相关

互相关（cross-correlation）

\begin{aligned} S[f]&=w\otimes f,\\ S[f](m,n)&=\sum_{i=-k}^{k}\sum_{j=-k}^{k}w(i,j)f(m+i,n+j). \end{aligned}

卷积（convolution）

\begin{aligned} S[f]&=w*f,\\ S[f](m,n)&=\sum_{i=-k}^{k}\sum_{j=-k}^{k}w(i,j)f(m-i,n-j). \end{aligned}

性质

在二维情形中，互相关核 $g(x,y)$ 与对应卷积核 $g'(x,y)$ 满足中心对称关系：

g(x,y)=g'(-x,-y)

互相关与卷积都可用于模板匹配。互相关可看作局部向量内积：待检测区域与模板越相似，响应值通常越大。

性质线性性

(w\otimes f)(m,n)=\sum\limits_{i=-k}^k\sum\limits_{j=-k}^k w(i,j)f(m+i,n+j)

w'=aw+bv

w'\otimes f=a(w\otimes f)+b(v\otimes f)

性质平移等变性

互相关与卷积算子可以和平移算子交换。

f'(m,n)=f(m-m_0,n-n_0)

(w\otimes f')(m,n)=(w\otimes f)(m-m_0,n-n_0)

性质可交换性

卷积满足交换律，互相关一般不满足交换律。

(w*f)(m,n)=(f*w)(m,n)

性质卷积结合性

v*(w*f)=(v*w)*f

命题

任意线性平移不变算子都可以表示为卷积。

性质

卷积核的参数数量与输入图像尺寸无关。

卷积在图像处理与 CNN 中的特点 #

具有平移等变性：若以 $\tau$ 表示平移算子，则 $S(\tau x)=\tau S(x)$ 。
关注局部结构；堆叠多层卷积可以获得更大的感受野。
可用于图像滤波和模板匹配。
不同位置共享卷积核参数，因此参数量较少。
同一卷积核可以处理不同尺寸的输入图像。

边界处理 #

全卷积：只要卷积核与原图像有重合就计算；一维输出长度为 $m+k-1$ 。
同大小卷积：通过适当填充使输出尺寸与输入保持一致。
有效卷积：只计算卷积核完全落在图像内部的位置；一维输出长度为 $m-k+1$ 。

高斯滤波 #

高斯差分（Difference of Gaussians, DoG）使用两种尺度的高斯平滑结果之差：

\operatorname{DoG}_{\sigma_1,\sigma_2}(I) =G_{\sigma_1}*I-G_{\sigma_2}*I.

可分离滤波器 #

设图像尺寸为 $w\times h$ ，滤波核尺寸为 $k\times k$ 。直接二维卷积的总复杂度为 $O(whk^2)$ 。

定义

若卷积核可以写成两个一维核的外积，即

w(i,j)=u(i)v(j)

则可以沿两个方向分别进行一维卷积，将复杂度降至 $O(whk)$ 。

组合滤波 #

$w*(v*I)=(w*v)*I$ ，因此两个滤波器可以合并为一个较大的滤波器；但在实际计算中，依次使用两个小滤波器往往更高效。统一小滤波器尺寸也有利于硬件层面的实现优化。

双边滤波 #

定义

双边滤波同时考虑像素间的空间距离和强度差异：

\begin{aligned} \operatorname{BF}[I]_p &=\frac{1}{W_p}\sum_{q\in S} G_{\sigma_s}(\lVert p-q\rVert) G_{\sigma_r}(|I_p-I_q|)I_q,\\ W_p &=\sum_{q\in S} G_{\sigma_s}(\lVert p-q\rVert) G_{\sigma_r}(|I_p-I_q|). \end{aligned}

双边滤波示意图

优势

易于理解。
可根据空间距离与灰度差异自适应调整权重。
不需要迭代求解。

局限

计算速度较慢。