Zero-Shot Image Restoration Using Denoising Diffusion Null-Space Model 리뷰
Abstract
이 논문에서는 기존 이미지 복원 기술에서 다양한 성능을 일반화를 목표로 합니다. 이에 국한되지 않는 임의의 선형 IR 문제에 대한 새로운 zero-shot framework 노이즈 제거 확산 Null-Space 모델(DDNM)을 제안합니다.
이는 역확산 과정에서 null-space 내용만을 정제하는 것으로 다양한 작업 가능하게 합니다.
더욱 상향버전인 DDNM+가 있습니다.
Introduction
저하된 이미지 y (=Ax + n)에서 x̂을 생성하는 것이 목표로 합니다.
여기서 x는 원래 이미지를 나타내고 n은 비선형 노이즈를 나타냅니다.
위 부분에서는 데이터의 일관성을 찾아 최적화를 합니다.
λR(x)는 희소성 및 티호노프 정규화와 같은 이미지 분포에 대한 공식적인 사전 지식으로 결과를 정규화합니다.
A는 알려진 super-resolution, a sampling matrix in compressed sensing의 샘플링 매트릭스 방법입니다.
위 수식에서 여기서 y에서 x로의 매핑을 직접 학습하려면 열화된 이미지 yi와 실측 이미지 xi의 N 쌍이 필요합니다.
이 부분에서는 yi의 부분을 학습되어야 하기에 도메인 이동에서 어려움을 가지게 됩니다.
그리고 다양한 이미지 복원을 하여야 하는데... 매핑 부분의 데이터에서 유연성, 일반화 성능에서 많이 떨어지는 성능을 보입니다.
위 수식에서는 G는 사전 훈련된 생성 모델, w는 latent code 입니다.
R(w)은 w를 원래 분포 공간입니다.
BACKGROUND
위의 수식 같은 경우에는 기존의 DDPM의 수식과 동일하게 들고 갑니다.
Forward Diffusion Process, Reverse Diffusion Process가 있으며 자세한 내용은 전의 포스팅을 참고 부탁드립니다.
RANGE-NULL SPACE DECOMPOSITION
Range-Null Space Decomposition
A의 range space에 있는 첫째 항을, A의 null space에 있는 부분으로 분해할 수 있습니다.
x에 A를 적용하면 앞 항은 그대로 Ax가 되고 모든 성분이 행렬 A의 range space에 있기 때문에 뒷 항은 0이 됩니다.
모든 성분이 null space에 있기 때문입니다.
Method
Denoising Diffusion Null-Space Model
노이즈가 없는 IR부터 시작합니다.
y에서 다음 두 제약 조건을 준수하는 이미지 x̂을 생성하는 것을 목표로 합니다. q(x) = ground truth의 분포
Ground-truth는 학습하고자 하는 데이터의 원본 혹은 실제 값을 표현할때 사용됩니다.
일관성 제약과 range-null space 분해에 의해 목표인 x̂의 정의입니다.
x̄가 무엇이든 일관성에는 전혀 영향이 없기 때문에, 우리의 목표는 realness를 위한 적절한 x̄를 찾는 것이다.
Range space와 조화를 이루는 null space를 생성하기 위해 확산 모델을 이용합니다.
DDNM+
노이즈가 많은 IR을 지원하기 위한 range-space, 노이즈가 많은 IR 문제를 y = Ax + n(랜덤 노이즈)으로 정의하면
A+n은 추가적인 노이즈이며, 두 번째 항은 range-space를 건드리게 됩니다. (A+A)
x̂0ㅣt는 xt-1의 평균을 구하는 데 사용되기 때문에 노이즈를 추가할 수 없습니다.
x̂0ㅣt는 xt-1의 평균을 구하는 데 사용되기 때문에 노이즈를 추가할 수 없습니다.
문제 해결을 위해 수정된 DDNM : (A+n을 떼고, 스케일링 계수(행렬) 추가)
Σ는 range-space를 건드는 부분을 스케일링, Φ는 추가될 노이즈를 스케일링한다.
두 계수는 두 가지 원칙에 의해 선택된다.
- Φ : 사전 훈련 모델이 t-1 단계에서 예측해야 할 노이즈의 분산(1 − ᾱt)을 준수
- Σ : Range-space의 보존을 위해 가능한 I에 가까워야 함
위에 언급한 A+를 간단히 구할 수 있는 세 가지 IR 작업에 대해서는 다음과 같이 치환이 가능합니다.
다른 작업에 대해서는 특이값 분해로 구해야 합니다.
Non-Gaussian noise는 Gaussian noise로 근사해서 똑같이 구합니다.
더 나은 복원을 위한 Time-Travel
SR with large-scale average pooling downsampler, low sampling ratio compressed sensing(CS), inpainting with a large mask 작업 등 range-space가 너무 국소적인 경우 낮은 realness가 관찰되었다.
확산 모델의 학습은 사후 분포 p(xt−1|xt, x0)의 추정에 의존한다.
DDNM에서 t 시점의 x0 추정치로 x̂0ㅣt를 사용하는데, 이때 range-space가 너무 국소적이면 부조화스러운 null-space를 갖게 된다.
Time-Travel은 더 나은 과거를 생성하여 더 나은 미래를 생성한다. 이 트릭의 사용을 쉽게 하기 위해 추가로 2개의 hyperparamter를 할당한다.
