Diffusion(DDPM)

diffusion 이란?

• diffusion process를 이용한 Generative 모델이다.
• Denoising diffusion 모델에는 두가지 과정이 있다.
• Forward Diffusion process에서는 초기 조건과 변동성을 기반으로 미래 값을 예측하는 반면, Reverse Diffusion process에서는 종단 값이 주어졌을 때 초기 값이나 경로를 예측하는 것을 목표로 한다. 
  • Forward Diffusion process
    • Generative 모델에서 사용되는 확률론적 모델링 기법이다.
    • 초기 조건과 변동성을 기반으로 시간이 지남에 따라 확률 변수의 값을 업데이트하여 새로운 데이터를 생성한다.
    • Forward Diffusion process는 브라운 운동(Brownian motion)을 기반으로 모델링된다.
    • 브라운 운동은 시간이 지남에 따라 랜덤하게 움직이는 입자의 경로를 나타내는 확률적인 과정이다. Forward Diffusion process는 브라운 운동의 경로를 따라 변동성 요인을 적용하여 확률 변수의 값을 모델링한다.
    • 일련의 확률 변수를 생성하여 데이터를 생성하는 과정에서 이용됩니다. 이 모델은 초기 상태에서 시작하여 시간이 지남에 따라 확률 변수의 값을 업데이트하고, 새로운 샘플을 생성한다.
  • Reverse Diffusion process
    • 확률 변수의 변동성과 초기 조건을 기반으로 모델링된다.
    • 그러나 Reverse Diffusion process는 시간을 거꾸로 따라가는 방식으로 작동하며, 주어진 종단 값에서 초기 값 또는 경로를 역추적한다.
    • Generative 모델에서 Reverse Diffusion process는 종단 값이 주어졌을 때, 이를 기반으로 이전 시간 단계의 값을 예측하는데 사용된다.
    • 이 과정은 주어진 종단 값과 변동성 파라미터를 활용하여 역추적하고, 초기 값이나 경로를 예측한다.
    • Reverse Diffusion process를 사용하여 생성된 초기 값이나 경로는 생성된 데이터의 일부를 복원하거나 유추하는 데 유용하다.

 

 

variational lower bound 란?

• Variational lower bound 또는 evidence lower bound (ELBO)은 베이즈 추론에서 가변 모델 (variational model)의 학습 및 추론에 사용되는 중요한 개념이다.
• ELBO는 로그 가능도(log likelihood)와 Kullback-Leibler divergence (KL divergence)를 이용하여 계산된다.
• (수식에 관한 설명은 생략.)
• Variational lower bound 또는 ELBO는 가변 모델의 학습 및 추론에 사용되는 수학적인 척도이다.
• ELBO는 로그 가능도와 가변 모델의 근사 사후 분포와의 차이를 KL divergence로 표현하여 계산된다.
• 이를 최대화하는 것은 가변 모델의 파라미터를 학습시키고, 사후 분포를 근사화하여 추론을 수행하는 데 활용된다.

 

 

parameterizing denoising model 이란?

• Parameterizing denoising model은 데이터에서 잡음을 제거하기 위해 사용되는 모델을 파라미터화하는 개념이다.
• 음이 있는 데이터에서 신호를 복원하고 원래의 신호를 복구하기 위해, 잡음 모델에 파라미터를 적용하여 신호를 추정하는 방법이다.
• 잡음이 추가된 입력 데이터와 원래의 신호 사이의 관계를 모델링하기 위해 파라미터화된 모델을 사용한다.
• Parameterizing denoising model은 신호 처리, 이미지 복원, 음성 처리 등 다양한 영역에서 활용된다.
  • 예를 들어, 딥러닝 기반의 오토인코더는 입력 데이터의 잡음을 제거하고 원래의 신호를 복원하기 위해 사용되는 파라미터화된 denoising model의 한 예이다.

 

 

diffusion model의 한계

1. 정확성과 현실성: Diffusion 모델은 가격 동적 변동성을 모델링하는 데에는 유용하지만, 특정 시장에서의 현실적인 가격 움직임을 완벽하게 반영하지는 못한다. 실제 시장은 비선형성, 체결 부족, 갑작스러운 변동성 변화 등 다양한 현상을 포함하고 있어 이를 모두 재현하는 것은 어려울 수 있다.
2. 가정의 단순성: Diffusion 모델은 주로 기하 브라운 운동과 같은 간단한 확률 과정을 기반으로 한다. 이러한 모델은 가정의 단순성을 통해 모델링과 분석을 용이하게 만들지만, 실제 시장에서 발생하는 복잡한 현상을 완전히 반영하지는 못할 수 있다.
3. 계산적인 제약: 일부 복잡한 Diffusion 모델은 계산적으로 효율적인 해법을 찾기 어렵거나 계산량이 많아질 수 있다. 특히, 고차원 문제나 비선형성이 증가하는 경우에는 계산적인 제약이 심해질 수 있다.
4. 장기간 예측의 어려움: Diffusion 모델은 주로 단기간 예측에 적합하며, 장기간 예측에는 제한이 있을 수 있다. 특히, 장기간 예측은 외부 요인의 영향이나 시장 조건의 변화를 고려해야 하므로 Diffusion 모델만으로는 충분하지 않을 수 있다.
5. 극단적 사건 모델링의 어려움: Diffusion 모델은 주로 정규 분포에 기반한 모델링을 수행하기 때문에 극단적인 사건을 포착하는 데 제한이 있을 수 있다. 금융 시장에서는 극단적인 움직임이나 급격한 변동성 변화가 발생할 수 있으므로, 이러한 현상을 정확하게 모델링하기 위해서는 추가적인 기법이 필요할 수 있다.