[Notable] Low Temperature Samples

Low Temperature Samples는 생성 모델에서 샘플 품질을 높이고 다양성을 줄이는 기법입니다.
주로 확률 분포의 "샘플링 온도(temperature)"를 조절하여 생성 결과에 영향을 줍니다.

 

1. "Temperature"의 의미

• Temperature는 확률 분포의 "날카로움(sharpness)" 또는 "불확실성(uncertainty)"을 조절하는 하이퍼파라미터입니다.
• 수학적으로는 소프트맥스(softmax) 함수에서 자주 사용됩니다:

• 여기서:
  • T = temperature (온도)
  • zi = 로짓(logit) 값 (모델이 예측한 점수)
  • P(xi) = 최종 확률

 

2. Temperature의 영향

• 높은 온도 (T≫1)
  • 확률 분포가 **평평(flat)**해지고, 더 다양한 샘플이 생성됨
  • 모델이 불확실한 선택을 더 많이 함 → 창의적이지만 품질이 떨어질 수 있음
• 낮은 온도 (T≪1) → Low Temperature
  • 확률 분포가 날카롭고(sharp), 고품질의 샘플이 생성됨
  • 모델이 가장 확신하는 선택을 더 자주 함 → 선명하고 일관된 결과, 하지만 다양성 감소

예를 들어:

• • 텍스트 생성 모델: 낮은 온도에서는 짧고 일관된 문장을 생성, 높은 온도에서는 창의적인 문장을 생성
  • 이미지 생성 모델: 낮은 온도에서는 고품질 이미지 생성, 높은 온도에서는 다양한 스타일과 패턴 생성