[핸즈온 머신러닝] 17장(5) - DCGAN, ProGAN, StyleGAN

🏃 이전 글 # 생성적 적대 신경망, GAN이란?

[핸즈온 머신러닝] 17장(4) - GAN, 생성적 적대 신경망

---

17. 9. 2 심층 합성곱 GAN, DCGAN

2014년 원본 GAN 논문에서는, 합성곱 층을 통해 작은 이미지만 생성하였다. 

그 후, 큰 이미지를 위해 깊은 합성곱 층 기반의 GAN을 만들기 위해 노력하였고, 

-> 2015년, 여러 구조와 하이퍼파라미터 실험 끝에 심층 합성곱 GAN (DCGAN) 이 제안되었다. 

 

📝 안정적인 합성곱 GAN을 구축하기 위한 가이드라인

- 판별자의 풀링 층을 스트라이드 합성곱으로 변경한다.

- 생성자의 풀링 층은 전치 합성곱으로 변경한다.

- 생성자와 판별자에 배치 정규화를 사용한다.

- 깊은 층을 위해 완전 연결 은닉층을 제거한다.

- 생성자의 모든 층은 ReLU 활성화 함수를 사용한다.

- 판별자의 모든 층은 LeakyReLU 활성화 함수를 사용한다. 

-> 항상 맞는 것은 아니므로, 여러 실험이 필요하다. 

📌 DCGAN Generator Model

논문에서 LSUN 데이터셋을 모델링할때 사용한 Generator 구조이다. 

DCGAN의 Generator 네트워크 구조 (DCGAN 논문 Figure 1)

- 100 dimensional uniform distribution Z 가 CNN을 거치기 위해 image 특성 맵 형태로 변형되도록 Project and reshape 과정을 거친다. 

- 4개의 fractionally-stride convolution 을 거쳐 만들어진 high level 표현이  64x64 픽셀 이미지로 변경된다. 

- fully-connected 층과 pooling층은 사용되지 않는다. 

 

📝 fractionally-stride convolution 

fractionally-stride convolution  (출처: https://github.com/vdumoulin/conv_arithmetic)

- input에 padding을 하고 convolution을 함으로써 기존 stride convolution과 반대로 출력의 크기를 키우는 방법이다. 

- 전치합성곱과 같은 의미로, keras의 Conv2DTranspose 층을 사용하면 된다. 

 

---

패션 MNIST DCGAN 모델

codings_size = 100

# 생성자
generator = keras.models.Sequential([
    keras.layers.Dense(7 * 7 * 128, input_shape=[codings_size]),
    keras.layers.Reshape([7, 7, 128]),
    keras.layers.BatchNormalization(),
    keras.layers.Conv2DTranspose(64, kernel_size=5, strides=2, padding="SAME",
                                 activation="selu"),
    keras.layers.BatchNormalization(),
    keras.layers.Conv2DTranspose(1, kernel_size=5, strides=2, padding="SAME",
                                 activation="tanh"),
])
# 판별자
discriminator = keras.models.Sequential([
    keras.layers.Conv2D(64, kernel_size=5, strides=2, padding="SAME",
                        activation=keras.layers.LeakyReLU(0.2),
                        input_shape=[28, 28, 1]),
    keras.layers.Dropout(0.4),
    keras.layers.Conv2D(128, kernel_size=5, strides=2, padding="SAME",
                        activation=keras.layers.LeakyReLU(0.2)),
    keras.layers.Dropout(0.4),
    keras.layers.Flatten(),
    keras.layers.Dense(1, activation="sigmoid")
])
gan = keras.models.Sequential([generator, discriminator])

생성자

- 생성자는 크기 100의 코딩을 받아 6272차원으로 투영하고, 이 결과를 7x7x128 크기의 텐서로 바꾼다. 

- 텐서는 배치 정규화를 거쳐 stride가 2인 전치 합성곱 층에 주입된다.

• 7x7 -> 14x14 로 업샘플링, 128 -> 64 깊이 감소

- 다시 배치 정규화를 거쳐 stride가 2인 전치 합성곱 층에 주입된다.

• 14x14 -> 28x28 로 업샘플링, 64 -> 1 깊이 감소
• tanh을 사용하므로, 출력 범위가 -1에서 1 사이 -> GAN 훈련 전 훈련 세트를 동일 범위로 스케일 조정 필요

X_train = X_train.reshape(-1, 28, 28, 1) * 2. - 1. # 크기 변경과 스케일 조정

- 훈련 세트 스케일을 조정한다.

• 크기 변경 및 채널 차원을 추가

판별자

- 이진 분류를 위한 일반적인 CNN과 비슷한 구조이지만, 이미지를 다운 샘플링할 때 MaxPooling이 아닌 stride 합성곱을 사용한다. (+ LeakyRelu 사용)

 

✔️ DCGAN 가이드라인에서 변경된 점

- 판별자의 BatchNormalization 층 -> Dropout 층으로 변경 (훈련의 안정성을 위함)

- 생성자에서 ReLu가 아닌 SELU 사용

-> 구조를 바꿔보면서, 하이퍼파라미터에 대한 민감성을 확인해볼 수 있다. 

훈련 결과

데이터셋 생성, 모델 컴파일, 훈련을 위해 앞에서 사용한 동일한 코드를 사용한다. (이전 글 참고) 

epoch 50 후 DCGAN이 생성한 이미지

- 훈련 epoch 50번 후에 생성자가 생성한 이미지 결과이다. 

 

📌 DCGAN의 잠재 표현 학습

DCGAN은 꽤 의미 있는 잠재 표현을 학습할 수 있다. 

시각적 개념의 벡터 연산(DCGAN 논문 Figure 7의 일부분)

 

- DCGAN이 생성한 많은 이미지 중 일부이다. 

- 세 카테고리(안경을 쓴 남자, 안경을 쓰지 않은 남자, 안경을 쓰지 않은 여자)의 이미지를 생성하기 위한 코딩을 평균하고, 이 평균 코딩으로 이미지를 생성한다. 

-> 즉, 왼쪽 아래 3개 이미지는, 그 위 3개 이미지의 평균을 나타낸다. 

* 이때 평균은, 픽셀 수준의 단순한 평균 계산이 아닌, 잠재 공간에서 계산된 평균이다.

-> 따라서 이미지가 자연스러운 얼굴처럼 보일 수 있는 것!

 

- 안경을 쓴 남자에서 안경을 쓰지 않은 남자를 빼고, 안경을 쓰지 않은 여자를 더하여 이 코딩에 대응하는 이미지를 생성하면 오른쪽 중앙과 같은 '안경을 쓴 여자' 이미지를 얻을 수 있다.

* 가운데 이미지를 둘러싼 8개의 이미지는, DCGAN의 시맨틱 보간 능력을 보여주기 위해 동일한 벡터에 약간의 잡음을 추가해 생성한 것이다. 

 

---

💡 하지만 DCGAN으로 매우 큰 이미지를 생성하면, 일관성 없는 이미지를 얻을 가능성이 높다. 

DCGAN 이후, 다양한 GAN 논문이 소개되었다. 

 

---

17. 9. 3 ProGAN (PGGAN)

2018년 엔비디아의 논문에서 제안되었다. 

훈련 초기에 작은 이미지를 생성하고 점진적으로 생성자와 판별자에 합성곱 층을 추가해 갈수록 큰 이미지를 만드는 방법이다. 

-> 적층 오토인코더를 층별로 훈련하는 것과 비슷하다. 

이전에 훈련 된 층은 그대로 두고, 생성자의 끝과 판별자의 시작 부분에 층을 추가하며 쌓아간다.

 

📌 ProGAN 구조

한번에 전체 크기의 이미지 특성들을 학습 시키기보다, 4x4 저해상도로 large-scale structure를 찾아내도록 하고, 점차 finer-scale detail을 찾을 수 있도록 1024x1024 고해상도로 높아지는 것이 낫다는 아이디어이다. 

(ProGAN 논문 figure 1)

- 생성자의 출력을 4x4에서 8x8로 크게 하려면, 기존 합성곱 층에 업샘플링 층을 추가하여 8x8 크기 특성 맵을 출력한다.

- 이 특성 맵이 새로운 다음 합성곱 층으로 주입되고, 다시 새로운 출력 합성곱 층으로 주입된다. 

(왼쪽) 생성자가 4x4 컬러 이미지를 출력함 / (오른쪽) 왼쪽을 8x8 이미지를 출력하도록 확장 (출처: 핸즈온머신러닝2 그림 17-19)

(ProGAN 논문 figure 2)

- 네트워크에 새로운 층을 추가할때, 부드럽게 추가하기 위해 새로운 합성곱층을 fade-in하고,  원래 출력층을 fade-out한다.

-> 잘 훈련된 층에 갑작스러운 충격을 방지하는 효과가 있다

• 새로운 출력 가중치 a 와 원래 출력 가중치 1-a 의 가중치 합으로 최종 출력을 만든다. 

- 모든 합성곱 층은 'same' stride 1 을 사용하여, 입력의 높이와 너비를 보존한다.

• 입력과 같은 크기의 출력을 만든다. 

- 출력층의 커널 크기는 1 -> 이를 사용해 입력을 필요한 컬러 채널 수 (ex. 3)로 투영한다. 

 

---

 

해당 논문에서는 (모드붕괴를 막기 위해) 출력의 다양성을 증가시키고 훈련을 안정적으로 만드는 방법들도 소개된다. 

✔️ 미니배치 표준편차 층

이전에 언급했던 GAN 훈련의 어려움 중에, 생성자가 변화도가 적은 이미지를 생성해 내는 경향(따라서 생성된 이미지에 다양성이 부족해지는 현상)이 존재했다. 이는 고해상도 이미지를 생성해내기 어렵도록 하는데, 미니배치 표준편차 층을 통해 이 현상을 줄일 수 있다. 

 

- 판별자의 마지막 층 근처에 추가한다.

- 입력에 있는 모든 위치에 대해 모든 채널과 배치의 모든 샘플에 걸쳐 표준편차를 계산한다.

• S = tf.math.reduce_std(inputs, axis=[0, -1])
• 이 표준편차는 모든 픽셀에 대해 평균하여, 하나의 값을 얻는다. 
• v = tf.reduce_mean(S)

- 추가적인 특성 맵이 배치의 모든 샘플에 추가되고, 계산된 이 값으로 채워진다.

• tf.concat([inputs, tf.fill([batch_size, height, width, 1], v)], axis=-1)

-> 생성자가 만든 이미지에 다양성이 부족하면, 판별자의 특성 맵 간의 표준편차가 작을 것

-> 판별자는 이 통계를 통해 다양성이 적은 이미지를 만드는 생성자에게 속을 가능성이 줄어든다. 

=> 즉, 생성자가 다양한 출력을 만들도록 유도해 모드 붕괴의 위험을 줄인다. 

 

✔️ 동일한 학습 속도

생성자와 판별자의 healthy한 경쟁을 위해서는 각 층이 비슷한 속도로 학습되는 것이 좋다고 한다. 

 

- He 초기화 대신, 평균이 0이고 표준편차가 1인 가우시안 분포를 사용해 모든 가중치를 초기화한다.

- 하지만 런타임에(층이 실행될 때마다) He 초기화를 통해 (가중치를 √(2/n inputs) 로 나눈다) 가중치 스케일을 낮춘다.

• ninputs 은 층의 입력 개수

- RMSProp, Adam 같은 적응적 그래디언트 옵티마이저를 사용하면, 이 기법이 더 GAN의 성능을 높인다. 

-> 이 옵티마이저들은 각자 추정한 표준편차로 그래디언트 업데이트를 정규화한다. 그 결과, 

• dynamic range가 큰 파라미터는 훈련하는 데 시간이 오래걸린다.
• 반대로 dynamic range가 작은 파라미터는, 너무 빠르게 업데이트되어 불안정해질 수 있다.

- 즉, 가중치 초기화에서 스케일을 맞추지 않고, 모델의 한 부분으로 가중치를 조절하여 훈련 내내 모든 파라미터의 dynamic range를 동일하게 만든다.

=> 모든 가중치가 동일한 속도로 학습되어, 훈련 속도와 안정성이 높아진다. 

 

📝 dynamic range

- 변수가 수용할 수 있는 가장 큰 값과 작은 값 사이의 비율

 

✔️ 픽셀별 정규화 층

- 생성자의 합성곱 층 뒤에 추가한다.

- 말 그대로 픽셀 단위 별로 정규화해주는 것으로, 동일한 이미지의 동일 위치에 있는 모든 활성화를 채널에 대해 정규화한다.

• 활성화의 제곱 평균을 제곱근으로 나눈다.
• inputs / tf.sqrt(tf.reduce_mean(tf.square(X), axis=-1, keepdims=True)+1e-8)

=> 생성자와 판별자 사이의 과도한 경쟁으로 활성화 값이 폭주되는 것을 막는다. 

 

* 일반적으로 GAN은 생성자와 판별자의 불필요한 경쟁으로 활성화 값이 폭주되는 것을 억제하기위해 Batch Normalization을 사용한다. 하지만 PGGAN은 이 방법이 효과가 없기 때문에 픽셀 정규화 방식을 사용한다.

 

---

이런 기법들을 통해 고화질의 얼굴 이미지를 생성할 수 있었다. 

하지만 GAN의 평가 는 어려운 과제 중 하나이다. 

🤔 생성된 이미지의 품질을 어떻게 판단해야 할까? 사람이 직접 평가할 수 밖에 없을까?

다음 소개되는 논문에서는, 생성된 이미지와 훈련 이미지의 유사도를 측정하는 방법을 제안한다. 

 

---

17. 9. 4 StyleGAN

2018년, 엔비디아 팀이 다시 최고 수준의 고해상도 이미지 생성을 위한 StyleGAN 구조를 소개했다. 

생성자에 Style Transfer 기법을 사용해, 생성된 이미지가 훈련된 이미지와 같은 다양한 크기의 국부적인 구조를 갖도록 만들었다. (이는 생성된 이미지의 품질을 크게 높여준다.)

 

📌 StyleGAN 구조

판별자와 손실함수는 그대로이며, 생성자만 변경되었다.

StyleGAN 생성자 구조 (StyleGAN 논문 figure 1)

이 모델은 두가지 네트워크로 구성된다. 

✔️ 매핑 네트워크

StyleGAN은 잠재 표현 z (=코딩)으로부터 직접 이미지를 생성하지 않고, 매핑 네트워크를 거친다. 

- 8개의 MLP가 z를 벡터 w로 매핑한다. 

- 벡터 w는 여러 아핀 변환(A 박스, 활성화 함수가 없는 Dense 층) 으로 전달되어 벡터 여러 개를 생성한다.

- 이 벡터는 미세한 텍스처(ex. 머리 색)부터 고수준 특성(ex. 어른, 어린이)까지 각기 다른 수준에서 생성된 이미지의 스타일을 제어한다.

=> 즉, 매핑 네트워크는 코딩을 여러 스타일 벡터로 매핑하는 것

 

✔️ 합성 네트워크

이미지의 생성을 책임진다. 

- 이 네트워크는 일정하게 학습된 입력을 받는다. 

- 이 입력을 합성곱 여러 개와 업샘플링 층에 통과시킨다. 

-> 이 과정에서

  1. 입력과 모든 합성곱 층의 출력에 잡음이 섞인다.

  2. 잡음이 섞인 다음에 Adaptive Instance Normalization (AdaIN) 층이 뒤따른다. (불안정한 학습을 방지하기 위해 추가)

 

📝 코딩에 독립적으로 잡음을 추가하는 이유 

주근깨나 머리의 세세한 위치처럼 이미지의 랜덤한 어떤 부분, 즉 무작위성이 초기 GAN에서는 코딩이나 생성자 자체에서 만든 랜덤한 잡음에서 왔다. 

- 잡음이 코딩에서 온다는 것은, 생성자가 코딩의 표현 능력을 잡음을 저장하는 데 할애 한다는 의미이다. 

- 또한 이 잡음이 네트워크를 흘러 생성자의 마지막 층에 도달해야한다. -> 이는 훈련 속도를 느리게 만드는 제약 사항이 될 수 있다. 

- 또한 각기 다른 수준에서 동일한 잡음이 사용된다. -> 따라서 일부 인공적인 요소가 나타날 수 있다. 

=> 별도의 잡음을 추가하면 이런 이슈들을 해결할 수 있다.

=> 즉, 추가된 잡음을 사용해 이미지의 각 부분에 정확한 양의 무작위성을 추가할 수 있다. 

* 잡음 입력은 하나의 특성 맵에 해당하는 가우시안 잡음으로 구성되며, 모든 특성 맵으로 브로드캐스팅된다. 그 후, 추가되기 전에 학습된 특성별 스케일링 인자로 조정된다. ('B' 박스)

 

✔️ 믹싱 규제 (스타일 믹싱)

StyleGAN에서 동일한 코딩 z가 매핑 네트워크 f를 통해서 나온 W 하나로 계속 네트워크를 학습하다보면, 상관관계가 발생할 수 있다. 

* 예를 들어, 학습 데이터셋에서 드물게 대머리인 사람이 항상 선글라스를 착용하고 있는 데이터가 있을때, 

GAN은 학습 데이터의 분포와 비슷한 분포를 학습하다 보니 생성자가 "선글라스를 낀 사람 -> 대머리" 라고 상관관계를 갖게 학습이 되어, 무조건 선글라스 낀 사람을 대머리로 생성하는 과대 적합이 발생할 수 있다. 

 

이를 방지하기 위해 일정 비율의 이미지를 두 개의 다른 코딩으로 생성하는 기법을 이용한다.  

- 코딩 c1과 c2가 매핑 네트워크를 통과해 두 스타일 벡터 w1, w2를 생성한다.

- 그 후, 합성 네트워크가 초반에는 스타일 w1으로, 특정 layer 이후부터는 스타일 w2을 바탕으로 이미지를 생성한다.

* 이때, 스타일이 교체되는 layer는 매번 랜덤하게 결정된다

=> 이는 네트워크가 연속된 두 layer간의 스타일이 상관관계를 가진다고 가정하는 현상을 방지할 수 있다. 

잠재 표현(latent codes) sources A, B로 부터 생성된 두 이미지 세트와, source로 부터 복사한 스타일을 통해 생성한 이미지들   (StyleGAN 논문 figure 3)

- 두 latent code A, B로 부터 생성될 수 있는 두 이미지 세트와 

- 나머지 이미지들은 B로 부터 특정된 스타일을 복사하고, 그 외는 A로 부터 복사되어 생성된 이미지들

- B로부터의 Coarse style 을 복사하면, B의 포즈, 머리 스타일, 얼굴 모양, 안경 등 high-level의 측면이 나타나는 반면, finer 특징에 해당하는 모든 색상(눈, 머리색, 밝기) 등은 A와 유사하다. 

- 반면에 B로부터 Middle style을 복사하면, 얼굴의 세부 특징, 머리 색, 눈(감거나 뜬) 등이 B로 부터, 포즈나 얼굴 모양, 안경등을 A로부터 보존된다. 

- 마지막으로 B의 Fine style을 복사하면 B로부터 색 구성과 세부 특징들을 가져온 것을 볼 수 있다. 

 

---

💡 책에서 소개한 모델 외에도, GAN에는 이미 아주 많은 변종이 소개되었다. 

이번 장에서는 GAN의 주요 아이디어를 이해하는데 집중하고,

추가로 GAN을 직접 구현해보면 얻을 수 있는 것이 많을 것이다.

 

---

참고

 

StyleGAN

https://blog.promedius.ai/stylegan_1/

https://blog.promedius.ai/stylegan_2/

 

PGGAN

https://sensibilityit.tistory.com/508