[핸즈온 머신러닝] 17장(4) - GAN, 생성적 적대 신경망

🏃 이전 글 # 변이형 오토인코더, Variational AutoEncoder

[핸즈온 머신러닝] 17장(3) - 변이형 오토인코더, Variational AutoEncoder

---

17. 9 생성적 적대 신경망

- 2014년 논문에서 제안된 아이디어로, 획기적이지만 GAN 훈련의 어려움을 극복하는 데 많은 시간이 걸렸음

- 신경망을 서로 겨루게 하고 경쟁을 통해 신경망을 향상하는 것을 기대함

 

생성자

랜덤한 분포(ex. 가우시안 분포)를 입력으로 받아 이미지와 같은 데이터를 출력

- 랜덤한 입력은 생성할 이미지의 잠재 표현(=코딩)

- 변이형 오토인코더의 디코더와 같은 기능 (가우시안 잡음 -> 새로운 이미지 생성, 훈련 방식은 다름)

✔️ 목표:  판별자를 속일 만큼 진짜 같은 이미지 생성

 

판별자

생성자에서 얻은 가짜 이미지나 훈련 세트에서 추출한 진짜 이미지를 입력으로 받아, 입력된 이미지가 가짜인지 진짜인지 구분함

✔️ 목표: 진짜 이미지와 가짜 이미지를 잘 구분

생성적 적대 신경망, GAN (출처: https://hyeongminlee.github.io/post/gan001_gan/)

GAN은 다른 목표를 가진 두 네트워크로 구성되므로, 훈련 반복이 두 단계로 이루어짐

📌 단계 1 # 판별자 훈련

- 훈련 세트에서 실제 이미지 배치를 샘플링하고

- 생성자에서 생성한 동일한 수의 가짜 이미지를 합침

- 가짜 이미지의 레이블은 0, 진짜 이미지는 1로 세팅

- 판별자는 이진 크로스 엔트로피를 사용해 한 스텝 동안 위처럼 레이블된 배치로 훈련

- 이 단계에서, 역전파는 판별자의 가중치만 최적화

 

📌 단계 2 # 생성자 훈련

- 생성자를 사용해 다른 가짜 이미지 배치를 만듦

- 그 후, 판별자를 사용해 이미지가 진짜인지 가짜인지 판별함

- 배치에 진짜 이미지를 추가하지 않고, 레이블을 모두 1(진짜)로 세팅

-> 즉, 생성자는 판별자가 진짜라고 믿을만한 이미지를 만드는 것이 목적

-> 생성자가 만든 가짜데이터를 판별자가 실제 데이터라고 추정할 확률을 최대화하도록 학습

- 판별자의 가중치를 동결해, 역전파는 생성자의 가중치에만 영향 

- 생성자가 입력으로 받는 것은 판별자를 통해 전달되는 그래디언트가 전부

-> 즉, 생성자는 진짜 이미지를 보지 않고, 판별자의 반응만을 보고 학습을 함

 

---

패션 MNIST 데이터셋으로 GAN 학습하기 

1. 생성자와 판별자 생성

codings_size = 30

generator = keras.models.Sequential([
    keras.layers.Dense(100, activation="selu", input_shape=[codings_size]),
    keras.layers.Dense(150, activation="selu"),
    keras.layers.Dense(28 * 28, activation="sigmoid"),
    keras.layers.Reshape([28, 28])
])
discriminator = keras.models.Sequential([
    keras.layers.Flatten(input_shape=[28, 28]),
    keras.layers.Dense(150, activation="selu"),
    keras.layers.Dense(100, activation="selu"),
    keras.layers.Dense(1, activation="sigmoid")
])
gan = keras.models.Sequential([generator, discriminator])

- 생성자는 오토인코더의 디코더와 비슷한 모습

- 판별자는 일반적인 이진 분류기 (이미지 입력, 하나의 유닛, sigmoid의 Dense층)

- 훈련 반복의 두 번째 단계에서 생성자와 판별자가 연결된 전체 GAN 모델 필요

2. GAN 모델 컴파일

discriminator.compile(loss="binary_crossentropy", optimizer="rmsprop")
discriminator.trainable = False
gan.compile(loss="binary_crossentropy", optimizer="rmsprop")

- 판별자는 이진 분류기이므로, 이진 크로스 엔트로피 손실 사용

- 생성자는 gan 모델을 통해서만 훈련되므로, 따로 컴파일할 필요X

- gan 모델도 이진 분류기이므로, 이진 크로스 엔트로피 손실 사용

* 두 번째 단계에서 판별자를 훈련하지 않음 -> gan 모델을 컴파일하기 전에 판별자가 훈련되지 않도록 설정

 

📝 trainable 속성 : 모델을 컴파일할 때만 영향을 미침

-  위 코드 실행 후, discriminator의 fit() 또는 train_on_batch()를 호출해도, 판별자는 훈련됨
- 반면, gan 모델의 method을 호출할 때는 훈련되지 않음

3. 이미지를 순회하는 Dataset 생성

batch_size = 32
dataset = tf.data.Dataset.from_tensor_slices(X_train).shuffle(1000)
dataset = dataset.batch(batch_size, drop_remainder=True).prefetch(1)

4. 훈련 반복 코드 구현

- 훈련이 일반적인 반복이 아니기 때문에, fit() method를 사용하지 않음

- 사용자 정의 훈련 반복문을 만들어 사용

def train_gan(gan, dataset, batch_size, codings_size, n_epochs=50):
    generator, discriminator = gan.layers
    for epoch in range(n_epochs):
        for X_batch in dataset:
            # 판별자 훈련
            noise = tf.random.normal(shape=[batch_size, codings_size])
            generated_images = generator(noise)
            X_fake_and_real = tf.concat([generated_images, X_batch], axis=0)
            y1 = tf.constant([[0.]] * batch_size + [[1.]] * batch_size)
            discriminator.trainable = True
            discriminator.train_on_batch(X_fake_and_real, y1)
            # 생성자 훈련
            noise = tf.random.normal(shape=[batch_size, codings_size])
            y2 = tf.constant([[1.]] * batch_size)
            discriminator.trainable = False
            gan.train_on_batch(noise, y2)
            
 train_gan(gan, dataset, batch_size, codings_size)

첫 번째 단계

- 가우시안 잡음을 생성자에 주입하여 가짜 이미지를 생성

- 생성한 이미지와 동일한 개수의 진짜 이미지를 합쳐 배치를 구성

- 타깃 y1은 가짜 이미지일 경우 0, 진짜 이미지일 경우 1로 설정

- 이 배치에서 판별자를 훈련

 

두 번째 단계

- GAN에 가우시안 잡음을 주입

- 생성자가 먼저 가짜 이미지를 생성하고, 판별자가 그 이미지가 가짜인지 진짜인지 추측

- 판별자가 가짜 이미지를 진짜로 믿게 만들고 싶기 때문에, 타깃 y2를 1로 지정

5. 생성된 이미지 출력

첫 번째 epoch이 끝난 후 GAN이 생성한 이미지

- 첫 번째 epoch에서 패션 MNIST처럼 보이는 이미지를 생성한 모습

- 하지만 이보다 더 좋은 이미지가 생성되지 않고, 오히려 어떤 epoch에서는 GAN이 학습한 것을 잊어버린 듯한 모습을 보임

 

---

17. 9. 1 GAN 훈련의 어려움

훈련 과정에서 생성자와 판별자는 끊임없이 서로 앞서려고함 -> 제로섬 게임

=> 이에 따라, 훈련이 내시 균형이라는 상태에 도달할 수 있음

 

✔️ 내시 균형

다른 플레이어가 전략을 수정하지 않을 것이므로, 어떤 플레이어도 자신의 전략을 수정하지 않는 상태

ex. 모든 사람이 도로 왼쪽으로 운전할 때, 어떤 운전자도 반대 방향으로 운전하는 것이 도움이 되지 않는 상태

-> 이 예시에서는, 균형에 다다르는 최적 전략이 있음 = 다른 사람과 동일한 방향으로 운전하기

- 내시 균형 하나는 경쟁 전략도 포괄할 수 있음

ex. 포식자는 먹이를 쫓고 먹이감은 도망침 -> 둘 다 전략을 바꾸지 않을 것

 

GAN은 하나의 내시 균형에만 도달할 수 있음

- 생성자가 완벽하게 실제와 같은 이미지를 만들어내, 판별자가 추측밖에 할 수 없을 때 

=> 즉, 판별자가 50% 확률로 정답을 맞추는 상태를 유지하게 될 때

- GAN을 충분히 훈련하면 완벽한 생성자를 만들어 이 균형에 도달하겠지만, 보장할 수 없음

=> 이때 가장 큰 어려움은 모드 붕괴

 

📌 어려움 1 # 모드 붕괴

생성자의 출력의 다양성이 줄어들 때 발생

 

🤔 생성자가 다른 클래스보다 신발을 더 그럴듯하게 만든다고 가정

1. 신발이 판별자를 속이기 쉽기 때문에, 더 많은 신발 이미지를 만들도록 유도됨

 -> 생성자는 점차 다른 이미지를 생성하는 방법을 잊게 됨

2. 그동안 판별자가 보게 될 가짜 이미지는, 신발이 유일하게 될 것

 -> 따라서 판별자도 다른 클래스의 가짜 이미지를 구별하는 방법을 잊어버리게 됨

3. 판별자가 신발을 잘 구별하게 되면, 생성자는 다른 클래스로 옮겨가야 함

 -> 셔츠로 옮겨가서 잘 훈련을 하게되면, 신발에 대해서는 또 잊어버리게 됨

4. 그렇게 되면, 판별자도 뒤따라 가게 됨

 

=> 결론적으로, 이 GAN은 몇 개의 클래스를 오가다가, 어떤 클래스에서도 좋은 결과를 만들지 못할 수 있음

 

📌 어려움 2 # 파라미터의 변동

생성자와 판별자가 지속적으로 서로에게 영향을 주어, 파라미터 변동이 크고, 불안정해질 수 있음

- 훈련이 안정적으로 시작되어도, 이유 없이 갑자기 발산할 수 있음

 

=> 여러 요인이 이런 복잡한 관계에 영향을 주어 GAN의 하이퍼파라미터는 매우 민감하며, 이런 하이퍼파라미터 튜닝을 위해서 많은 노력이 필요

 

---

 

위와 같은 문제들로, 이 주제와 관련된 논문이 많이 출간되었음

- 새로운 비용 함수를 제안하거나 (-> 2018년 구글 논문에서, 이런 함수들의 효율성에 의문 제기)

- 안정적으로 훈련하거나, 모드 붕괴를 피하기 위한 기법을 제안

 

안정적인 훈련을 위한 방법?

✔️ 경험 재생

- 매 반복에서 생성자가 만든 이미지를 재생 버퍼에 저장하고

- 실제 이미지와 이 버퍼에서 뽑은 가짜 이미지를 더해 판별자를 훈련

=> 판별자가 생성자의 가장 최근 출력에 과대적합될 가능성을 줄임

 

✔️ 미니배치 판별

- 배치 간에 얼마나 비슷한 이미지가 있는지 측정하여, 이 통계를 판별자에게 제공

- 판별자는 다양성이 부족한 가짜 이미지 배치 전체를 쉽게 거부할 수 있음

=> 생성자가 다양한 이미지를 생성하도록 유도해, 모드 붕괴의 위험을 줄임

 

다른 논문들에서는, 훈련이 잘 수행되는 네트워크 구조를 제안하기도 함

 

---

 

💡 결론적으로, 이 분야는 여전히 활발히 연구 중이며, GAN의 역학은 아직 완벽하게 파악하지 못함

하지만 많은 진전이 있었고, 일부 모델은 매우 뛰어난 성능을 보여주었음

 

---

🏃 다음 글 # 여러가지 GAN 모델 : DCGAN, ProGAN, StyleGAN

[핸즈온 머신러닝] 17장(5) - DCGAN, ProGAN, StyleGAN