deview 2023 day2 참석 후기

값비싼 Diffusion model을 받드는 저비용 MLOps - 김태훈 (Symbiote AI)

• 발표자료
• 예전부터 흠모팔로잉 하고 있던 carpedm20님의 발표… 연예인 보는 느낌이

Diffusion model이란 무엇인가? (기존 모델과의 차이?)

Diffusion model is [Multimodal, Image Generation model, with diffusion process]

결국 이미지 생성 모델인데, 다음과 같은 특징을 가진다.

• Multimodal 이란?
  • Singlemodal은 이미지만 input으로 받는 모델
  • Multimodal은 이미지 + 설명 text를 input으로 받는 모델
• diffusion process 란?
  • GAN은 한 번에 최종 결과 image를 출력.
  • 반면 Diffusion process는 noise 낀 중간 단계의 image를 출력하고, 다시 그 출력 image를 input으로 해서 noise를 제거하고… 이런 과정을 반복해서 최종 image까지 여러번 입출력을 돌리는 과정을 말함.

Diffusion Model의 단점 = 반복하므로 eval이 느리고, 리소스가 많이 들고, 학습이 느리다.

모델을 빠르게 해야 함. 해결 방향성 2가지. 모델다이어트와 스텝다이어트. (distillation. 증류 라는 단어를 쓴다.)

• 모델 다이어트? (Knowledge Distillation )
  • 모델이 클 수록 느리고 비용이 크므로, 모델을 줄이자.
  • 거대한 기존 모델을 Teacher Network로 두고, 상대적으로 작은 Student Network 구조를 짠 다음, 같은 input이 주어졌을 때 각 layer의 output이Teacher와같은 값을 내놓도록 Student를 학습시킨다.
• 스텝 다이어트? (Distillation of diffusion step )
  • 스텝을 압축한 모델을 학습.a이미지를 넣었을 때 a10을 결과로 내도록 모델을 재학습하는 방식.
  • 예를 들어 50번 반복하는 diffusion model이 있을 때, 새로운 Model의 1번 반복 결과가 기존 Model이 10번 반복한 결과와 동일한 결과를 내놓도록 새로운 모델을 학습시킨다. (=> 새로운 모델로는 5번만 반복해도 기존 Model이 50번 반복한 것과 같은 효과)

Symbiote AI의 엣지?

• AI에 대한 이해도
• 시장과 유저