예전 큰 뉴스가 되었던 딥페이크 영상이 아직도 이슈가 되고 있는데요 미국 대선에서 오바마 대통령이 트럼프를 욕하는 딥페이크 영상이 대표적이라고 할 수 있습니다
전문가들도 정확하게 확인할 수 없을 정도로 너무나도 정교하고 진짜같은 기술이기 때문에 앞으로도 큰 문제가 되고 있는 것이죠
딥페이크 영상 만드는법
하지만 기술발전에 따라서 이런 영상은 점점 늘어날것이고 호기심 많은 분들은 어떻게 만드는지 궁금해할 수도 있을것 같아서 한번 모든 과정을 설명드려볼까 합니다
먼저 딥페이크 영상 만들기를 위해서 딥페이스랩 (deepfacelab) 프로그램이 있어야 합니다
다운로드 방법은 해당 사이트 주소로 가셔서 직접 다운로드 받아주시면 되는데요
자신의 컴퓨터 그래픽카드 종류에따라서 받아야하는 프로그램 버전이 달라질 수 있기 때문에 이점은 꼭 주의하셔서 진행하셔야곘죠
▶ 딥페이크 프로그램 다운로드 출처 바로가기(링크) ◀
공식 사이트에서는 인비디아 그래픽카드를 정식지원하지만 AMD는 더이상 지원하지 않는다고 발표를 했죠
하지만 위에있는 OPENCL 버전으로 진행할 수 있습니다
글로 설명드리는것보다 영상으로 직접 확인해보시면 이해가 빠르시겠죠
딥페이크 영상 제작 과정
물론 처음에는 어려워보여도 몇번 따라해보시면 그렇게 어렵지 않은것을 알 수 있습니다
전체적인 과정을 살펴보면 2개의 폴더와 나머지 1번 ~ 10번까지 배치파일들이 있는것을 알 수 있죠 번호순서대로 설명을 드려보자면……
1번 : workspace 비우기
2번 : 소스영상 이미지 추출
3번 : 목적영상 이미지 추출
4번 : 소스영상 얼굴 이미지 추출
5번 : 목적영상 얼굴 이미지 추출
6번 : 트레이닝(딥러닝)
7번 : 딥페이크 영상 이미지 합성
8번 : 딥페이크 영상 최종 레코딩
전체적으로 보면 위 단계로 구성되어 있습니다 세부적인 사항은 위에 영상으로도 잘 설명이 되어 있는데요
작업시 주의해야 하는 사항들이 있습니다
주의사항
4번과 5번 딥러닝 영상 얼굴 추출 후 물체나 손에 얼굴이 가려진 부분이 나올 수 있습니다
이런 경우 얼굴을 제외한 나머지 부분을 잘라줘야 이미지가 깔끔하게 나오게 됩니다 물론 위에서 설명드린 딥페이스랩 프로그램 내에도 자르는 기능들이 있지만
다른 툴들을 이용해서 잘라서 이용하시면 되니 참고하시면 좋을것 같습니다
트레이닝(train Quick96) 과정
다음으로 6번 트레이닝 과정을 설명드리면 Quick96 모드와 SAEHD 모드가 있는 것을 알 수 있습니다
퀵모드는 말그대로 빠르게 영상 결과물만 보고자 할때 진행하는 것이고 SAEHD 모드는 섬세하면서도 정확한 결과물을 출력할때 진행하는 것이라고 생각하시면 됩니다
트레이닝 기간은 최소 하루 이상을 추천드리지만 그래프가 작업이 진행할 수록 점점 아래로 내려가는 양상을 보이게 됩니다
하지만 위로 올라가는 경우 오버 트레이닝이 되는 경우이기 때문에 이런 경우 중지해주셔야 합니다
보통 위에 표시된 숫자가 소수점 2쨰자리 까지 가게 될떄가 적정 트레이닝 수치라고 할 수 있으니 참고하시길 바랍니다
영상 합성(merged Quick96)
다음으로 머지 과정인데요 영상을 합성하고 이미지들을 입히는 과정이라고 할 수 있습니다
주의사항은 만약 위에 트레이닝 과정에서 Quick96으로 진행하셨다면 머지 과정도 Quick96으로 똑같이 진행하셔야 한다는 점이죠
여러가지 필터 효과들이 있고 얼굴 크기, 색깔 선명도 등을 세밀하게 조정할 수 있기 떄문에 단축키를 확인하셔서 직접 설정해주시면 됩니다
필터값 모두 적용하기 : Shift + /
프레임 앞으로가기 : >
프리임 뒤로가기 : <
필터값은 각 딥러닝 영상 배경 색과 비슷한 색으로 선택하셔서 수치를 올리거나 내려주시면 됩니다
최종 영상 렝더링(merged to mp4)
이제 합성된 영상을 렌더링 해서 뽑아내면 됩니다 8번까지 하셨으면 모두 완려한것이니 이제 최종 딥페이크 영상을 확인해보시면 됩니다
workspace 폴더 안 result 라고 영상이 생성된것을 볼 수 있습니다 실행하셔서 재생해보시면 완벽한 딥페이크 영상이 만들어졌습니다
얼굴만 다르고 자연스럽게 합성되어 있는것을 확인할 수 있습니다
딥페이크 프로그램 사용법 영상
얼굴 합성 어플 REFACE / Jiggy 사용법
reface-얼굴-합성
반드시 컴퓨터(PC)에서만 얼굴 합성이 가능한것은 아닙니다 모바일에서도 더욱 쉽게 할 수 있죠
하지만 아무래도 PC에서 하는것보다 정교하게 나오진 않습니다 어디까지나 간편하면서도 재미를 가미해서 나오는 것이니까요
아래 관련 포스팅도 따로올려드리니 관심있는 분들은 참고하시면 좋을것 같습니다
▶ 모바일 딥페이크 어플을 이용한 얼굴 합성방법(링크) ◀
모자이크 제거 프로그램
모자이크파괴
영상 합성과 더불어 큰 인기를 끌고있는 모자이크 제거 방법에 대해서 물어보는 분들이 많은데요
관련 글도 소개해드리니 참고해보시면 도움 되실겁니다
▶ 동영상 모자이크제거 javplayer 다운로드 사용법 (링크) ◀
javplayer 설정 방법과 동영상 모자이크파괴 방법 • 애니메이션 저장소
javplayer 설정 방법을 통핸 모자이크제거 방법에 대해서 살펴보도록 하겠습니다 렌더링 시간 단축을 위한 CPU 및 GPU (CUDA) 선택을 할 수 있는 옵션이 있는데요 자신의 컴퓨터 성능에 맞도록 추가파
lifestudy.co.kr
사실 예전부터 큰 화제가 되었던 프로그램이기도 하죠 모르셨던 분들은 참고해보시면 도움 되실겁니다
댓글