딥 페이크를 아시나요? - 노블레스닷컴

Latest News

    FEATURE
  • 2021-01-12

딥 페이크를 아시나요?

오늘날 기술의 양면성을 제대로 보여주는 딥 페이크의 현재와 미래.

딥페이크로 누구나 쉽게 영상 속 얼굴을 바꾸는 것이 가능하다.

얼마 전 유튜브에서 기이한 영상을 봤다. 김정은 북한 국무위원장이 민주주의를 논하는 영상. 그는 유창한 영어로 “민주주의는 약하다. 선거가 실패하면 민주주의는 사라진다”고 지적하며 “국민은 분열됐고, 선거구는 조작됐다. 투표소가 폐쇄되면 수백만이 투표를 못 한다”고 했다. 이어 “민주주의가 무너지는 건 쉽다. 당신이 할 수 있는 것은 아무것도 없다”며 웃음 지었다. 이 엄청난 소식이 왜 공중파 뉴스를 도배하지 않은 건지 의문이 들었지만, 곧 영상 해시태그를 보고 이해가 갔다. 딥페이크(deepfake) 영상이다.
이 영상은 미국의 비영리단체 리프리젠트어스(RepresentUs)가 대선 투표를 독려하기 위해 제작한 공익광고다. 본래 폭스뉴스와 CNN 등에 내보내려 했지만, 막판에 거부당한 것으로 알려졌다. 그럴 만도 하다. 에디터처럼 딥페이크를 어렴풋이 아는 사람도 깜빡 속는데, 모르는 사람이 보면 진짜로 받아들일 만큼 정교하니 말이다. 그럼 이쯤에서 질문. 딥페이크는 무엇일까? 딥러닝(deep learning)과 가짜(fake)의 합성어로, 인공지능을 통해 영상 속 인물에게 다른 사람의 얼굴을 자연스럽게 덧입히는 기술이다. 언뜻 보면 완전히 새로운 개념은 아니다. 과거에도 영상에 다른 이미지를 합성하는 기술은 있었으니까. 하지만 이들의 가장 큰 차이는 인공지능의 존재 여부다. 과거에는 사람이 영상을 프레임 단위로 쪼개 한 땀 한 땀 합성해야 했지만, 이제는 그 역할을 인공지능이 대신한다. 인간은 그저 다양한 각도에서 촬영한 얼굴 사진을 입력하기만 하면 된다. 그러면 인공지능이 인간의 울고 웃는 표정은 물론, 눈의 깜빡임과 입술의 떨림까지 잡아준다. 하나 덧붙이면 딥페이크는 접근성도 뛰어나다. 누구나 ‘딥페이스랩(Deepfacelab)’이나 ‘페이스스왑(Faceswap)’ 같은 딥페이크 제작 프로그램을 다운받을 수 있고, 사용법만 충분히 익히면 전문가 뺨치는 합성 영상을 만드는 게 가능하다.





딥페이크와 유사한 디에이징 기술을 적용한 영화 <아이리시맨>. 사진 제공 넷플릭스

여러모로 눈이 휘둥그레지는 기술이지만, 아직 불완전한 부분이 많다. 인공지능은 그 특성상 아직 특수한 상황에 제대로 대처하지 못한다. 예컨대 얼굴 근처에 다른 물체가 있거나, 얼굴이 반쯤 화면에서 벗어나 있거나, 독특한 표정을 지으면 괴상한 결과물이 나오거나 아예 합성에 실패하는 식. 또 어디까지나 얼굴을 바꾸는 기술인 만큼, 원래 인물과 합성할 인물의 얼굴형이 크게 다르면 결과가 자연스럽지 않다. 하지만 기술이 하루가 다르게 발전하는 만큼, 이러한 단점도 조만간 보완할 가능성이 높다.
딥페이크를 가장 흥미롭게 활용하는 곳은 바로 미술계다. 지난 2019년 페이스북 CEO 마크 저커버그가 등장하는 딥페이크 작품으로 화제를 모은 미디어 아티스트 빌 포스터를 비롯해 이 기술을 활용한 다양한 작가의 작품이 등장하고 있는 것. 그중 에디터가 본 가장 인상적인 사례는 미국 플로리다주 세인트피터즈버그에 있는 달리 미술관(The Dal Museum)의 비디오 설치 작품 ‘달리 라이브(Dal Lives)’다. 달리 미술관은 이 기술을 통해 초현실주의의 거장 살바도르 달리를 30년 만에 되살려냈다. 그 방법은 이랬다. 달리와 닮은꼴 배우를 섭외해 달리의 일상을 연기하게 했고, 영상 등 아카이브 자료를 활용해 딥페이크로 달리의 얼굴을 합성했다. 그 결과 쌍방향으로 소통하는 작품이 탄생했다. 작품 속 달리는 실제 달리가 남긴 말과 현시점에서 지어낸 말을 적절히 섞어 관람객과 대화하고, 스마트폰을 꺼내 셀카를 찍기도 한다. 달리는 살아생전에 “내가 세상을 떠나더라도 완전히 죽게 되지는 않을 것”이라는 말을 남겼는데, 혹시 그때부터 이미 딥페이크의 등장을 예견한 건 아닐까?
대중가요계에서도 딥페이크를 활용한 사례를 찾을 수 있다. 미국의 힙합 그룹 블랙아이드피스(Black Eyed Peas)는 지난 8월 신곡 ‘Action’의 뮤직비디오에 딥페이크를 도입했다. 노래 제목과 신나는 비트에 걸맞게 코믹한 액션 영화의 여러 장면을 차용했는데, 여기에 멤버들의 얼굴을 덧붙였다. 합성 퀄리티가 썩 좋진 않지만, 그 자체로 독특한 매력을 풍겨 즐겁게 감상할 수 있다. 하지만 뮤직비디오가 마냥 가볍기만 한 건 아니다. 블랙아이드피스는 영상 말미에 “우리에겐 인공지능이 있지만, 여전히 가짜 뉴스와 사실을 구분할 수 없다. 그렇다면 딥페이크는 다룰 수 있겠는가? 화면을 믿지 말라!”라는 진중한 메시지를 넣는 것도 잊지 않았다.
영화계에서는 생각보다 딥페이크 활용도가 떨어지는 편이다. 현재 기술이 영화가 요구하는 높은 해상도를 만족시키지 못하기 때문. 스마트폰으로 보기엔 괜찮아도, 대형 화면으로 감상하면 어색함이 부각되는 것이다. 다만 딥페이크는 아니지만, 인공지능을 활용한 비슷한 기술 디에이징(de-aging)은 이미 광범위하게 활용 중이다. 대표적 예로 마틴 스코세이지 감독의 2019년 작품 <아이리시맨>에는 디에이징을 통해 젊어진 대배우 로버트 드니로와 알파치노가 등장한다. 특수 카메라를 동원해 배우의 연기를 촬영한 후, 그들의 젊은 시절 영화에서 얼굴 데이터를 수집해 합성하는 방식으로 이를 실현했다. 아카데미 시상식 시각효과상 후보에 오를 만큼 좋은 효과를 냈지만, 디에이징 활용에 넷플릭스 역대 최대 제작비가 투입된 것이 팩트. 업계 관계자들은 구현하기 쉽고 저렴하면서도 동일한 효과를 내는 딥페이크가 좀 더 발전하면 디에이징을 대체할 것이라고 입을 모은다.





비디오 설치 작품 ‘달리 라이브’를 감상하는 관람객들. ©Salvador Dal Museum, Inc. St. Petersburg, FL 2020

사실, 현재 딥페이크를 가장 많이 활용하는 분야는 따로 있다. 네덜란드의 사이버 보안 기업 딥트레이스(DeepTrace)의 2019년 보고서에 따르면, 온라인에 떠돌아다니는 딥페이크 영상 중 96%가 포르노물이다. 주요 타깃은 유명 연예인. 그뿐만이 아니다. 딥페이크는 그럴듯한 가짜 뉴스를 만드는 데도 유용하게 쓰인다. 앞서 언급한 김정은 북한 국무위원장의 영상처럼, 유명 정치인의 얼굴을 덧씌운 악의적인 딥페이크 영상은 사회적 혼란을 야기할 소지가 있다. 딥페이크의 위험성이 부각되자 기술 오남용을 막기 위해 국가와 기업이 나섰다. 미국 캘리포니아주는 선거일 전 60일 이내에 공직 후보의 딥페이크 영상을 배포하는 걸 법으로 금지했다. 중국은 예전부터 딥페이크 영상에 명확히 ‘딥페이크’라고 표시하도록 했는데, 이것만으로 부족했는지 최근 몇몇 관련 애플리케이션을 삭제하라고 지시한 것으로 알려졌다. 우리나라는 지난 6월부터 성폭력 범죄의 처벌 등에 관한 특례법 개정안을 시행 중이다. 딥페이크 포르노 영상을 제작 및 배포하면 5년 이하의 징역 또는 5000만 원 이하의 벌금형에 처하는 것이 골자. 한편, 페이스북은 2020년부터 게시된 민감한 주제의 딥페이크 영상을 삭제하고 있다. 이러한 조치에 대해 페이스북 글로벌 규정 관리 부사장 모니카 비커트는 “산업계와 사회에 중대한 위기를 가져오고 있기 때문”이라는 입장을 밝혔다. 더불어 이들은 딥페이크 탐지 기술 개발을 촉진하기 위해 ‘딥페이크 탐지 챌린지(DFDC)’를 개최, 대회에서 확보한 10만 개 이상의 데이터 세트를 공개하기도 했다.
말도 많고 탈도 많은 기술, 딥페이크를 어떻게 바라봐야 할까? 축구 스타 데이비드 베컴이 9개 언어로 말하는 ‘말라리아 머스트 다이(Malaria Must Die)’ 캠페인 영상에 딥페이크를 활용한 것을 보면, 기술이 선의를 품을 때 얼마나 아름다운 결과를 만들어내는지 알 수 있다. 기술은 그 자체로 선하거나 악하지 않다. 그것을 활용하는 인간의 의도가 중요할 뿐이다.

 

에디터 황제웅(jewoong@noblesse.com)

관련 기사

페이지 처음으로