페이크(AI 기술을 기반으로 만들어낸 가짜 이미지) 기술이 금융 사기를 비롯해 선거,
사회관계망서비스(SNS) 등 각종 분야에서 악용될 수 있다는 우려가 전 세계적으로 커지고 있다.
딥러닝(Deep learning)과 가짜(Fake)의 합성어인 딥페이크는 사진이나 영상뿐 아니라 목소리까지도 조작하며 허위 정보를 퍼뜨리는데 악용되는 사례가 늘고 있다.
▶ 딥페이크에 속아 2,500만 달러를 날렸다.
홍콩의 한 금융사 직원이 딥페이크로 만들어진 ‘가짜’ 이사와의 영상통화에 속아 2억 홍콩달러(2,565만 달러)를 송금하는 사기를 당했다.
홍콩 경찰 당국에 따르면 한 글로벌 금융사의 홍콩 지부에서 일하던 이 직원은 영국에 있는 회사의 최고재무책임자(CFO)로부터 거액의 돈을 비밀리에 거래할 것을 요구하는 이메일을 받았다.
수상한 요구에 처음엔 피싱 메일이라고 의심했던 이 직원은 이후 회사 동료 여러 명이 함께 참여한 화상 회의에서도 같은 지시를 받자 의심을 접고 2억 홍콩달러를 송금했다.
이 모든 게 사기였다는 사실은 이 직원이 나중에 회사 본사에 확인한 뒤에야 밝혀졌다.
사기꾼 일당은 CFO 뿐 아니라 화상회의에 참석했던 모든 직원의 얼굴을 딥페이크로 재현해 피해 직원을 속인 것으로 드러났다.
홍콩 경찰 당국자는 “여러 명이 참석한 화상 회의에서, 이 직원이 봤던 모든 사람들은 가짜였다”고 설명했다.
홍콩에서 딥페이크를 활용해 사람들을 속여 돈을 빼앗은 사례는 이번이 처음이 아니다.
이날 홍콩 경찰에 따르면 최근 체포된 한 사기 일당은 지난해 7월부터 9월까지 분실 신분증 8개를 도용해 만든 딥페이크 이미지로 은행 대출 90건을 받고 계좌 54개를 만들었다.
이외에도 최근 적발된 딥페이크를 악용한 사기 행각은 최소 스무 건에 달한다고 홍콩 경찰은 밝혔다.
▶ 팝스타 테일러 스위프트도 당했다.
팝스타 테일러 스위프트의 얼굴 사진이 합성된 음란한 이미지가 온라인상에서 확산됐다.
스위프트의 얼굴에 성적으로 노골적인 자세가 합성된 딥페이크 이미지가 소셜미디어 엑스(X, 옛 트위터) 등에서 확산했다. 이 이미지의 최초 출처는 불분명하지만 주로 X에서 공유됐고, 일부는 인스타그램이나 레딧 등에서도 발견됐다.
X는 관련 성명에서 “확인된 모든 이미지를 적극적으로 삭제하고 해당 이미지를 게시한 계정에 대해 적절한 조처를 했다”며 “추가적인 위반 사항이 발견되면 즉시 해결할 수 있도록 상황을 면밀히 모니터링하고 있다”고 밝혔다.
AI 탐지를 전문으로 하는 사이버보안업체 리얼리티 디펜더는 해당 이미지가 AI 모델을 사용해 생성된 것으로 90% 확신한다고 NYT에 밝혔다. 딥페이크를 연구하는 워싱턴대의 컴퓨터과학 교수 오런 에치오니는 “늘 인터넷의 어두운 저류에는 다양한 종류의 포르노가 존재해 왔다”며 “이제 우리는 AI가 생성한 노골적인 이미지의 쓰나미를 보게 될 것”이라고 말했다.
현재 AI를 이용해서 누군가의 모습을 모방해 합성한 딥페이크 사진을 당사자의 동의 없이 만들거나 공유하는 것을 금지하는 법률을 시행하고 있는 주들이 있지만, 연방 정부 차원의 규제는 없는 실정이다.
▶ 딥페이크가 선거전도 뒤흔든다.
얼마전 뉴햄프셔주에서는 마치 조 바이든 대통령의 목소리처럼 들리는 ‘가짜 전화’가 여기저기로 걸려 왔다.
코앞으로 다가온 민주당 뉴햄프셔주 프라이머리(예비경선)를 앞두고 투표를 거부하라고 독려하는 내용이었다. 말투까지 바이든 대통령과 흡사한 이 목소리는 교묘하게 위조된 것으로, 정확한 배후는 아직 드러나지 않았지만 대선 레이스에서 바이든 대통령에게 타격을 주기 위한 의도가 있는 것으로 추정됐다.
미 대선을 포함해 올해 세계 각국에서 굵직한 선거가 줄줄이 열리면서’오디오 딥페이크’를 악용하는 사례가 속출하고 있다.
오디오 딥페이크는 인공지능(AI)을 기반으로 음성을 합성하는 기술로, 문제는 각국에서 선거철을 앞두고 가짜 정보를 퍼트리는 수단으로 악용되고 있다는 점이다.
마치 정치인이나 유명 인사의 메시지인 것처럼 들리도록 조작된 음성을 퍼트려 불법 선거 운동을 한다는 것이다.
이처럼 음성 조작이 기승을 부리는 것은 영상을 조작하는 것보다 비용이 덜 들고, 기술적으로도 덜 복잡하며, 추적은 어렵기 때문이다.
실제로 마이크로소프트(MS)가 지난해 선보인 AI 음성 합성 모델 ‘발리’(VALL-E)의 경우 3초 길이의 음성 표본만 있으면 해당 목소리를 따라 하는 것이 가능하다.
이같은 음성 조작으로 특정 세력을 비방하거나 음모론을 퍼트릴 우려가 커지면서 각국에서도 대응 태세를 끌어올렸다. 하지만 맹점은 이처럼 AI로 조작된 음성은 주로 전화로 퍼진다는 점에서 출처를 추적하기가 쉽지 않다고 전문가들은 지적했다.
▶ 무섭게 진화하는 딥페이크… 실제와 똑같다.
딥페이크가 세상에 등장한 지 어느 정도 시간이 지났다. 초기에는 설마했던 이 신기술은 어느덧 엄청난 발전을 이뤘다.
보안업체 아이프루브(iProov)의 CTO 도미닉 포레스트(Dominic Forrest)는 “보안 전문가로서 수십 년 동안 가짜와 진짜를 구분하는 일을 해왔고, 그 일에 상당히 자신이 있었는데 2020년경 부터는 구분이 어렵다고 느꼈다”고 말한다.
바로 딥페이크 때문이다. 기술이 발전하면서 딥페이크에 접하기 쉽고 조작의 난이도가 상당히 낮아졌다는 것 역시 문제다.
포레스트는 “2010년대에만 하더라도 인공지능과 딥페이크를 다룬다는 건 고급 전문가의 영역이었다.
실제 작업의 난이도도 매우 높았고, 강력한 컴퓨터가 필요하기도 했다. 하지만 지금은 아니다. 간단한 앱을 무료로 다운로드 하거나 수십 달러 정도의 돈만내면 양질의 딥페이크 콘텐츠를 누구나 만들 수 있다.”고 말했다. 여러 가지 공격의 기술이 보편화 되고 있는데 그 중 하나가 ‘얼굴 스와핑(face swapping)’이다. 포레스트는 “얼굴 스와핑을 전문으로 하는 도구들은 현재 다크웹에 100개도 넘게 존재한다.
다크웹이 아니더라도, 정상적인 얼굴 스와핑 기술을 가진 앱들은 얼마든지 찾을 수 있다. 얼굴 스와핑은 신기한 인공지능 기술로 쳐주지도 않는다. 또 15달러만 내면 가짜 신분증을 순식간에 만들어주는 서비스도 다크웹에 나타나기 시작했다.
포토샵으로 사진을 진짜처럼 만들고 신분증을 한땀 한땀 위조하는 시대는 지나갔다.”
현재 만들어지는 딥페이크 영상은 맨 눈으로 보면 실제와 거의 구분이 되지 않는다.
▶ 딥페이크의 피해자가 되지 않으려면…
인공지능과 딥페이크 기술은 빠르게 발전하고 있고, 기술적인 제한에 의한 구분은 더욱 불가능하게 될 것으로 모두가 예상하고 있다.
딥페이크 구분을 우습게 생각해서는 곧 딥페이크로 인한 사기 공격의 피해자가 될 수 있다는 뜻이다.
포레스트는 사람이 맨눈으로 딥페이크로 만든 영상을 보고 진짜와 가짜를 식별하는 건 이미 불가능하다고 강조한다. 그는 “그렇게 할 수 있다고 주장하는 사람들은 진짜 고급 딥페이크가 만든 결과물을 보지 못한 것 뿐이라고 생각한다.
사람의 감각이나 느낌으로 딥페이크와 진짜를 구분하겠다는 건 매우 무모하고 시대착오적인 발언이다.
인간의 한계를 넘어설 수 있다고 말하는 것과 다름이 없다.”고 덧붙였다. 보안 업체 베리다스(Veridas)의 총괄인 케빈 브릴랜드(Kevin Vreeland)는 “보는 것마다 ‘이게 진짜일까, 가짜일까’ 고민한다고 해서 구분이 쉬워지는 건 아니”라고 강조한다. 그는 “직원을 딥페이크로부터 보호하려는 기업의 입장에서라면, 가공된 혹은 합성된 콘텐츠가 아예 직원에게 도달하지 못하도록 하면 된다.
알지 못하는 번호나 메일 주소로 전달되는 콘텐츠라든가, 특정 지역에서부터 오는 연락이 자동으로 차단되도록 하는 식으로 정책을 조정하는 게 필요하다. 또한 특정 금액 이상의 돈을 송금할 때 여러 단계의 승인을 받도록 규정으로 정해도 피해를 최소화할 수 있다.”라고 전한다. 하지만 그것이 완벽한 해결책이 될 수는 없다. 어떠한 해결책이 나온다해도 이를 피해 갈 딥페이크의 기술 또한 발전할 것이기 때문이다.
무엇보다 우리가 딥페이크의 중흥기에 살고 있다는 것을 자각해야 한다. 보이는 것이 진짜가 아님을, 들리는 것이 진짜가 아님을…
속고 있을 가능성이 있음을 늘 염두에 두어야 한다.
리빙트렌드 편집팀
