어느 날 내 얼굴이 합성된 사진이 SNS에 돌고 있다면? 생각만해도 끔찍한 이 일이 월드스타 테일러 스위프트에게 일어났다. 테일러 스위프트는 투어를 다니는 도시마다 수만의 팬들이 유입, 일대 상권이 특수를 맞는다고 하여 '테일러노믹스(Taylornomics)'라는 신조어를 탄생시키고 지난 해에는 타임(Time)의 '올해의 인물'로 선정될 만큼 막강한 영향력을 가진 최고의 스타로 꼽힌다.

현재, 유포했던 SNS 계정들은 정지되고 이미지는 삭제됐지만 딥페이크(Deepfake)로 만들어진 스위프트의 외설적인 이미지는 4700만회 넘게 조회됐다고 알려졌다.

딥페이크는 '딥러닝(deep learning)'과 '가짜(fake)'의 합성어로 AI에 특정 이미지, 오디오, 비디오를 학습시켜 만든 가짜를 의미한다. 딥페이크의 위험성은 가짜 정보를 마치 진짜 정보인 것처럼 표현할 수 있다는 점에 있다. 얼굴을 바꾸거나 딥보이스로 목소리를 똑같이 재연하면 마치 실제 인물이 말하고 움직인 것처럼 착각할 수 있어 진실과 상관없이 부정확한 정보를 전파하거나 명예 훼손, 프라이버시 침해 등의 피해가 생길 수 있다. 최근에는 사기나 보이스 피싱에도 자주 등장한다.

워싱턴포스트는 스위프트의 딥페이크 이미지를 계기로 AI를 이용한 가짜 이미지 생성에 강한 규제가 필요하다는 여론이 일고 있다고 전했다. 현재 미국에서는 9개 주에서 당사자의 동의 없이 AI 딥페이크 사진을 만들거나 공유하는 것을 금지하고 있지만 연방 정부 차원의 규제는 없는 상태다.

정치권도 딥페이크에 골머리를 앓고 있다. 올해는 전 세계 약 70개국에서 선거를 치르는 '슈퍼 선거의 해'이다. 그간 AI 기술이 민주주의를 위협할 것이라는 우려가 종종 들려왔지만 생성형AI가 대중화되면서 우려는 현실이 되고 있다.

얼마 전 미국에서는 조 바이든 대통령의 '가짜 목소리' 가 유권자들을 혼란에 빠뜨렸다. 민주당 대선후보를 뽑는 프라이머리(예비경선)를 하루 앞두고 대통령으로부터 '투표 거부' 독려 전화가 걸려온 것이다. 결국 누군가 조작한 음성 딥페이크로 밝혀졌지만 사법당국은 조작자와 유포 진원지를 찾는데 어려움을 겪고 있다. 전화로 전달되는 오디오파일은 디지털 흔적을 남기지 않기 때문이다. 블룸버그는 '가짜 전화'에 직접 영향을 받는 건 수백, 수천 표 정도밖에 안 되겠지만 이로 인해 생겨나는 결과와 사회적 파장은 무시할 수 없을 것이라 평했다.

실제로 지난해 튀르키에와 슬로바키아에서는 AI 콘텐츠가 선거에 큰 영향을 미쳤다. 튀르키에 대선에서는 테러단체 인사가 여당 후보를 지지하는 딥페이크 영상이 퍼졌고 슬로바키아에서는 야당 후보가 선거 조작을 논의하는 딥보이스 가짜대화 영상이 유포되어 집권당의 승리에 결정적인 영향을 미쳤다. 결국 사실처럼 보이는 가짜가 사실을 이긴 셈이다.

이제 선거에 있어 딥페이크는 최대 위협 요소가 되었다. 편집이 쉬운데다 생산비용도 저렴하다. 게다가 SNS에는 AI에게 학습시킬 정치인의 데이터가 넘쳐나지 않는가? 누구든 그럴듯한 메시지와 유권자 데이터베이스만 있으면 언제든 딥페이크로 선거판을 흔들 수 있게 되었다.

그래서인지 딥페이크를 가려내는 기술에 관한 국제사회의 관심이 뜨겁다. 네이처는 2024년 혁신이 기대되는 흥미로운 기술로 가장 먼저 AI 딥페이크 판별기술을 꼽았다. 한마디로 AI로 AI를 잡는, 고양이와 쥐 게임의 시작이다.

인텔이 개발한 '페이크캐처(FakeCatcher)'는 딥페이크 영상이나 사진에 나타난 오류를 탐지한다. 영상을 밀리초(ms, 1000분의 1초)로 쪼개 어색한 점을 찾아낸다. 살아있는 사람의 영상은 얼굴에 미세한 혈류의 변화가 나타나는 반면 딥페이크로 조작된 영상은 뭔가 어색하다. 페이크캐처는 육안으로 식별되지 않는 혈류의 차이를 발견하는 기술로 약 96%의 판별 정확도를 보인다.

딥페이크 탐지 모델인 센티널(Sentinel)은 AI 알고리즘이 원본 동영상에 나온 인물을 학습해, 조작된 동영상에서 어떻게 달라졌는지 찾아내어 딥페이크 영상 여부를 판별한다.

우리나라 기업인 딥브레인AI는 음성의 주파수와 시간, 가상 얼굴 생성 기능 등을 통해 목소리와 영상의 진위 여부를 판단한다.

빅테크인 구글, 마이크로소프트, 메타, 아마존 등은 자발적으로 생성 AI 콘텐츠에 워터마크를 표기하기로 했다. AI가 생성한 콘텐츠를 식별할 수 있도록 만들어 악용될 가능성을 사전에 차단하자는 의도다.

딥페이크 기술 자체를 막자는 의견도 있다. 하지만 모든 기술이 그렇듯 딥페이크도 양면성을 갖는다. 게임, 엔터테인먼트, 교육 산업분야에선 다양한 용도로 효율적으로 사용될 수 있고 AR(증강현실), VR(가상현실) 등과 결합하면 기대 이상의 결과를 얻을 수 있다. 딥페이크는 쉽게 포기할 수 있는 기술이 아니다.

결론은 부작용을 막고 적재적소에만 효과적으로 활용할 수 있도록 법적 규제와 제도를 더욱 꼼꼼히 정비해야 한다는 것이다.

우리나라는 총선을 앞두고 '딥페이크 선거운동 금지법'이 국회를 통과했다. 선거일 90일 전부터 딥페이크를 활용한 선거운동을 할 수 없으며 이를 위반하면 7년 이하의 징역 또는 1000만 원 이상 5000만 원 이하 벌금에 처한다.

미국 하원은 '딥페이크 책임성법'을 발의했다. 고도화된 딥페이크 기술로부터 피해를 예방하고 사회 질서를 지키는 내용으로 구체적으로 온라인에 올라간 모든 딥페이크 콘텐츠에 라벨을 부착해야 하며 딥페이크 동영상으로 허위 사칭한 것에 대해 처벌할 수 있고 피해자는 소송을 통해 보상을 받을 수 있다.

미국 코넬대 세라 크렙스 교수와 더그 크리너 교수는 'AI는 어떻게 민주주의를 위협하는가'라는 논문에서 "객관적 사실을 포기하거나 뉴스에서 사실을 분별하는 능력을 포기하면 민주주의 사회의 기반인 신뢰가 무너질 수 있다"고 주장했다.

AI 기술로 진실의 개념 자체가 불안정해지고 있는 이 시대, 기어를 중립에 두고 모든 것을 확인하고 검증해보는 비판적인 시각이 무엇보다 중요해지고 있다. 지나친 자기확신에 의존하기 보다 매사 신중하게 접근하는 겸손한 사고를 훈련하는 것이 필요하다.

◇하민회 이미지21대표(코가로보틱스 마케팅자문) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표, 코가로보틱스 마케팅자문△경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등