딥페이크 정치인 영상, 조회수 100만 회 훌쩍…'진짜 같은' AI 영상 범람

윤석열 전 대통령이 단상에 서서 "제가 계엄을 선포한 진짜 이유는 여러분이 제가 보낸 릴스를 보지 않았기 때문입니다. 지금이라도 확인하고 답장하십시오. 마지막 기회입니다"라고 말합니다.

지난달 12일 인스타그램에 올라온 '뒤늦게 밝혀진 계엄의 진짜 이유'라는 제목의 릴스 영상입니다.

업로드 13일 만에 조회 수 117만 회를 넘겼습니다.

같은 계정에 이재명 대통령을 합성한 영상도 올라왔습니다.

"릴스를 지금 당장 확인하십시오. 제가 보낸 릴스를 지속적으로 읽지 않은 채로 유지하시는데 제가 그걸 모를 거라고 생각하십니까. 마지막 기회입니다. 지금 답장하십시오"라는 발언이 담겼고, 이 역시 100만 회 이상 클릭 됐습니다.

물론 가짜입니다.

해당 영상을 올린 채널의 소개란에 따르면, 모두 인공지능(AI) 비디오 제작 툴 'canny'로 만들었습니다.

영상 설명란에도 'AI 생성 영상입니다'라는 문구가 적혀 있습니다.

그럼에도 "와, 똑같아. AI 무섭다"(인스타그램 이용자 'yun***'), "진짜인 줄…"('yan***'), "이거 왜 이렇게 자연스러워"('zze***'), "기술 봐라"('gal***') 등 놀라움을 표하는 댓글이 쏟아졌습니다.

직장인 김 모(25) 씨는 지난달 29일 "친구가 보내 줘서 봤는데 처음엔 진짜인 줄 알고 놀랐다"며 "AI 기술이 무섭게 발전하고 있다는 것을 느꼈다"고 말했습니다.

소셜미디어(SNS)를 중심으로 확산하는 AI 영상과 음악이 날로 정교해지면서 이용자들을 혼란에 빠트리고 있습니다.

재미를 넘어 가짜 뉴스·사기 등 범죄 악용 위험성이 커지고 있습니다.

AI 영상은 특히 재난 상황이나 선거철에 큰 혼란을 야기할 수 있습니다.

러브버그가 기승을 부리던 지난 7월 초 참새가 러브버그를 쪼아 먹는 AI 영상을 실제 장면으로 오인한 일부 방송사가 '천적이 등장했다'는 오보를 낸 바 있습니다.

또 '7월 일본 대지진설'이 퍼진 가운데 거대한 파도가 일본 섬을 강타하는 지진해일 영상도 확산했습니다.

항공 촬영 영상으로 '일본 쓰나미, 일본을 위해 기도하자'(tsunami in japan, prayer for japan)라는 문구가 적힌 해당 영상은 170개가 넘는 페이스북 페이지에 퍼지는 등 화제를 모았으나, 역시 AI로 조작된 허위 영상이었다고 AFP 통신은 보도했습니다.

앞서 지난 1월 중국 서부 시짱(西藏·티베트)자치구에서 규모 7.1 지진이 발생하자 중국 소셜미디어에는 지진 잔해에 깔린 어린아이의 사진이 다수 공유됐습니다.

그러나 중국 경찰에 따르면 이 사진은 조작된 AI 합성 이미지였습니다.

지난 6월 대선을 앞두고도 대선 후보들의 얼굴과 음성을 조작한 AI 영상이 속속 올라왔습니다.

후보자가 "개가 짖냐"라거나 "계엄을 할 것"이라고 말하는 가짜 영상들입니다.

중앙선거관리위원회에 따르면, 후보자가 죄수복을 입고 감옥 안에 갇힌 이미지나 AI로 구현한 여성 아나운서를 이용해 뉴스 형식으로 후보자의 당선 또는 낙선을 도모하는 내용의 영상이 업로드되기도 했습니다.

이러한 AI 영상은 현실과 구분하기 어려워 혼란을 일으킵니다.

대학생 이 모(22) 씨는 "옛날에는 AI로 만들었는지 아닌지 쉽게 구별했는데 이제는 진짜 어려워졌다"며 "AI로 만든 영상인 줄 모르고 과제에 사용했다가 곤란을 겪은 적도 있다"고 밝혔습니다.

AI가 만든 음악도 사람들을 헛갈리게 합니다.

유튜브에 'AI 노래'를 검색하면 AI로 만든 음악을 모아둔 플레이리스트 영상이 수십 개 나옵니다.

관련 영상 댓글에는 "곡도 AI인가요? 헐"(유튜브 이용자 '꽁지머***'), "이게 다 AI가 부르는 거예요? 진짜로?"('luc***'), "무섭네요. 인간 목소리…일단 좋긴 좋은데"('반성없***') 같은 반응이 이어졌습니다.

급기야 AI가 만든 가짜 음반이 실제 가수의 이름을 걸고 주요 플랫폼에 유통되는 사례도 발생했습니다.

지난 23일(현지시간) 영국 BBC 방송에 따르면, 가수 에일리 포트먼은 음원 사이트에서 자신의 이름으로 등록된 음반 '오르카'(Orca)를 발견하고 충격을 받았습니다.

본인이 발매한 음반이 아니었기 때문입니다.

포트먼은 "명백히 AI로 생성된 것이지만, 내 음악을 영리하게 학습한 것 같았다"고 말했습니다.

음악가 조시 코프먼과 고인이 된 가수 블레이즈 폴리의 이름을 도용한 AI 신곡도 올라온 것으로 확인됐습니다.

앞서 지난해 전남교육청 글로컬 미래교육박람회 주제곡 공모전에서는 AI 프로그램으로 만든 노래 '세상에 소리쳐! 글로컬!'이 최우수작으로 뽑혀 논란이 됐습니다.

심사위원들조차 AI 작품임을 알아채지 못했던 것으로 알려졌습니다.

전남교육청은 공모 조건에 AI를 사용하지 말라는 내용이 없고, 해당 곡이 박람회 주제를 잘 담고 있다고 판단해 해당 곡을 최우수작으로 선정했습니다.

이런 가운데 특정 가수 목소리를 입힌 AI 커버곡이 인기를 끌기도 합니다.

딘 목소리로 노래 '뉴진스'를 커버한 AI 영상은 지난달 25일 기준 500만 조회수를 넘겼습니다.

해당 영상에는 "AI에 대한 인식 부정적이었는데 색다르게 보이기 시작하네…괜찮은 건가 싶으면서도 참 좋단 말이지"(유튜브 이용자 'BAK***'), "이렇게 들으니까 진짜 앨범에 있을 것 같다"('하나-***'), "위기감 느끼는데 이렇게라도 딘 목소리로 노래 듣는 게 반가워서 좋다"('김**'), "진짜 딘 같아서 계속 듣게 됨"('김경***') 등의 반응이 이어졌습니다.

AI 제작 툴이 나날이 발전하면서 'AI 티가 나지 않는' 콘텐츠가 갈수록 많아지고 있는 것이 혼란을 부추깁니다.

세계적으로 대유행한 '지프리풍 프사'가 창작자에 대한 모독이라는 지적을 받았지만 누가 봐도 'AI 제작'임을 알 수 있었다면, 최근 유행하는 AI 생성 프로그램 '나노바나나'는 남다른 현실적인 이미지 구현으로 인기를 얻고 있습니다.

한국형사·법무정책연구원에 따르면 딥페이크 관련 경찰 신고는 2021년 156건에서 지난해 964건으로 6배 이상 늘었습니다.

정부는 AI 영상에 '워터마크'를 의무적으로 표기하는 'AI 기본법'을 내년 1월 22일부터 시행합니다.

그러나 실효성에 대한 우려도 제기됩니다.

김덕진 세종사이버대 AI컴퓨터공학과 교수는 "임의로 사용자가 워터마크를 삭제할 가능성을 배제할 수 없다"며 "해당 법으로 100% 피해를 막을 수 있다고 단언하기엔 무리"라고 지적했습니다.

전문가들은 디지털 리터러시 역량(디지털 기기를 활용해 원하는 작업을 실행하고 필요한 정보를 얻을 수 있는 지식과 능력)을 기르는 것이 중요하다고 입을 모읍니다.

최용석 한양대 소프트웨어대학장은 "워터마크 표기 의무화는 생성형 AI 오남용을 제재하는 최소한의 안전장치일 뿐"이라며 "궁극적으로는 개개인이 생성형 AI 결과물을 분별하는 능력을 길러야 한다"고 짚었습니다.

최병호 고려대 AI연구소 교수 역시 "AI 콘텐츠가 개인이 육안으로 진위 여부를 식별하기 어려운 방향으로 발전하고 있기에 피해가 급증할 수밖에 없다"며 "콘텐츠가 진짜인지 의심부터 하는 새로운 문해력을 기르는 것이 필요하다"고 제언했습니다.윤석열 전 대통령이 단상에 서서 "제가 계엄을 선포한 진짜 이유는 여러분이 제가 보낸 릴스를 보지 않았기 때문입니다. 지금이라도 확인하고 답장하십시오. 마지막 기회입니다"라고 말합니다.

지난달 12일 인스타그램에 올라온 '뒤늦게 밝혀진 계엄의 진짜 이유'라는 제목의 릴스 영상입니다.

업로드 13일 만에 조회 수 117만 회를 넘겼습니다.

같은 계정에 이재명 대통령을 합성한 영상도 올라왔습니다.

"릴스를 지금 당장 확인하십시오. 제가 보낸 릴스를 지속적으로 읽지 않은 채로 유지하시는데 제가 그걸 모를 거라고 생각하십니까. 마지막 기회입니다. 지금 답장하십시오"라는 발언이 담겼고, 이 역시 100만 회 이상 클릭 됐습니다.

물론 가짜입니다.

해당 영상을 올린 채널의 소개란에 따르면, 모두 인공지능(AI) 비디오 제작 툴 'canny'로 만들었습니다.

영상 설명란에도 'AI 생성 영상입니다'라는 문구가 적혀 있습니다.

그럼에도 "와, 똑같아. AI 무섭다"(인스타그램 이용자 'yun***'), "진짜인 줄…"('yan***'), "이거 왜 이렇게 자연스러워"('zze***'), "기술 봐라"('gal***') 등 놀라움을 표하는 댓글이 쏟아졌습니다.

직장인 김 모(25) 씨는 지난달 29일 "친구가 보내 줘서 봤는데 처음엔 진짜인 줄 알고 놀랐다"며 "AI 기술이 무섭게 발전하고 있다는 것을 느꼈다"고 말했습니다.

소셜미디어(SNS)를 중심으로 확산하는 AI 영상과 음악이 날로 정교해지면서 이용자들을 혼란에 빠트리고 있습니다.

재미를 넘어 가짜 뉴스·사기 등 범죄 악용 위험성이 커지고 있습니다.

AI 영상은 특히 재난 상황이나 선거철에 큰 혼란을 야기할 수 있습니다.

러브버그가 기승을 부리던 지난 7월 초 참새가 러브버그를 쪼아 먹는 AI 영상을 실제 장면으로 오인한 일부 방송사가 '천적이 등장했다'는 오보를 낸 바 있습니다.

또 '7월 일본 대지진설'이 퍼진 가운데 거대한 파도가 일본 섬을 강타하는 지진해일 영상도 확산했습니다.

항공 촬영 영상으로 '일본 쓰나미, 일본을 위해 기도하자'(tsunami in japan, prayer for japan)라는 문구가 적힌 해당 영상은 170개가 넘는 페이스북 페이지에 퍼지는 등 화제를 모았으나, 역시 AI로 조작된 허위 영상이었다고 AFP 통신은 보도했습니다.

앞서 지난 1월 중국 서부 시짱(西藏·티베트)자치구에서 규모 7.1 지진이 발생하자 중국 소셜미디어에는 지진 잔해에 깔린 어린아이의 사진이 다수 공유됐습니다.

그러나 중국 경찰에 따르면 이 사진은 조작된 AI 합성 이미지였습니다.

지난 6월 대선을 앞두고도 대선 후보들의 얼굴과 음성을 조작한 AI 영상이 속속 올라왔습니다.

후보자가 "개가 짖냐"라거나 "계엄을 할 것"이라고 말하는 가짜 영상들입니다.

중앙선거관리위원회에 따르면, 후보자가 죄수복을 입고 감옥 안에 갇힌 이미지나 AI로 구현한 여성 아나운서를 이용해 뉴스 형식으로 후보자의 당선 또는 낙선을 도모하는 내용의 영상이 업로드되기도 했습니다.

이러한 AI 영상은 현실과 구분하기 어려워 혼란을 일으킵니다.

대학생 이 모(22) 씨는 "옛날에는 AI로 만들었는지 아닌지 쉽게 구별했는데 이제는 진짜 어려워졌다"며 "AI로 만든 영상인 줄 모르고 과제에 사용했다가 곤란을 겪은 적도 있다"고 밝혔습니다.

AI가 만든 음악도 사람들을 헛갈리게 합니다.

유튜브에 'AI 노래'를 검색하면 AI로 만든 음악을 모아둔 플레이리스트 영상이 수십 개 나옵니다.

관련 영상 댓글에는 "곡도 AI인가요? 헐"(유튜브 이용자 '꽁지머***'), "이게 다 AI가 부르는 거예요? 진짜로?"('luc***'), "무섭네요. 인간 목소리…일단 좋긴 좋은데"('반성없***') 같은 반응이 이어졌습니다.

급기야 AI가 만든 가짜 음반이 실제 가수의 이름을 걸고 주요 플랫폼에 유통되는 사례도 발생했습니다.

지난 23일(현지시간) 영국 BBC 방송에 따르면, 가수 에일리 포트먼은 음원 사이트에서 자신의 이름으로 등록된 음반 '오르카'(Orca)를 발견하고 충격을 받았습니다.

본인이 발매한 음반이 아니었기 때문입니다.

포트먼은 "명백히 AI로 생성된 것이지만, 내 음악을 영리하게 학습한 것 같았다"고 말했습니다.

음악가 조시 코프먼과 고인이 된 가수 블레이즈 폴리의 이름을 도용한 AI 신곡도 올라온 것으로 확인됐습니다.

앞서 지난해 전남교육청 글로컬 미래교육박람회 주제곡 공모전에서는 AI 프로그램으로 만든 노래 '세상에 소리쳐! 글로컬!'이 최우수작으로 뽑혀 논란이 됐습니다.

심사위원들조차 AI 작품임을 알아채지 못했던 것으로 알려졌습니다.

전남교육청은 공모 조건에 AI를 사용하지 말라는 내용이 없고, 해당 곡이 박람회 주제를 잘 담고 있다고 판단해 해당 곡을 최우수작으로 선정했습니다.

이런 가운데 특정 가수 목소리를 입힌 AI 커버곡이 인기를 끌기도 합니다.

딘 목소리로 노래 '뉴진스'를 커버한 AI 영상은 지난달 25일 기준 500만 조회수를 넘겼습니다.

해당 영상에는 "AI에 대한 인식 부정적이었는데 색다르게 보이기 시작하네…괜찮은 건가 싶으면서도 참 좋단 말이지"(유튜브 이용자 'BAK***'), "이렇게 들으니까 진짜 앨범에 있을 것 같다"('하나-***'), "위기감 느끼는데 이렇게라도 딘 목소리로 노래 듣는 게 반가워서 좋다"('김**'), "진짜 딘 같아서 계속 듣게 됨"('김경***') 등의 반응이 이어졌습니다.

AI 제작 툴이 나날이 발전하면서 'AI 티가 나지 않는' 콘텐츠가 갈수록 많아지고 있는 것이 혼란을 부추깁니다.

세계적으로 대유행한 '지프리풍 프사'가 창작자에 대한 모독이라는 지적을 받았지만 누가봐도 'AI 제작'임을 알 수 있었다면, 최근 유행하는 AI 생성 프로그램 '나노바나나'는 남다른 현실적인 이미지 구현으로 인기를 얻고 있습니다.

한국형사·법무정책연구원에 따르면 딥페이크 관련 경찰 신고는 2021년 156건에서 지난해 964건으로 6배 이상 늘었습니다.

정부는 AI 영상에 '워터마크'를 의무적으로 표기하는 'AI 기본법'을 내년 1월 22일부터 시행합니다.

그러나 실효성에 대한 우려도 제기됩니다.

김덕진 세종사이버대 AI컴퓨터공학과 교수는 "임의로 사용자가 워터마크를 삭제할 가능성을 배제할 수 없다"며 "해당 법으로 100% 피해를 막을 수 있다고 단언하기엔 무리"라고 지적했습니다.

전문가들은 디지털 리터러시 역량(디지털 기기를 활용해 원하는 작업을 실행하고 필요한 정보를 얻을 수 있는 지식과 능력)을 기르는 것이 중요하다고 입을 모읍니다.

최용석 한양대 소프트웨어대학장은 "워터마크 표기 의무화는 생성형 AI 오남용을 제재하는 최소한의 안전장치일 뿐"이라며 "궁극적으로는 개개인이 생성형 AI 결과물을 분별하는 능력을 길러야 한다"고 짚었습니다.

최병호 고려대 AI연구소 교수 역시 "AI 콘텐츠가 개인이 육안으로 진위 여부를 식별하기 어려운 방향으로 발전하고 있기에 피해가 급증할 수밖에 없다"며 "콘텐츠가 진짜인지 의심부터 하는 새로운 문해력을 기르는 것이 필요하다"고 제언했습니다.

(사진=인스타그램 'deleted.scene.kr' 영상 캡처, 연합뉴스)