[SDF 다이어리] 메타버스 창시자에게 배운 '아바타와의 소통의 비밀'

오늘은  '메타버스'의 창시자 SF작가 닐 스티븐슨과 같이 기술적으로 의미있는 시도를 했던 <SBS D포럼(약칭 SDF)>에서의 닐 스티븐슨 작가 '아바타' 구현에 대한 비밀을 공개하고자 합니다. 바로 3D라이브 모션 캡처 기술에 대한 이야기입니다.

SDF는 2004년부터 일반 뉴스에서는 깊이 있게 들여다보기 힘든 우리 사회의 본질적인 문제들을 관찰하고 그 해법을 모색하기 위해 지난 2004년부터 SBS 보도본부 미래팀에서 기획해온 SBS의 대표 사회공헌 지식나눔 플랫폼입니다. 특히 지상파 방송의 공적책임에 걸맞는 '어젠다 세팅'뿐 아니라 어떤식의 '스토리텔링'이 더 많은 사람들의 관심을 얻고 공감을 받을 수 있을지, 그리고 기술적으로는 어떤 새로운 경험을  SDF 플랫폼을 통해 나눌 수 있을 지를 SDF는 항상 고민해왔습니다.

올해는 특히 ‘메타버스’, ‘아바타’라는 말을 1990년대에 처음 만들어낸 SF작가 닐 스티븐슨이 SDF 연사로 나섰습니다. 그가 국내 무대에 모습을 드러낸 것은 SDF가 처음이었기 때문에 그만큼 의미있는 메타버스 경험을 찾아야 했습니다. 

닐 스티븐슨 작가와 포럼에 앞서 가진 사전 미팅에서 어떤 식으로 ‘메타버스’를 구현하면 좋을지 상의하다 3D 아바타로 무대에 등장하면 어떨까 제안했습니다. 그랬더니 작가가 직접 추천해준 업체가 실리콘밸리에 본사를 두고 있는 캐릭터·애니메이션 제작 솔루션 전문개발 업체 ‘리얼루전’이었습니다. 
 

지난 14일, '리얼루전'의 존 마틴 부사장에게 SBS D포럼과의 작업이 어땠는지 물었습니다.
인터뷰에 응해주셔서 감사합니다. 닐 스티븐슨 3D 모션 캡처 아바타 프로젝트를 같이 할 수 있어 좋았습니다. 저희가 갑자기 연락했을 때 어떠셨는지 궁금합니다.

저희도 굉장히 들떴습니다. 그 유명한 작가 닐 스티븐슨이라니요. 이후 SBS와 D포럼에 대해서도 알아보게 되었는데 확정된 연사들과 다루는 화두들을 보고는 너무 놀랐습니다. 같이 할 수 있어서 저희도 너무 좋았습니다.

닐 스티븐슨이 직접 추천해주셔서 리얼루전에 대해 알게 되었는데요. 과거 닐 스티븐슨과 일한 경험이 있으신가요?

아니요. 하지만 그의 팬입니다. 그는 ‘메타버스’와 ‘아바타’의 아버지잖아요. 그의 모든 작업을 항상 예의주시하고 있었고요. 디지털 캐릭터와 애니메이션이 사방에 적용되기 시작하면서 사실 그의 작업을 기리고 있었다고도 볼 수 있습니다. 그의 작업은 저희 일에 항상 많은 영감을 줍니다.

저희는 근본적으로는 디지털 캐릭터를 만드는 일을 하고 있는데요. 이번 SBS D포럼에서 닐 스티븐슨이 아바타에 대해 내린 정의가 굉장히 마음에 듭니다. 닐 스티븐슨은  아바타가 “디지털 세상에서 시각적, 음향적 기능의 구현이 가능한 우리의 모습”이라고 정의했는데요. 그렇게 정의하면 구현할 수 있는 디지털 캐릭터의 가능성이 정말 무궁무진해집니다.

 <리얼루전에서 제작한 다양한 버전의 '닐 스티븐슨' 아바타>

 

닐 스티븐슨의 캐릭터를 구현하시면서 가장 신경 썼던 부분은 무엇인가요?

저희는 주로 캐릭터를 만들고 동작을 하게 하는 부분을 맡았는데요. 의상이 강연 중에 교체되기를 원하셔서 각기 다른 의상을 입은 닐을 제작해야 했고요. 닐 스티븐슨이 직접 전하고 싶은 얘기를 전신 모습의 영상으로 보내줘서, 그 영상의 오디오를 캐릭터에 입힐 수 있었습니다. 저는 저희가 6000마일 이상 떨어져 있었지만 원하는 모습을 같이 구현해낼 수 있었다고 생각합니다. 에픽게임즈까지 참여하면서 너무나 멋진 콜라보가 되었습니다.

<리얼루전에서 제작한 다양한 버전의 '닐 스티븐슨' 아바타>

 

한국도 그래픽 디자인에는 뛰어난 업체들이 많이 있는데요. 그럼에도 저희가 3D 모션 캡처를 하고자 한다 했을 때 해본 곳이 그리 많지 않더라고요.

이러한 거대 프로젝트의 경우 여러 파트가 관여하게 됩니다. 캐릭터 관련도 있고요. 얼마나 비슷하게 구현해낼 수 있는지 관련도 있고요. 얼마나 다양한 의상을 구현할 수 있는지도 관련이 있고요. 음성 관련, 립싱크 부분이 있고요. 동작을 구현하는 모션 캡처 부분도 있습니다. 그리고 이 모두를 툴을 이용해 합치는 기술이 요구됩니다. 그 결과로 무대 위에 활력을 구현하게 되는 것인데요. 그게 우리 기술의 핵심입니다.


<닐 스티븐슨 아바타의 음성 립싱크를 위해 사전 제작한 닐 스티븐슨 작가의 영상>

그리고 또 하나 이게 가능했던 것은 저희 조직이 상대적으로 좀 작아서 더 민첩하게 여러 상황에 대처할 수 있었다고 생각합니다. 아무래도 큰 조직은 빠르고 민첩하게 대응하기가 쉽지 않죠. 이번 프로젝트에 저희 쪽에서는 5~6명 정도가 참여했습니다. 또한 이러한 기술들이 점점  ‘실시간성’이 중요해지고 있는데요. 여러 대형 스튜디오들도 이제는 점점 실시간에 대처하는 툴이나 실시간에 대한 인식이 바뀌고 있습니다만 아무래도 과거 해오던 관행을 넘어서는데에 아직은 제약이 있습니다. 저희가 이번에 같이 하면서 실시간 기술의 좋은 사례를 제시할 수 있어 무척 기쁩니다.

프리즘과 에픽게임즈까지 같이 작업한 최종 버전을 보고는 어떠셨습니까?

재미있었습니다. 특히 SBS D포럼 강연장에 AR형태로 아바타가 나타나게 한 것이 정말 멋지다 생각했습니다. 저는 포럼 앞쪽에 한국 대선 후보들 세션부터 보고 있었거든요. 너무 인상적이었습니다. 저는 평소 미국 정치에 엄청 관심이 많고, 정치인들의 이모저모에 항상 관심을 가져왔는데요. 대선 주자들의 강연이 포함된 것이 너무 좋았습니다. 거기에 닐 스티븐슨도 있었지요. <오징어 게임>의 감독도 있었지요. 저 같이 미국 켄터키주에서 보고 있던 사람의 입장에서도 너무 멋진 연사들이 많았습니다. 몇 시간을 봤는지 모르겠습니다. 친구들에게도 “이거 한번 봐봐 엄청 멋져”하고 소개하기도 했고요.

실시간 3D모션캡처 기술은 점점 더 많이 사용될 것이라 생각됩니다. SBS가 이러한 기술을 용기 있게 시도한 첫 사례이지만 이런 실시간성 사례들은 늘어날 것이라 생각합니다. 미국 미디어에서도 최근 이러한 아바타를 활용한 사례들이 점점 나타나고 있습니다. 현재 미국 TV방송에서는 아바타 가수들의 경진대회까지 열리고 있습니다.

<미국 FOX방송의 얼터이고(Alter Ego)라는 아바타 가수들의 경진대회 프로그램>

저희 회사도 지난해 페이스북과 페이스북 워치(Facebook Watch)에서 힙합 스타 카디 비 부부가 게임 속으로 들어가 게임 캐릭터가 되는 체험을 하게 해주었는가 하면, 가수 트웬티 원 파일럿츠와 작업했습니다. 미디어에서는 음악산업에서 버추얼 포퍼먼스에 대한 관심이 특히 높아지고 있습니다.

<미국 유명 래퍼 카디 비 부부의 게임 캐릭터 되기 체험- 페이스북 워치 프로그램 제작 장면 @리얼루전>

저희 입장에서는 닐 스티븐슨의 아바타를 사람들이 정말 ‘닐 스티븐슨’이라 느끼기를 원했고, 다른 한편으로는 아바타니까 현실 세계에서는 할 수 없는 것을 할 수 있기도 바랐거든요.

저는 사회자가 정식으로 연사를 소개하고나서 닐 스티븐슨 아바타가 SBS D포럼의 실제 무대의 AR에 나타난 것, 그리고 버추얼 세상에서 실제 현실 세계로 전환되는 부분에서 닐 스티븐슨 아바타가 책을 가슴에 얹고 사라졌는데, 실제 닐 스티븐슨이 샌프란시스코에서 책을 가슴에 얹고 나타나 이야기를 이어가는 부분이 참 잘 연결됐다고 생각됐습니다.

<닐 스티븐슨 아바타에서 진짜 닐 스티븐슨으로 전환하는 과정 ('스노 크래시' 책을 매개로 연결)>
 

저도 닐 스티븐슨의 아바타가 강연을 하는데 사람들이 아바타의 말에 집중하고 몰입하는 부분이 신기했습니다. 독특한 경험이라고 느꼈는데요. 비법이 뭘까요?

방금 하신 질문에 답이 있다고 생각하는데요. 제 생각에  비법은 콘텐츠입니다. 그 아바타가 어떤 말을 하고 어떤 행동을 하는지가 중요하다는 것이죠. 버추얼 세상에 아무리 많은 아바타가 내 주변에 있다고 하더라도 또 그 아바타가 아무리 진짜 실사처럼 보인다 하더라도 특별히 뭘 하고 있지 않다면 의미를 찾을 수 없을 것입니다.

내 옆에 있는 아바타가 용이든 게임의 캐릭터이든 진짜 내가 아는 사람이든, 수동적으로 보기만 해야한다면 흥미가 금방 없어질 것입니다.  상호작용이 중요합니다. 함께 뭔가를 하고 있다고 느껴야 합니다. 그래서 결국 어떤 콘텐츠냐가 관건입니다. SBS D포럼이 했던 것처럼 말입니다. 닐 스티븐슨의 아바타가 하는 얘기가 흥미로웠고, 사람들이 그의 얘기를 듣고 싶어 했기 때문에 아바타인줄 알면서도 집중할 수 있었습니다. 

닐에게 아바타를 처음 봤을 때 어떻게 느꼈냐고 물었더니 “수염을 더 길게 만들어서 나이가 좀 들어 보이네요. 하지만 괜찮아요. 덕분에 더 현명해 보여요” 라고 말하더라고요. 특히 얼굴 부분 제작에 많은 공을 들인 것으로 아는데요.

저희가 고민했던 부분은 현재의 닐 스티븐슨을 반영하고 싶기도 했지만, 존경의 의미로 그의 책의 캐릭터도 동시에 반영하고 싶었습니다. 그래서 <스노 크래시>의 주인공 프로타고니스트가 메타버스에서 입고 다닐 것 같은 옷과 검을 장착한 모습을 만들었습니다. 또 연사 닐 스티븐슨으로서 어울릴만한 셔츠와 바지를 입은 모습, 그리고 조금더 SF스러운 모습까지 여러가지를 제작했습니다.

만약 그가 수염이 너무 길다 했다면 그 정도 피드백은 받아들일 수 있습니다. 이발시켜 드리겠습니다. 작가님이 마음에 들어 했다니 기쁘고 그가 전해준 오디오와 영상에서 캐릭터가 살아나는 과정을 보는 것이 멋졌습니다.


<SBS D포럼 2021 ['메타버스' 창시자 닐 스티븐슨 작가와의 대담] 세션 전체영상> 

닐 스티븐슨 작가에게 물었던 같은 질문을 드리겠습니다. 부사장님은 벌써 본인의 캐릭터가 있을지도 모르겠습니다만, 만약 무엇이든 될 수 있다면 지금과 비슷한 모습의 캐릭터가 되고 싶으신가요 완전히 다른 모습의 캐릭터가 되고 싶으신가요?

제 모습 그대로의 캐릭터를 만들고 싶은 마음도 있습니다. 왜냐하면 그것이 훨씬 어렵기 때문에 도전이 될 수 있기 때문입니다. 하지만 지금의 모습은 이미 지금 세상에서 가진 모습이니까 다른 세상에서는 다른 모습이고 싶기도 합니다. 하늘을 날 수 있어도 좋을 것 같습니다. 저는 벌새를 굉장히 좋아하는데, 벌새 모습의 캐릭터도 좋을 것 같아요. 아니면 커다란 용도 좋을 것 같구요. 아바타는 굉장히 재밌고 언제든 변할 수도 있습니다. 질문에 답을 다시 한다면 매번 변할 것 같습니다. 어쩌면 매일매일 바뀔 수도 있고 종종 바뀔 수도 있을 겁니다. 그때그때 다르겠죠. 어쩌면 다른 세상에서는 이름표를 달고 다녀야 할 지도 모르겠습니다. 제가 만날 때마다 다른 캐릭터가 되어 있어 사람들이 저를 알아보지 못할 수도 있기 때문입니다.

다른 세상에서는 또 다른 많은 멀티 페르소나를 보여주시겠군요.

네, 드디어 제가 온전하게 이해될 지도 모르겠습니다.

마지막으로 윤리적인 이슈에 대해 여쭙고 싶습니다. 기술이 좋아지다 보니 이제는 진짜 사람인지 캐릭터인지 구분하기 어려운 지경에까지 왔지요. '이거 괜찮을까' 우려되는 면도 있습니다. 혹시 누가 내 정체성을 도용하면 어떻게 하나 하는 걱정도 들게 되는데요. 현재 업계에서 가장 우려하는 윤리적인 이슈는 무엇인가요?

AI와 머신러닝이 발전하면서 딥페이크[1]나 디지털 더블[2] 같은 이슈들에 벌써 우려가 제기되고 있습니다. 저희가 사용자들에게 툴을 제공할 때 사실은 여러가지를 구현할 수 있는 자유를 주거든요. 그럼에도 그 툴을 어떻게 활용할 것인지에 대한 책임은 개개인 모두가 같이 져야 한다고 생각합니다.

<조든 필 영화 감독의 음성에 美 오바마 대통령의 모습을 합성한 이미지> : 2018년 미국 온라인 미디어 '버즈피드'가 딥페이크의 위험성을 경고하기 위해 기획한 프로젝트 --원본 영상은 "여기" 클릭!

현재 유튜브에 보면 톰 크루즈 딥페이크 영상이나 오바마 전 미국대통령 딥페이크 영상 등을 쉽게 볼 수 있는데요. 아직까지는 그게 딥페이크라는 것을 저희가 인지하니까 재밌거나 웃기다 생각되는데 좀더 날카로운 시선으로 이런 이슈들을 들여다봐야 하는 부분이 분명 있다고 생각합니다. 

[1] 인공지능(AI) 기술을 이용해 제작된 가짜 동영상 또는 제작 프로세스. 딥러닝(deep learning)과 페이크(fake)의 합성어.

[2] 실제 사람의 얼굴을 촬영한 후 움직임을 가상의 얼굴로 재현해 내는 기술. 이 기술을 이용하면 실제보다 젊거나 늙은 인물을 연기할 때 과거처럼 분장의 힘을 빌리지 않아도 된다고 한다. 

영화 협엽 장면" data-captionyn="N" id="i201621114" src="https://static.sbsdlab.co.kr/image/thumb_default.png" class="lazy" data-src="//img.sbs.co.kr/newimg/news/20211223/201621114.png" style="display:block; margin:20px auto" v_height="694" v_width="750">                                 <'리얼루전'의 키아누 리브스 주연의 영화 '레플리카'와의 협엽 장면> @Reallusion
 

리얼루전은 올 초 개봉된 제임스 건 감독의 영화 <수어사이드 스쿼드>, 그리고 2018년 개봉된 키아누 리브스 주연의 <레플리카>에도 참여한 세계 최고수준의 캐릭터 개발 업체인데요. 올해 SBS D포럼이 리얼루전과 함께 콜라보 할 수 있었던 것은 순전히 연사였던 닐 스티븐슨 작가가 직접 추천해주고 연결해준 덕이지만 존 마틴 부사장은 역설적이게도 팬데믹이 가져다 준 기회이기도 하다고 전했습니다. 

과거 방식이 더 이상 제대로 작동하지 않는 시기가 되면서 이전이라면 생각하지 못했을 빛나는 순간들도  나타나기 시작했다는 건데요. 이전보다 글로벌하게 더 많이 연결되고 기회가 더 열리고 같이 일할 수 있는 여지가 더 커졌다는 겁니다. 그러면서 SBS D포럼과의 콜라보도 그런 순간이었다고 전했습니다.

닐 스티븐슨 세션의 메타버스 체험은 캐릭터를 만들어준 리얼루전 외에도 에픽게임즈와의 협업이 있어 가능했는데요. ‘에픽게임즈’와의 인터뷰는 1월 중 추가로 전해드리겠습니다. 2탄 에픽게임즈도 많은 관심 부탁드립니다!