close

취재

새로운 가능성일까, 선 넘은 도전일까? '너를 만났다'를 통해 만난 VR

무균 (송주상 기자) | 2020-05-04 08:08:30

이 기사는 아래 플랫폼에서도 볼 수 있습니다.

기술은 가치중립 한가?

독일의 철학자 한스 요나스는 기술 자체와 달리, 과학 기술의 결과가 모호하기 때문에 기술에도 윤리적인 성찰이 필요하다고 주장했다. 선한 의도가 악한 결과를 낳을 수도 있다는 것이다. 이런 주장과 관련있는 일이 국내에도 발생했다. 올해 2월에 방영된 MBC 휴먼 다큐멘터리 <너를 만났다>다.


<너를 만났다>는 VR(가상 현실) 기술로 먼저 하늘로 간 딸을 가상 공간에 재현해 모녀를 다시 만날 수 있게 했다. 방영 이후, 많은 관심과 논란이 이어졌다. 오락성 콘텐츠에 치중하던 VR 기술의 새로운 가능성을 보여줬다는 평가와 가상 현실에서의 만남 이후의 후유증에 대한 견해가 치열하게 대립했다. 

2020년, VR 기술이 새로운 지평을 만나고 있다. <하프라이프: 알릭스>가 VR 게임의 가능성을 이야기했다면, <너를 만났다>는 VR기술에 특이점이 오고 있음을 알렸다. VR 기술의 '다음'을 논하기에 앞서, 지금까지의 마일스톤을 다시 한번 확인하는 것이 필요하다. <너를 만났다> 제작진을 만나 다큐멘터리 제작에 관한 이야기와 의미에 대해 들었다.

※ 인터뷰는 서면으로 코로나19 확산 방지를 위해 서면으로 진행됐습니다.

 

 

VR 기술을 사용한 이유? 상호 작용과 몰입감 위한 선택

 

▲ 김종우 MBC PC (자료 제공: MBC '탐나는 TV')

다큐멘터리의 시작은 김종우 MBC PD의 기획이었다. 그는 '하늘에 있는 가족을 다시 만난다'라는 모티브로 프로그램을 기획하고 있었고, 그러던 중 사실적으로 구현된 CG에서 영감을 얻었다. 하지만 그의 고민은 더 깊어졌다. 어떤 방식을 통해서 가족의 재회를 구현하는 게 좋을까?

 

기획 초기, 김종우 PD는 단순 영상 CG를 고려했다. 하지만 영상 CG는 상호작용이 불가능하다. 동영상과 큰 차이가 없는 수준이다. 이어서 AR(증강 현실)도 고려했지만, 몰입감을 위해 VR로 결정했다. 김 PD는 "VR은 공간 안에서 상대와 상호작용이 가능하다는 점에서 완전히 다른 경험을 제공한다"라며 "'만난다'라는 느낌을 주리라 기대했다"라고 설명했다.

▲ 비브스튜디오스가 제작한 시네마틱 트레일러 '에란겔의 첫 생존자'

VR을 구현한 VFX(시각효과)업체 비브스튜디오스는 <너를 만났다> 이전까지는 오락 콘텐츠 중심으로 제작했다. 많은 게이머가 봤던 <배틀그라운드>의 시네마틱 트레일러 '에란겔의 첫 생존자'도 비브스튜디오스의 작품이다. <너를 만났다>는 비브스튜디오스 입장에서도 기존과는 다른 결의 작품인 셈이다. 

비브스튜디오스 측은 "오락 요소가 강했던 VR 분야에 새로운 영역을 개척할 수 있는 기회"라고 다큐멘터리 제작 참여 이유를 밝혔다. 그들은 무엇보다 "(비브스튜디오스) 기술이 사람들을 위로하고 감동을 줄 수 있다"는 기대감에 작업을 시작했다며, 수익 등은 전혀 고려 사항이 아니었다고 전했다.

 

 

기억을 토대로 만든 '단 한 명을 위한 VR'

 

▲ VR 속 '나연이'는 '고인에 대한 모독' 등 많은 윤리적 논란을 낳기도 했다.

 

다큐멘터리 제작진이 꼽은 가장 큰 어려움은 '진정성'이었다. 다큐멘터리는 하늘에 먼저 간 어린 딸과 엄마의 재회다. 자칫 시청률을 위해 선 넘은 주제를 고의로 선택했다고 비칠 위험이 있기 때문이다.

 

김종우 PD는 처음에는 진정성이 느껴지는 가상 현실이 만들어질지에 관한 의문도 들었고, 이런 시도에 참여할 가족이 있을지에 대해서도 확신이 없었다. 특히, 김 PD는 "한 사람이 가진 특유의 느낌을 기술적으로 구현하는 것이 가장 어려웠다"라며 진정성 있는 재현의 어려움에 관해 토로했다.

이런 어려움 속에서 김종우 PD는 나연이 엄마인 장지성씨에 집중했다. 김 PD는 "(너를 만났다는) 단 한 사람을 위한 VR"이라며, "(장지성씨에게 있는) '나만 알고 있는' 기억에 대한 분석이 필요했다"라고 말했다. 

▲ VR 속에 구현된 노을공원. 모녀의 특별한 장소다

현실적으로 VR에 한 명의 사람을 구현하는 것은 기술적으로도, 제작 여건상으로도 큰 어려움이 따른다. 이런 상황에서도 김종우 PD는 장지성씨의 기억을 바탕으로 한 구현은 포기하지 않았다. 그는 "엄마가 기억하는 나연이의 모든 모습과 행동들, 표정들을 분석하고 반영하려 노력했다"라고 설명했다.

<너를 만났다> 배경이 '노을공원'인 점도 장지성씨 기억을 바탕으로 결정된 것이다. 노을공원은 모녀 둘만의 기억이 있는 특별한 장소다. 여기에 김종우 PD는 "스토리는 나연이가 ‘그곳에 잘 있다’라는 모습을 보여줬다"라며, "설사 그것이 가짜라고 해도 엄마에게 약간의 안심을 줄 수 있도록 구성했다"라고 스토리 기획 의도를 밝혔다. 김 PD의 세심한 배려이자 그가 자식을 잃은 부모에게 건넨 위로인 셈이다.

 

 

비브스튜디오스가 정한 기준 3가지 - 존중 · 경험 · 전달

▲ 비브스튜디오스를 대표하여 질문에 답한 김성수 비브스튜디오스 R&D 센터 연구소장(CRO)

'진정성'에 어려움을 겪은 것은 비브스튜디오스도 마찬가지다. 특히, 직접 재현하는 입장에서 부담감은 배로 다가왔다. 오락성 콘텐츠 위주로 제작한 비브스튜디오스는 <너를 만났다>와 같은 감성적인 접근이 처음이었다. 그들은 기존의 방식대로 진행하면서, 문제가 있는 부분을 수정하는 방식으로 VR을 제작했다.

 

테스트 이후, 비브스튜디오스는 "딸을 잃은 엄마가 낯선 가상 공간에서 평정심을 유지한 채 논리적인 사고에 기반한 여러 미션을 수행하는 것은 쉬운 일이 아니다"라며 조심스러운 접근이 필요하다는 사실을 알게 됐다. 또, "촬영 기회가 단 한 번밖에 없다는 점도 부담스러운 부분"이라고 설명했다.

이런 부분을 해결하기 위해, 제작사는 크게 3가지 기준을 정했다. '존중 · 경험 · 전달'이었다. 

처음에는 음성 인식과 AI를 통해 나연이 캐릭터의 반응을 자동화하려고 했다. 하지만, 실패 가능성도 높았고, 기대하는 반응이 나오지 않을 수 있는 위험이 있었다. 이런 위험을 감수하기보다는 엄마의 기억을 바탕으로 나연이의 일상 행동을 정교하게 묘사하는 데 집중했다. 복잡한 상호작용 대신 간단하지만 자연스러운 상호작용 위주로 준비한 이유도 여기에 있다. 몰입감을 위해 시선 처리에 크게 신경 썼다. 

▲ 정교한 재현이 항상 답은 아니다

두 번째는 VR 경험 자체였다. 이번 프로젝트에는 단순 프로그램 최적화 이상이 필요했다. 딸의 온기를 느낄 수 있도록 준비한 VR글로브와 온도 촉감 장치 등 기기에도 최적화가 진행됐다. 또 바람이 부는 야외 환경을 위한 외부 팬 역시 최적화 대상이었다. 이런 최적화를 위해 비브스튜디오스가 찾은 것은 빠른 실시간 렌더링이 강점인 게임엔진(언리얼 엔진)이었다. 

비브스튜디오스 측은 게임엔진이 고품질의 상호작용 그래픽을 빠르게 제작할 수 있다는 점에 주목했다. 또, 그들은 언리얼 엔진이 다양한 리소스와 에셋이 공개하고 있어 큰 도움이 됐다고 전했다. VR에 구현된 나연이 캐릭터의 피부나 자연환경 역시 언리얼 엔진이 제공하는 라이브러리 등을 통해 제작했다.

▲ 비브스튜디오스는 비슷한 나이대 모델을 통해 정교한 모델을 구현하려고 힘썼다

마지막으로 시청자를 위한 부분이었다. 시청자가 모녀의 재회에 공감하기 위해서는 잘 전달하는 것도 중요한 일이다. 또 다른 가족들은 화면을 통해서 가상 현실 속 재회를 보고 있어, 재현만큼이나 중요한 부분이었다. 

VR 기기를 착용한 장지영씨는 일인칭 시점으로 나연이를 만난다. 하지만 이는 해상도와 흔들림을 고려하면, 방송용으로 적합하다고 보긴 어렵다. 그래서 비브스튜디오스는 언리얼 엔진을 바탕으로 한 '제로 덴서티(Zero Density)' 솔루션을 활용해 삼인칭 시점 영상을 제작했다. 또, 이를 위해서 그들은 일인칭 영상과 삼인칭 영상을 동기화하는 기술을 개발하기도 했다. 

 

 

선한 출발이 선한 결과로 이어지기 위해서는 - 

 

제2의 <너를 만났다>는 있을까? 김종우 PD는 "방송 이후 자신도 가족을 만나고 싶다는 사연이 많았다"라며 감사한 마음을 전했다. 하지만 정기 프로그램화에 대해서는 말을 아꼈다. 대신 그는 "강한 스토리가 있다면 기술과의 결합이 가능하다는 것을 증명했다"며, 다른 프로젝트에서 이런 부분을 더욱더 살리고 싶다고 말했다.

VR을 직접 제작한 비브스튜디오스는 "BBC 방송과 같은 외신에서도 취재가 오는 등 관심이 많다"라며, "연민과 공감만큼 기술의 활용 범위나 윤리적 기준에 대한 의견도 많았다"라고 소회를 밝혔다.


하지만 기술에 관한 사회적 논의 필요성에 대한 지적도 아끼지 않았다. <너를 만났다>는 첨단 기술과 스토리가 함께 하며 대중에게 큰 영향력을 끼쳤다. 이에 대해 비브스튜디오스는 "그만큼 신중해야한다"라며 "현실과 가상을 구분하기 어려운 수준의 기술이 일상화됐을 때 그것을 어떻게 받아들이고 분별해야 할지에 대한 사회적 논의가 필요한 시점이다"라고 말했다.

한스 요나스는 프로메테우스로 상징되는 불의 권력(과학 기술)이 유토피아가 아닌 정반대의 디스토피아로 이끈다고 지적했다. 프로메테우스도 인류를 위해 불을 지폈지만, 결국 전쟁과 폭력의 역사로 이끌었다는 것이다. <너를 만났다>에 담긴 VR 기술 역시 지금은 단 한 명을 위해 쓰였지만, 앞으로 어떤 결과로 이어질 지는 모를 일이다. 

적어도 김종우 PD와 비브스튜디오스가 모두 기술의 위험과 가능성 모두에 자각하고 있는 만큼, 선한 출발이 선한 결과로 이어지지 않을까 막연한 희망을 품어본다.

▲ 뉴욕 록펠러 센터 앞 '불을 나르는 프로메테우스'

기술은 가치중립 한가?

독일의 철학자 한스 요나스는 기술 자체와 달리, 과학 기술의 결과가 모호하기 때문에 기술에도 윤리적인 성찰이 필요하다고 주장했다. 선한 의도가 악한 결과를 낳을 수도 있다는 것이다. 이런 주장과 관련있는 일이 국내에도 발생했다. 올해 2월에 방영된 MBC 휴먼 다큐멘터리 <너를 만났다>다.


<너를 만났다>는 VR(가상 현실) 기술로 먼저 하늘로 간 딸을 가상 공간에 재현해 모녀를 다시 만날 수 있게 했다. 방영 이후, 많은 관심과 논란이 이어졌다. 오락성 콘텐츠에 치중하던 VR 기술의 새로운 가능성을 보여줬다는 평가와 가상 현실에서의 만남 이후의 후유증에 대한 견해가 치열하게 대립했다. 

2020년, VR 기술이 새로운 지평을 만나고 있다. <하프라이프: 알릭스>가 VR 게임의 가능성을 이야기했다면, <너를 만났다>는 VR기술에 특이점이 오고 있음을 알렸다. VR 기술의 '다음'을 논하기에 앞서, 지금까지의 마일스톤을 다시 한번 확인하는 것이 필요하다. <너를 만났다> 제작진을 만나 다큐멘터리 제작에 관한 이야기와 의미에 대해 들었다.

※ 인터뷰는 서면으로 코로나19 확산 방지를 위해 서면으로 진행됐습니다.

 

 

VR 기술을 사용한 이유? 상호 작용과 몰입감 위한 선택

 

▲ 김종우 MBC PC (자료 제공: MBC '탐나는 TV')

다큐멘터리의 시작은 김종우 MBC PD의 기획이었다. 그는 '하늘에 있는 가족을 다시 만난다'라는 모티브로 프로그램을 기획하고 있었고, 그러던 중 사실적으로 구현된 CG에서 영감을 얻었다. 하지만 그의 고민은 더 깊어졌다. 어떤 방식을 통해서 가족의 재회를 구현하는 게 좋을까?

 

기획 초기, 김종우 PD는 단순 영상 CG를 고려했다. 하지만 영상 CG는 상호작용이 불가능하다. 동영상과 큰 차이가 없는 수준이다. 이어서 AR(증강 현실)도 고려했지만, 몰입감을 위해 VR로 결정했다. 김 PD는 "VR은 공간 안에서 상대와 상호작용이 가능하다는 점에서 완전히 다른 경험을 제공한다"라며 "'만난다'라는 느낌을 주리라 기대했다"라고 설명했다.

▲ 비브스튜디오스가 제작한 시네마틱 트레일러 '에란겔의 첫 생존자'

VR을 구현한 VFX(시각효과)업체 비브스튜디오스는 <너를 만났다> 이전까지는 오락 콘텐츠 중심으로 제작했다. 많은 게이머가 봤던 <배틀그라운드>의 시네마틱 트레일러 '에란겔의 첫 생존자'도 비브스튜디오스의 작품이다. <너를 만났다>는 비브스튜디오스 입장에서도 기존과는 다른 결의 작품인 셈이다. 

비브스튜디오스 측은 "오락 요소가 강했던 VR 분야에 새로운 영역을 개척할 수 있는 기회"라고 다큐멘터리 제작 참여 이유를 밝혔다. 그들은 무엇보다 "(비브스튜디오스) 기술이 사람들을 위로하고 감동을 줄 수 있다"는 기대감에 작업을 시작했다며, 수익 등은 전혀 고려 사항이 아니었다고 전했다.

 

 

기억을 토대로 만든 '단 한 명을 위한 VR'

 

▲ VR 속 '나연이'는 '고인에 대한 모독' 등 많은 윤리적 논란을 낳기도 했다.

 

다큐멘터리 제작진이 꼽은 가장 큰 어려움은 '진정성'이었다. 다큐멘터리는 하늘에 먼저 간 어린 딸과 엄마의 재회다. 자칫 시청률을 위해 선 넘은 주제를 고의로 선택했다고 비칠 위험이 있기 때문이다.

 

김종우 PD는 처음에는 진정성이 느껴지는 가상 현실이 만들어질지에 관한 의문도 들었고, 이런 시도에 참여할 가족이 있을지에 대해서도 확신이 없었다. 특히, 김 PD는 "한 사람이 가진 특유의 느낌을 기술적으로 구현하는 것이 가장 어려웠다"라며 진정성 있는 재현의 어려움에 관해 토로했다.

이런 어려움 속에서 김종우 PD는 나연이 엄마인 장지성씨에 집중했다. 김 PD는 "(너를 만났다는) 단 한 사람을 위한 VR"이라며, "(장지성씨에게 있는) '나만 알고 있는' 기억에 대한 분석이 필요했다"라고 말했다. 

▲ VR 속에 구현된 노을공원. 모녀의 특별한 장소다

현실적으로 VR에 한 명의 사람을 구현하는 것은 기술적으로도, 제작 여건상으로도 큰 어려움이 따른다. 이런 상황에서도 김종우 PD는 장지성씨의 기억을 바탕으로 한 구현은 포기하지 않았다. 그는 "엄마가 기억하는 나연이의 모든 모습과 행동들, 표정들을 분석하고 반영하려 노력했다"라고 설명했다.

<너를 만났다> 배경이 '노을공원'인 점도 장지성씨 기억을 바탕으로 결정된 것이다. 노을공원은 모녀 둘만의 기억이 있는 특별한 장소다. 여기에 김종우 PD는 "스토리는 나연이가 ‘그곳에 잘 있다’라는 모습을 보여줬다"라며, "설사 그것이 가짜라고 해도 엄마에게 약간의 안심을 줄 수 있도록 구성했다"라고 스토리 기획 의도를 밝혔다. 김 PD의 세심한 배려이자 그가 자식을 잃은 부모에게 건넨 위로인 셈이다.

 

 

비브스튜디오스가 정한 기준 3가지 - 존중 · 경험 · 전달

▲ 비브스튜디오스를 대표하여 질문에 답한 김성수 비브스튜디오스 R&D 센터 연구소장(CRO)

'진정성'에 어려움을 겪은 것은 비브스튜디오스도 마찬가지다. 특히, 직접 재현하는 입장에서 부담감은 배로 다가왔다. 오락성 콘텐츠 위주로 제작한 비브스튜디오스는 <너를 만났다>와 같은 감성적인 접근이 처음이었다. 그들은 기존의 방식대로 진행하면서, 문제가 있는 부분을 수정하는 방식으로 VR을 제작했다.

 

테스트 이후, 비브스튜디오스는 "딸을 잃은 엄마가 낯선 가상 공간에서 평정심을 유지한 채 논리적인 사고에 기반한 여러 미션을 수행하는 것은 쉬운 일이 아니다"라며 조심스러운 접근이 필요하다는 사실을 알게 됐다. 또, "촬영 기회가 단 한 번밖에 없다는 점도 부담스러운 부분"이라고 설명했다.

이런 부분을 해결하기 위해, 제작사는 크게 3가지 기준을 정했다. '존중 · 경험 · 전달'이었다. 

처음에는 음성 인식과 AI를 통해 나연이 캐릭터의 반응을 자동화하려고 했다. 하지만, 실패 가능성도 높았고, 기대하는 반응이 나오지 않을 수 있는 위험이 있었다. 이런 위험을 감수하기보다는 엄마의 기억을 바탕으로 나연이의 일상 행동을 정교하게 묘사하는 데 집중했다. 복잡한 상호작용 대신 간단하지만 자연스러운 상호작용 위주로 준비한 이유도 여기에 있다. 몰입감을 위해 시선 처리에 크게 신경 썼다. 

▲ 정교한 재현이 항상 답은 아니다

두 번째는 VR 경험 자체였다. 이번 프로젝트에는 단순 프로그램 최적화 이상이 필요했다. 딸의 온기를 느낄 수 있도록 준비한 VR글로브와 온도 촉감 장치 등 기기에도 최적화가 진행됐다. 또 바람이 부는 야외 환경을 위한 외부 팬 역시 최적화 대상이었다. 이런 최적화를 위해 비브스튜디오스가 찾은 것은 빠른 실시간 렌더링이 강점인 게임엔진(언리얼 엔진)이었다. 

비브스튜디오스 측은 게임엔진이 고품질의 상호작용 그래픽을 빠르게 제작할 수 있다는 점에 주목했다. 또, 그들은 언리얼 엔진이 다양한 리소스와 에셋이 공개하고 있어 큰 도움이 됐다고 전했다. VR에 구현된 나연이 캐릭터의 피부나 자연환경 역시 언리얼 엔진이 제공하는 라이브러리 등을 통해 제작했다.

▲ 비브스튜디오스는 비슷한 나이대 모델을 통해 정교한 모델을 구현하려고 힘썼다

마지막으로 시청자를 위한 부분이었다. 시청자가 모녀의 재회에 공감하기 위해서는 잘 전달하는 것도 중요한 일이다. 또 다른 가족들은 화면을 통해서 가상 현실 속 재회를 보고 있어, 재현만큼이나 중요한 부분이었다. 

VR 기기를 착용한 장지영씨는 일인칭 시점으로 나연이를 만난다. 하지만 이는 해상도와 흔들림을 고려하면, 방송용으로 적합하다고 보긴 어렵다. 그래서 비브스튜디오스는 언리얼 엔진을 바탕으로 한 '제로 덴서티(Zero Density)' 솔루션을 활용해 삼인칭 시점 영상을 제작했다. 또, 이를 위해서 그들은 일인칭 영상과 삼인칭 영상을 동기화하는 기술을 개발하기도 했다. 

 

 

선한 출발이 선한 결과로 이어지기 위해서는 - 

 

제2의 <너를 만났다>는 있을까? 김종우 PD는 "방송 이후 자신도 가족을 만나고 싶다는 사연이 많았다"라며 감사한 마음을 전했다. 하지만 정기 프로그램화에 대해서는 말을 아꼈다. 대신 그는 "강한 스토리가 있다면 기술과의 결합이 가능하다는 것을 증명했다"며, 다른 프로젝트에서 이런 부분을 더욱더 살리고 싶다고 말했다.

VR을 직접 제작한 비브스튜디오스는 "BBC 방송과 같은 외신에서도 취재가 오는 등 관심이 많다"라며, "연민과 공감만큼 기술의 활용 범위나 윤리적 기준에 대한 의견도 많았다"라고 소회를 밝혔다.


하지만 기술에 관한 사회적 논의 필요성에 대한 지적도 아끼지 않았다. <너를 만났다>는 첨단 기술과 스토리가 함께 하며 대중에게 큰 영향력을 끼쳤다. 이에 대해 비브스튜디오스는 "그만큼 신중해야한다"라며 "현실과 가상을 구분하기 어려운 수준의 기술이 일상화됐을 때 그것을 어떻게 받아들이고 분별해야 할지에 대한 사회적 논의가 필요한 시점이다"라고 말했다.

한스 요나스는 프로메테우스로 상징되는 불의 권력(과학 기술)이 유토피아가 아닌 정반대의 디스토피아로 이끈다고 지적했다. 프로메테우스도 인류를 위해 불을 지폈지만, 결국 전쟁과 폭력의 역사로 이끌었다는 것이다. <너를 만났다>에 담긴 VR 기술 역시 지금은 단 한 명을 위해 쓰였지만, 앞으로 어떤 결과로 이어질 지는 모를 일이다. 

적어도 김종우 PD와 비브스튜디오스가 모두 기술의 위험과 가능성 모두에 자각하고 있는 만큼, 선한 출발이 선한 결과로 이어지지 않을까 막연한 희망을 품어본다.

▲ 뉴욕 록펠러 센터 앞 '불을 나르는 프로메테우스'

전체 목록