가볍게 써보는 영상복원 과정
잠이 안 와서 말 그대로 가볍게 써보겠습니다
시네스트분들은 고전영화를 사랑하시는 분들인 만큼, 영상복원의 위대함(?)을 직접 눈으로 경험하셨을 겁니다
일단 영상복원의 정의를 살펴보자면 '훼손 영상의 사전 지식을 이용하여 훼손된 영상을 재생 또는 회복을 시도하는 처리 과정'
그리고 '훼손된 영상을 알고리즘을 이용하여 원본 영상의 추정치에 해당하는 영상을 얻는 것' 정도가 될 겁니다
원본 영상의 추정치에 해당하는 영상을 얻기 위해선 영상정보처리관점에서 접근해야 하고, 복원 알고리즘은 원 영상을 회복하기 위해 훼손된 영상의 모형화와 열처리에 중점을 둬야합니다
그리고 그렇게 공학적으로 접근하여 복원한 결과물을 평가할 수 있는 적절한 기준이 필요하겠죠. 보통 (촬영)감독이 살아있다면 감독 혹은 촬영감독의 감수하에 이뤄지는 것이 보통입니다
영상복원의 단계는 크게 준비 및 물리적 보수, 스캔, 분석, 화면 및 음향복원으로 나눌 수 있고, 복원 단계에서 색보정, 흔들림보정, 노이즈(먼지, 긁힘, 찢어짐, 자막 등)보정, 음향 보정으로 나눌 수 있습니다
준비 및 물리적 보수 단계는 복원할 영화의 관련 자료를 수집하고 복원의 기초가 될 마스터필름을 제작하는 단계입니다.
전 세계 대학이나 시네마테크에서 복원할 영화의 필름을 찾고, 물리적 상태를 확인해 필름의 강도가 약하거나 균열이 일어난 부분은 물리적으로 보강해줍니다
그리고 오리지널 네거티브의 파손을 막기 위해 네거티브를 복제하는데 이때는 R,G,B 만을 추출한 3개의 필름으로 나눠 복제해줍니다
스캔은 이제 복제한 필름을 디지털화시키는 작업입니다. 90분짜리 영화를 스캔하는 데 2K 스캔은 2일, 4K 스캔은 1주일 정도 걸립니다.
그리고 그렇게 디지털화된 데이터를 다양한 수치해석 및 프로그래밍 소프트웨어, 알고리즘을 통해 영역별로 분석하고 그 데이터를 바탕으로 복원하고자 하는 범위를 지정해줍니다.
다음으로 복원과정의 꽃인 화면복원입니다.
- 색보정은 말 그대로 틀어진 색감을 보정하는 과정입니다. RGB 값을 조절하면 됩니다.
- 흔들림 보정은 영상의 흔들림을 조정하는 과정인데 이건 전후 프레임을 바탕으로 벡터 영역에서 다음 움직임을 '예측'하고 그 값으로 점차 '완화'시키며 최종적으로 '수정'하는 단계를 거칩니다
완화단계에선 Moving average filter (h[n] = 1/N for n=0,1,...,N-1) 를 이용합니다 (주식의 이동평균선과 동일한 원리입니다)
- 노이즈보정에서 노이즈는 규칙적 노이즈(먼지, 긁힘)와 불규칙적 노이즈(찢어짐, 자막)로 나눌 수 있습니다.
규칙적 노이즈는 전후 프레임과의 상태를 대조하여 노이즈가 없는 프레임에서 소스를 가져와 보간하는 단순한 알고리즘으로도 충분히 보수할 수 있습니다
불규칙적 노이즈 또한 보간작업을 거치긴 하지만, 단순한 알고리즘으로는 안되는 경우가 대부분이라 좀 더 통계학적인 알고리즘을 사용하게 됩니다.
좀 더 자세히 쓰면 너무 길어질까봐 생략하겠습니다
필름에 직접 쓰인 자막을 제거하는 경우 애프터 이펙트를 이용한 모션 트래킹 기술을 접목시키는데
자막이 없는 영역 중 안정화된 부분을 트래킹 포인트로 설정하여 제거할 부분과 합성시키고
제거된 영역의 인접한 프레임에서 필름의 입자를 추출하여 제거한 영역에 씌우는 작업을 하게 됩니다
(왜 따로 길게 썼냐 하면 보통 영화제작 중 디지털 효과작업에 쓰이는 이 방법을 영상복원에 최초로 응용한 곳이 한국영상자료원입니다)
음향복원 단계에선 싱크 조정, 노이즈 제거 및 보정을 위주로 하게 됩니다 경우에 따라 세기의 증폭 및 감소를 시키기도 합니다.
색 보정과 마찬가지로 감독이 직접 참여하는 경우가 많습니다.
위에 적은 것은 공학적인 이론관점에서 설명한 것이고, 보통 일반적인 영상복원은 디지털 화면복원 프로그램을 사용하여 어느정도 쉽게 복원이 가능합니다.
하지만 프로그램에서 자동으로 수정을 못 하는 부분은 사람이 직접 수정을 해야 합니다.
영화는 1초에 24프레임이고 러닝타임이 90분이라면 129600개의 프레임을 사람이 한 프레임마다 일일이 짚어가며 안된 부분은 없는가 확인을 해야 하는 굉장히 고된 과정입니다
위에서 말한 화면복원 프로그램의 경우 영상복원의 성지 시네마테크 볼로냐에서는 DRS NOVA(http://www.mtifilm.com/drs-nova )를 사용하고
한국영상자료원에서는 Diamant-Film Restoration (http://www.hs-art.com/index.php ) 을 사용합니다.
프로그램 가격은 대략 12500달러에서 14000달러 사이입니다.
싼데 비쌉니다
야누스 필름에서 수집을 하면 시네마테크 볼로냐에서 그걸 받아서 복원작업을 한다고 보시면 되겠습니다.
말씀하신 하녀의 경우 그당시 세계영화기금이라는 곳에서 카타르정부의 지원금을 받아서 6편의 영화를 복원했는데
하녀를 비롯해 시네스트에도 소개된 투키부키나 티타시라 불리는 강 등이 같이 복원됐습니다 (그때도 하녀를 제외한 5작품은 시네마테크 볼로냐에서 복원작업을 거쳤습니다)
한국영상자료원의 기술력도 아주 대단한 편입니다
하지만 얼굴같이 굉장히 작고 디테일한 요소까지는 뚜렷하게 나타내진 못하는 것 같습니다. (그래도 100중 70 정도는 되는 것 같습니다)
좀 더 기술이 발달한다면 모든 저화질을 고화질로 바꾸는 것도 불가능은 아닐듯합니다