가볍게 써보는 영상복원 과정

영화이야기

가볍게 써보는 영상복원 과정

S nonorhc 20 2500 3

잠이 안 와서 말 그대로 가볍게 써보겠습니다


시네스트분들은 고전영화를 사랑하시는 분들인 만큼, 영상복원의 위대함(?)을 직접 눈으로 경험하셨을 겁니다



일단 영상복원의 정의를 살펴보자면 '훼손 영상의 사전 지식을 이용하여 훼손된 영상을 재생 또는 회복을 시도하는 처리 과정'

그리고 '훼손된 영상을 알고리즘을 이용하여 원본 영상의 추정치에 해당하는 영상을 얻는 것' 정도가 될 겁니다

원본 영상의 추정치에 해당하는 영상을 얻기 위해선 영상정보처리관점에서 접근해야 하고, 복원 알고리즘은 원 영상을 회복하기 위해 훼손된 영상의 모형화와 열처리에 중점을 둬야합니다

그리고 그렇게 공학적으로 접근하여 복원한 결과물을 평가할 수 있는 적절한 기준이 필요하겠죠. 보통 (촬영)감독이 살아있다면 감독 혹은 촬영감독의 감수하에 이뤄지는 것이 보통입니다



영상복원의 단계는 크게 준비 및 물리적 보수, 스캔, 분석, 화면 및 음향복원으로 나눌 수 있고, 복원 단계에서 색보정, 흔들림보정, 노이즈(먼지, 긁힘, 찢어짐, 자막 등)보정, 음향 보정으로 나눌 수 있습니다


준비 및 물리적 보수 단계는 복원할 영화의 관련 자료를 수집하고 복원의 기초가 될 마스터필름을 제작하는 단계입니다.

전 세계 대학이나 시네마테크에서 복원할 영화의 필름을 찾고, 물리적 상태를 확인해 필름의 강도가 약하거나 균열이 일어난 부분은 물리적으로 보강해줍니다

그리고 오리지널 네거티브의 파손을 막기 위해 네거티브를 복제하는데 이때는 R,G,B 만을 추출한 3개의 필름으로 나눠 복제해줍니다


스캔은 이제 복제한 필름을 디지털화시키는 작업입니다. 90분짜리 영화를 스캔하는 데 2K 스캔은 2일, 4K 스캔은 1주일 정도 걸립니다.


그리고 그렇게 디지털화된 데이터를 다양한 수치해석 및 프로그래밍 소프트웨어, 알고리즘을 통해 영역별로 분석하고 그 데이터를 바탕으로 복원하고자 하는 범위를 지정해줍니다.


다음으로 복원과정의 꽃인 화면복원입니다.

- 색보정은 말 그대로 틀어진 색감을 보정하는 과정입니다. RGB 값을 조절하면 됩니다.

- 흔들림 보정은 영상의 흔들림을 조정하는 과정인데 이건 전후 프레임을 바탕으로 벡터 영역에서 다음 움직임을 '예측'하고 그 값으로 점차 '완화'시키며 최종적으로 '수정'하는 단계를 거칩니다

완화단계에선 Moving average filter (h[n] = 1/N for n=0,1,...,N-1) 를 이용합니다 (주식의 이동평균선과 동일한 원리입니다)

- 노이즈보정에서 노이즈는 규칙적 노이즈(먼지, 긁힘)와 불규칙적 노이즈(찢어짐, 자막)로 나눌 수 있습니다.

규칙적 노이즈는 전후 프레임과의 상태를 대조하여 노이즈가 없는 프레임에서 소스를 가져와 보간하는 단순한 알고리즘으로도 충분히 보수할 수 있습니다

불규칙적 노이즈 또한 보간작업을 거치긴 하지만, 단순한 알고리즘으로는 안되는 경우가 대부분이라 좀 더 통계학적인 알고리즘을 사용하게 됩니다.

좀 더 자세히 쓰면 너무 길어질까봐 생략하겠습니다


필름에 직접 쓰인 자막을 제거하는 경우 애프터 이펙트를 이용한 모션 트래킹 기술을 접목시키는데

자막이 없는 영역 중 안정화된 부분을 트래킹 포인트로 설정하여 제거할 부분과 합성시키고

제거된 영역의 인접한 프레임에서 필름의 입자를 추출하여 제거한 영역에 씌우는 작업을 하게 됩니다

(왜 따로 길게 썼냐 하면 보통 영화제작 중 디지털 효과작업에 쓰이는 이 방법을 영상복원에 최초로 응용한 곳이 한국영상자료원입니다)


음향복원 단계에선 싱크 조정, 노이즈 제거 및 보정을 위주로 하게 됩니다 경우에 따라 세기의 증폭 및 감소를 시키기도 합니다.

색 보정과 마찬가지로 감독이 직접 참여하는 경우가 많습니다.


위에 적은 것은 공학적인 이론관점에서 설명한 것이고, 보통 일반적인 영상복원은 디지털 화면복원 프로그램을 사용하여 어느정도 쉽게 복원이 가능합니다.

하지만 프로그램에서 자동으로 수정을 못 하는 부분은 사람이 직접 수정을 해야 합니다.

영화는 1초에 24프레임이고 러닝타임이 90분이라면 129600개의 프레임을 사람이 한 프레임마다 일일이 짚어가며 안된 부분은 없는가 확인을 해야 하는 굉장히 고된 과정입니다


위에서 말한 화면복원 프로그램의 경우 영상복원의 성지 시네마테크 볼로냐에서는 DRS NOVA(http://www.mtifilm.com/drs-nova )를 사용하고

한국영상자료원에서는 Diamant-Film Restoration (http://www.hs-art.com/index.php ) 을 사용합니다.

프로그램 가격은 대략 12500달러에서 14000달러 사이입니다.

싼데 비쌉니다

Facebook Twitter GooglePlus KakaoStory NaverBand 신고
 
20 Comments
16 o지온o  
일단 읽기는 했으나..
읽었다는데 의의를 두기로 함. ㅋㅋ
잘 읽었습니다.
S nonorhc  
쉽게 쓴다고 써놓고 한참뒤 다시보니
굉장히 어렵게 썼네요...ㅠㅠ
6 하모니코린  
크라이테리온이 출시하는 [야누스필름]의 고전영화 복원과 어떤 관계랄까 그런게 있을까요? 영상원에서 복원한 "최후의 증인"정말 원작도 영화도 복원에 그걸 출시해준 영상원까지 모두 사랑스럽달까요? ^ ^ "하녀"의 경우는 스코세즈펀드였나(?) 그쪽에서 진행했던걸로... 그래서 잠시나마 봤었는데... 언제부터 유툽에서 채널이 있던갈로... 그래도 복원은 상상력을 재(?)자극하는 영역이라 좋은글 고맙습니다. ^ ^ 두서없네요 ㅎㅎㅎ
S nonorhc  
말씀하신 크라이테리온, 그리고 크라이테리온과 밀접한 관계를 맺고있는 야누스 필름이 제가 마지막에 언급한 시네마테크 볼로냐(원래 정식 이름은 시네테카 디 볼로냐입니다)와 굉장히 많은 작업을 같이 했습니다.
야누스 필름에서 수집을 하면 시네마테크 볼로냐에서 그걸 받아서 복원작업을 한다고 보시면 되겠습니다.
말씀하신 하녀의 경우 그당시 세계영화기금이라는 곳에서 카타르정부의 지원금을 받아서 6편의 영화를 복원했는데
하녀를 비롯해 시네스트에도 소개된 투키부키나 티타시라 불리는 강 등이 같이 복원됐습니다 (그때도 하녀를 제외한 5작품은 시네마테크 볼로냐에서 복원작업을 거쳤습니다)
한국영상자료원의 기술력도 아주 대단한 편입니다
20 큰바구  
좋은일 하시네요. 영상복원작업 재밌겠네요 .
S nonorhc  
관련 전공을 했고 경험도 있지만
아쉽게도 지금은 전~~혀 다른 일을 하고 있습니다 ㅠㅠ
20 큰바구  
약간 저화질을 고화질로 만들수 있는 방법도 있나요?
S nonorhc  
고정된 이미지의 경우 어느정도 가능하지만 (이것도 결과물의 편차가 큽니다)
움직이는 영상은 아직 불가능합니다
20 큰바구  
답변 감사합니다.
S nonorhc  
1년 사이에 인공신경망 기술이 활성화되면서 이제 움직이는 영상도 프레임 하나하나를 잘게 쪼개서 고정된 이미지처럼 놓고 고화질로 만드는 기술이 생겨났습니다. (워낙 방대하고 오래 걸리는 작업이라 시네마토그래프로 촬영한 10분짜리 영상 하나를 4K로 확대시키는데 매일 24시간씩 1개월 가까이 돌려야 하는 모양입니다)
하지만 얼굴같이 굉장히 작고 디테일한 요소까지는 뚜렷하게 나타내진 못하는 것 같습니다. (그래도 100중 70 정도는 되는 것 같습니다)
좀 더 기술이 발달한다면 모든 저화질을 고화질로 바꾸는 것도 불가능은 아닐듯합니다
13 리시츠키  
읽기만해도 복잡하고 고된 작업같네요.
좋은 고전영화들 많이 재탄생했으면 좋겠네요.
글 잘읽었습니다.
S nonorhc  
굉장히 오랜 시간이 걸립니다
감사합니다
14 DUE  
일단 내용만 간단히 이해 했습니다.
감사합니다
S nonorhc  
읽어주셔서 감사합니다
4 DorooN  
기술의 발전이 놀랍네요.
게다가 수 많은 프레임을 작업하는 노력까지..
S nonorhc  
최첨단 알고리즘과 엄청난 노가다(?)라는
양 극단의 기술이 조합된 과정입니다
1 니노보노  
우와...이 기술에 대해 모르는 저로서는 진짜 놀랍습니다. 분쇄기에 갈린 지폐를 맞춰낸 느낌이랄까.. 대단하네요
S nonorhc  
이젠 불에 탄 지폐를 살려내는 단계까지 이르렀습니다
https://www.youtube.com/watch?v=k5zib042hEs

(아푸 트릴로지 복원 관련 영상입니다)
3 천사와의데이트  
깨진화면은 전후 프레임에서 가져와서 복원하는 방식이겠지요?
S nonorhc  
네 보통 대부분의 오류는 말씀하신대로 전후 프레임에서 가져와서 복원하는 보간(implement) 과정을 통하여 복원하고 그 기준은 전후 5~15프레임가량입니다

깨진화면이라는게 필름의 찢어짐(?) 이라면 일단 디지털스캔을 한 뒤
벡터영역에서 찢어진 구역을 구분하고 점차 움직이는 과정을 거쳐 복원합니다