영상을 4K로 업스케일해도 선명해지는 게 아니라, 소프트웨어가 늘어난 픽셀을 추측하는 것

변환 소프트웨어에서 '4K' 옵션을 누르면 화면은 분명 커지고 선도 좀 더 날카로워 보인다. 하지만 그렇다고 해서 더 많은 디테일을 새로 촬영한 건 아니다. 늘어난 픽셀 대부분은 컴퓨터가 계산해 낸 추측값이지, 카메라가 실제로 당시에 기록한 화면이 아니다. 이 점이 업스케일링에서 가장 오해받기 쉬운 부분이다.

숫자부터 짚고 넘어가자. 흔히 말하는 4K는 Ultra HD 규격을 뜻하며 해상도는 3,840 x 2,160픽셀이다. 1080p는 1,920 x 1,080픽셀이다. 환산해 보면 1080p 화면을 4K로 올리려면 원본 픽셀 하나마다 옆에 픽셀 세 개를 새로 추가해야 하는 셈이고, 전체 픽셀 수는 원래의 네 배가 된다. 영화 업계에는 별도로 '진짜 4K' 혹은 DCI 4K 규격이 있는데, 해상도는 4,096 x 2,160으로 소비자용 디스플레이에서 흔히 보는 Ultra HD와 완전히 같지는 않다. 아날로그 시대의 표준화질 영상의 경우 수직 라인 수가 480 또는 576이며, 실제 가로 폭은 촬영 지역에 따라 다르다.

전통적인 업스케일링 소프트웨어는 보간 연산에 의존한다. 특정 픽셀 주변의 색상과 밝기를 추출해 새로 추가되는 픽셀이 어떤 모습이어야 할지 추산하는 방식이다. 단순하게 처리하면 그저 인접 픽셀을 복제하는 수준에 그치지만, 좀 더 발전된 알고리즘은 가장자리를 보존하고 계단 현상을 피하려 애쓴다. 하지만 아무리 정교하게 만들어도 보간은 화면에 원래 존재하지 않던 실제 질감을 만들어낼 수는 없으며, 결과적으로 전체적으로 부드럽거나 흐릿해지는 경우가 많다. 이때 선명화나 노이즈 제거를 추가로 적용해 보정하려 해도 강도 조절이 어긋나면 오히려 화면이 부자연스러워져, 어떻게 조정해도 어색한 딜레마에 빠지게 된다.

진짜 필름으로 복원하는 대가: '스타트렉: 넥스트 제너레이션' 사례

원본 소재가 충분히 좋다면 업스케일링 품질의 한계선은 훨씬 높아진다. CBS는 2011년 '스타트렉: 넥스트 제너레이션' 복원을 팀에 위탁했는데, 이때 사용한 것은 낡은 디지털 마스터가 아니라 당시 촬영 때 남겨둔 35mm 필름 네거티브였다. 이 소재는 화질이 약 2,000만 화소급에 해당한다고 알려졌다. 이 프로젝트에는 원본 필름 25,000롤이 동원됐고, 시각효과와 CGI 보강까지 더해져 3년 넘는 시간을 들여 전 7시즌 분량을 원래의 TV 방영 화질에서 1080p 블루레이 규격으로 복원했다. 이 작업에 참여한 한 프로듀서에 따르면 총비용은 1,200만 달러를 넘었다고 한다.

아이러니하게도 아날로그 필름을 디지털로 변환하는 과정에서 오히려 이점이 생겼다. 필름 자체에 기록된 디테일이 당시 TV 방영에 쓰인 화질보다 훨씬 많았기 때문에, 복원팀은 원래부터 존재했지만 활용되지 않았던 정보를 도로 캐낸 셈이었다. 하지만 만약 손에 쥔 최선의 소재가 이미 해상도가 고정된 디지털 마스터 파일이라면 상황은 완전히 달라진다. 이 경우 추가되는 픽셀은 전부 순수한 추측일 뿐, 되짚어 캐낼 실제 디테일이란 존재하지 않는다.

가정용 업스케일링은 보간이나 AI에 의존하지만, 보완 방식은 서로 다르다

일반인이 가정용 영상 하나를 복원하는 데 수천만 원을 쓸 수는 없는 노릇이니, 선택할 수 있는 도구는 결국 전통적인 보간 알고리즘이거나 최근 들어 점점 흔해지는 AI 업스케일링 정도다. 두 방식 모두 4K 화면을 채우는 데 필요한 새 픽셀을 만들어내지만 방법은 다르다. AI 모델은 저해상도와 고해상도 이미지 쌍을 대량으로 학습해, 흔한 화면의 특징이 '어떤 모습이어야 하는지'를 익힌다. 즉 단순히 픽셀 단위로 보간하는 게 아니라 더 선명한 이미지가 어떤 결과일지 예측하는 셈이다. 이렇게 나온 화면은 대체로 더 보기 좋고 설득력 있게 느껴지지만, 마찬가지로 실제 세계를 정확히 재현한 것은 아니며 때로는 보간에서는 나타나지 않는 이상한 잔상(artifact)이 생기기도 한다. 이런 모델은 지금도 계속 발전하고 있어서, 오늘 괜찮다고 느꼈던 결과가 몇 년 뒤에 다시 보면 조잡하게 느껴질 수도 있다.

더 오래된 영상을 다룰 때는 인터레이스(interlacing) 문제도 신경 써야 한다. CRT 화면용으로 설계된 초창기 영상은 한 프레임이 홀수와 짝수 두 그룹의 수평선으로 나뉘어 번갈아 갱신되는데, 현대 디스플레이는 이런 방식을 쓰지 않으므로 업스케일링 전에 반드시 디인터레이싱을 거쳐야 한다. 480i NTSC 화질 영상 한 편을 최종적으로 4K까지 올려도 볼 만한 품질을 유지할 수 있을지는 솔직히 장담하기 어렵다.

또 하나 기억해 둘 점은 압축률 문제다. 영상은 용량을 아끼려고 낮은 비트레이트로 압축되는 경우가 많은데, 이는 초당 보존되는 데이터양이 줄어든다는 뜻이다. 업스케일링은 화면 크기만 키울 뿐, 압축으로 생긴 블록 현상이나 색 밴딩 같은 결함을 되돌리지는 못한다. 결국 업스케일링 소프트웨어가 어디까지 해낼 수 있는지는, 애초에 손에 쥔 소재에 얼마나 많은 정보가 담겨 있느냐에 달려 있다.