Boards of Canada의 앨범 《Music Has The Right To Children》 커버에 의도적으로 흐릿하게 처리된 얼굴이 있다. 이 이미지를 PicsArt의 AI 이미지 업스케일링 툴로 돌려봤더니, 원래는 없던 눈이 두 개나 생겨버렸다. Engadget 필자 Manuviraj Godara가 진행한 이 실험은 AI 업스케일링에서 가장 쉽게 간과되는 사실을 보여준다. AI 업스케일링은 흐릿해진 디테일을 '복원'하는 게 아니라, 통계적 추측을 바탕으로 축소했을 때 원본과 비슷해 보이는 새로운 이미지를 그려내는 것이다. 대부분의 얼굴에 눈이 있으니, 모델은 이 얼굴에도 눈이 있어야 한다고 가정하고 눈을 그려 넣은 것이다. 원본에서는 눈의 흔적조차 보이지 않았는데도 말이다.
이는 전통적인 확대 방식과는 완전히 다른 작동 논리다. 컴퓨터에 기본 내장된 이미지 뷰어든 어떤 포토 에디팅 툴이든, 전통적인 확대 방식의 원리는 주변 픽셀을 평균 내는 것이다. 차이가 있다면 몇 개의 픽셀을 참조하고 얼마만큼의 가중치를 주느냐 뿐이다. 다시 말해 전통적인 방식은 사진을 더 선명하게 만들지 않는다. 그저 기존에 있던 정보를 새로운 화면 크기에 맞춰 펼쳐 채워 넣을 뿐이다.
4가지 전통 확대 방식, 저마다의 함정
Nearest-neighbor 확대는 픽셀 평균을 내지 않는 유일한 방식이다. 가장 가까운 픽셀을 그대로 복제해 원래의 각진 느낌을 유지한다. 픽셀 아트 일러스트나 도표처럼 경계가 뚜렷한 이미지에는 적합하지만, 일반 사진이나 그러데이션이 있는 화면에 쓰면 계단 현상이 뚜렷하게 나타난다.
Bilinear 확대는 주변 4개 픽셀을 평균 내는 방식이다. 각진 느낌은 없지만 전체적으로 화면이 물러져 살짝 초점이 안 맞은 듯한 느낌을 줄 수 있다. 원래부터 선명하지 않은 사진에는 적합하지만, 근접 촬영이나 디테일을 살려야 하는 화면에는 권장하지 않는다.
Bicubic 확대는 주변 16개 픽셀을 참조하며 가까울수록 가중치를 더 준다. 화질과 연산 자원 사이에서 균형을 잡아, bilinear보다 선명하면서도 nearest-neighbor처럼 계단 현상이 생기지 않아 대부분의 사진에 무난한 선택지다. 단점은 헤일로(광륜) 현상이 나타날 수 있다는 점이다. 필자는 Lanczos 같은 더 고급 알고리즘도 언급했는데, 연산량은 훨씬 많지만 실제 결과물은 bicubic과 큰 차이가 없어 bicubic 결과에 만족하지 못할 때만 시도해볼 만하다고 설명한다.
AI 업스케일링은 반대의 접근이다. 우선 방대한 고해상도 이미지 학습 데이터를 통해 '어떤 디테일이 그럴듯해 보이는지' 익힌 뒤, 이를 바탕으로 완전히 새로운 이미지를 재구성한다. 그 덕분에 오래된 사진의 입자감이나 흐릿함이 눈에 띄게 매끈해지고 화면이 더 깨끗하고 선명해 보이지만, 대가로 원본에는 없던 디테일을 지어낼 수도 있다. 앞서 언급한, 없던 눈이 생겨버린 사례처럼 말이다. 필자의 결론은 명확하다. 정확한 복원이 필요한 사진이라면 AI 업스케일링에 맡기지 말라는 것이다.
확대 방식 외에, 포맷도 사진의 활용도를 좌우한다
JPEG는 호환성이 가장 뛰어나고 파일 용량이 작아 대량의 사진을 저장하기에 적합하지만, 투명 배경을 지원하지 않아 로고나 텍스트 이미지에는 맞지 않는다. PNG는 무손실 포맷으로 투명 채널을 지원하며 반복 편집해도 화질 손실이 없어 로고, 일러스트, 스크린샷에 적합하지만, 일반 사진에 쓰면 파일 용량이 불필요하게 커진다.
웹사이트에 올릴 사진이라면, 구글이 2010년부터 선보인 WebP 포맷은 PNG 대비 용량이 약 4분의 1 수준이고 JPEG보다 25~34% 더 작아 웹페이지 로딩 속도에 직접적인 영향을 준다. 만약 주력 기기가 아이폰과 맥이라면, 애플 측 설명으로는 HEIC 파일 용량이 표준 JPEG의 약 절반이면서 화질은 동등하며, 아이폰의 사진 앱으로 편집하면 편집 기록까지 보존할 수 있다. 다만 단점은 윈도우에서는 별도의 플러그인이나 이미지 뷰어를 설치해야 열어볼 수 있다는 점이다.
