콘트라스트 AF, 위상차 AF, 촬상면위상차 AF, 듀얼픽셀 CMOS AF 원리

촬상면 위상차 AF / 듀얼픽셀 CMOS AF의 차이점을 찾아보다가, 위상차 오토포커스 방식 설명부터 이해가 안되는 바람에 직접 생각해보면서 정리하게 되었습니다. 지금까지 상용화된 대부분의 AF 방식의 원리를 수박 겉핥기하듯이 설명하는 글이 될 것 같네요. -_-;; 기계적인 구조까지 파고들 생각은 없고, "대충 이런 식으로 돌아간다~"는 느낌만 전달하겠습니다.

 

 

▼ DSLR 카메라용 렌즈의 구조를 보면 포커스 링이 있지요? 수동으로 포커스 링을 시계방향/시계반대방향으로 돌리면 포커스 조절용 렌즈가 앞뒤로 움직일 것이고, 우리는 뷰파인더를 보면서 초점이 맞는 지점을 찾습니다. 이것이 수동 초점(=MF. Manual Focus).

(이미지 출처 : https://oberphotographytips.wordpress.com/2015/06/04/10-facts-about-lenses-you-need-to-know )

 

오토포커스(AF. Auto Focus)는 포커스 조정용 렌즈를 움직여서 초점을 맞추는 일련의 과정을 자동화한 것이겠죠? 초점이 맞았는지에 대한 판단도 기계(카메라)가 할 것이고요. 콘트라스트 AF / 위상차 AF / 듀얼피셀 AF 등은 카메라가 초점이 맞았는지를 판단하는 방식의 종류입니다. (포커스렌즈를 움직이는 방식의 종류는 이 글에서 다루지 않습니다.)

 

콘트라스트 AF(CDAF. Contrast Detection Auto Focus) 원리

아래에 두 장의 사진이 있습니다. 아웃포커싱이 두드러지도록 촬영된 것들인데요.

왼쪽 사진은 전구에 초점이 맞았고 뒤쪽 물체들의 초점이 나간 상태. 오른쪽 사진은 벌에 초점이 맞았고 앞/뒤 꽃들의 초점이 나간 상태. 그러니까 초점이 맞은 곳 앞/뒤로는 초점이 안 맞는 흐리멍텅한 상이 맺혀진 것이죠.

 

 

 

콘트라스트 AF(CDAF. Contrast Detection Auto Focus)는 "상이 정확하게 맺히면 콘트라스트(대비)가 최고로 올라간다"는 원리에 근거한 AF 검출 방식입니다. 반대로 상이 정확하지 않을수록 컨트라스트는 떨어지겠죠?

위의 사진에서 초점이 맞은 전구/꿀벌은 컨트라스트가 최고치일 것이고, 전구/꿀벌 앞뒤의 물체들은 그보다 컨트라스트가 낮을 거예요.

 

상은 센서에 맺히는 거니까, 우리가 한쪽 눈을 감고 주변을 봤을 때 입체감/거리감을 느낄 수 없는 것처럼 Contrast AF가 적용된 카메라도 거리 개념이 없습니다.ㅋ 그래서 포커스렌즈를 앞으로 움직여야 될지, 뒤로 움직여야 될지를 몰라요.

 

▲ 그렇다면 앞으로 크게 한 번 움직여보고,

콘트라스트가 제일 강하게 잡히던 지점으로 포커스렌즈를 되돌린다? 초점 맞추기 성공!

(하지만 뒤로 움직여야만 초점이 맞는 경우라면? 위의 시도는 실패로 돌아가겠죠. ㅠ)

 

▼ 초점 검출 실패를 여러 번 하면서 앞뒤로 움직이는 구간을 바꿔가거나 좁혀가고, 최종적으로 초점이 맞는 곳을 찾겠지요(붉은 원).

 

하지만 포커스 렌즈를 움직이는 모터가 울트라킹왕짱 빠른 것이 아니기 때문에, 포커스렌즈가 앞뒤로 움직이면서 상이 흐려졌다 또렸해졌다 하는 것이 눈에 보일 수밖에 없습니다. 이것을 워블링(wobble+ing)이라고 부릅니다.

 

▼ 소니 A7R II 콘트라스트 AF와 워블링.

 

아무튼,

작동 원리상 느릴 수밖에 없는 것이 단점이지만, 정확하다는 장점과 다소 어두운 환경일지라도 대비(컨트라스트)가 있기만 하면 어떻게든 AF를 성공시킬 수 있다는 장점때문에, 마냥 무시할 수는 없는 AF 방식이라고 생각합니다.

 

위상차 AF(PDAF. Phase Detection Auto Focus) 원리

DSLR 카메라에는 상을 기록하는 이미지센서 외에 위상차 센서가 추가적으로로 달려 있습니다. 초점이 맞았는지를 판단하는 작업은 위상차 센서 모듈에서 하고, 사람이 셔터버튼을 누르면 빛을 이미지센서 쪽으로 보내서 사진을 만들어 냅니다.

 

▼ DSLR의 위상차 센서(Phase Sensors)는 바닥쪽에 있는 것이 일반적인데요, 아래 그림은 두 영역으로 분할된 위상차 센서(Phase Sensors)를 비교적 이해해기 쉽게 표현하고 있습니다. (빛을 두갈래로 갈라서 위상차 센서로 보내주는 서브미러/스플리터 같은 부품들의 디테일은 과감히 생략ㅋ)

(출처 : https://www.shutterbug.com/content/how-autofocus-works-story-behind-invaluable-tech-once-considered-“gimmick” )

 

위의 사진에 보이는 것처럼 위상차 센서는 두 부분으로 나뉘어 있습니다. 컨트라스트 AF는 외눈박이, 위상차 AF는 양눈박이인 거예요. 양눈박이라는 표현이 낯설 수 있는데, 사람 눈이라고 생각하면 이해하기 쉽습니다.

 

인간의 양쪽 눈은 60~70mm 정도 떨어져서 배치되어 있죠? 공간적으로 약간 다른 위치에 있기 때문에 물체를 바라볼 때 왼쪽/오른쪽 눈에는 약간씩 다른 상이 맺힐 것이고, 이 양안시차(binocular parallax) 덕분에 우리는 원근감(+입체감, 깊이감)을 느낄 수 있습니다. 위상차 센서도 양안시차 원리를 이용하는 거라, 원근(사물의 멀고 가까움)을 체크할 수 있어요.

 

(출처 : https://www.mdpi.com/1424-8220/15/3/5747/htm )

 

위 스샷에서 Sensor 항목과 Phase 항목을 눈여겨 보세요.

Sensor 항목의 단면도는 마치... 사람 머리를 MRI로 단층 촬영한 다음 눈 부분만 떼어놓은 것 같군요.

 

▼ 대충 이런 느낌?

(출처 : https://snappygoat.com )

 

아무튼,

① In-focus(정핀=칼핀)일 경우, Sensor 정중앙에 빛이 모였고 Phase는 완벽하게 겹쳐져 있죠? 초점이 맞은 겁니다.

② Front-focus(전핀)일 경우, Sensor 정중앙보다 안쪽에 빛이 모였고 Phase도 정중앙(정핀)보다 안쪽에 최고점이 찍히는 바람에 나무가 두개로 갈라져 보이게 표현됐죠?(점선과 실선이 분리) 초점이 안 맞은 겁니다.

③ Back-focus(후핀)일 경우, Sensor 정중앙보다 바깥쪽에 빛이 모였고 Phase도 정중앙(정핀)보다 바깥쪽에 최고점이 찍히는 바람에 나무가 두개로 갈라져 보이게 표현됐죠?(점선과 실선이 분리) 초점이 안 맞은 겁니다.

 

그러니까 초점 맞추는 것은 기본이고 정핀보다 안쪽에 맺혔는지 바깥쪽에 맺혔는지를 가지고 거리까지 판별할 수 있게 된 것이죠.

 

"상이 정핀보다 안쪽에 맺혔는지 바깥쪽에 맺혔는지"에 대해서 감이 안잡힌다면 간단한 실험을 통해 감을 잡을 수 있을 것입니다.

 

▼ 1단계. 왼손 검지를 눈 앞에 최대한 까까이 대고 초점을 맞추세요.

매직아이 할 때보다 훨씬 강렬하게.ㅋ

 

▼ 2단계. 눈의 초점 상태를 유지한 상태로 왼손을 최대한 멀리 뻗어봅니다.

그러면 왼손 검지가 2개로 분리되어 보일 겁니다.

(초점이 안 맞은 것이고, 전핀이죠? 왼손가락보다 앞쪽에 초점이 고정되어 있으니.)

분리 효과를 극대화하기 위해 눈을 가운데로 더 모아도 좋습니다.

 

▼ 3단계. 오른손으로 오른쪽 눈을 가려봅니다.

오른쪽에 보이던 상이 없어졌을 겁니다.

전핀 테스트는 이것으로 끝.

 

▼ 4단계. 왼손을 최대한 멀리 뻗은 다음 검지손가락을 세웁니다.

그리고 눈의 초점을 왼손보다 멀리에 맞추세요. 산을 바라보면 좋겠지요?

초점을 산에 고정시킨 상태에서 왼손을 눈에 가까이 가져옵니다.

이번에도 왼손 검지가 2개로 분리되어 보일 겁니다.

(초점이 안 맞은 것이고, 후핀이죠? 왼손가락보다 뒤쪽에 초점이 고정되어 있으니.)

 

▼ 5단계. 오른손으로 오른쪽 눈을 가려봅니다.

왼쪽에 보이던 상이 없어졌을 겁니다.

후핀 테스트도 끝.

 

▼ 이제 아래 그림의 노란 네모 안쪽 영역을 보셨을 때

상의 위상 변화, 초점 변화, 원근 변화에 대한 개념이 이해가 되었으면 좋겠네요.

 

위상차 센서는 사람이 눈과 유사합니다. 그래서 어둡거나(빛이 지나치게 적음) 조리개를 많이 조여서 빛이 적게 들어오는 경우에는 위상차 AF의 정확도가 떨어집니다(안보여~). 빛이 너무 강하게 들어와도 AF 검출 능력이 떨어지겠지요(눈부셔!). 피사체가 너무 작아도 초점 잡는 능력이 떨어질 것이고요(개미는 작아~).

 

그리고 DSLR/DSLT 카메라는 이미지센서와 위상차센서가 물리적으로 분리되어 있기 때문에, 그에 따른 오차를 보정해주어야 합니다. 그리고 셔터를 눌렀을 때 거울이 올라갔다 내려갔다 하면 미러쇼크가 생기고, 그래서 위상차센서의 위치가 미세하게 틀어지기도 합니다(오차 발생!). 위상차 센서는 미러 반사광의 빛 간격을 체크하는 방식이기 때문에 미러가 접히는 라이브뷰/동영상 촬영시에는 사용할 수 없고 말이죠. 무엇보다 위상차센서 모듈이 공간을 차지하는 것이 가장 큰 단점이겠네요.

 

어쨌든 거리 판단 능력 덕분에 포커스 렌즈를 앞/뒤로 얼마나 많이 움직일지 즉각적으로 판단하고 한방에 이동시키는 위상차 AF는 워블링이 없고 속도가 빠를 수밖에 없습니다. 상황이 좋으면 움직이는 물체까지 추적 가능할텐데, 위에서 언급한 단점들때문에 신뢰도는 컨트라스트AF가 더 높습니다. 그래서 콘트라스트 AF를 무조건 버릴 수는 없어요.

 

※ https://namu.wiki/w/위상차 검출 AF

 

촬상면 위상차 AF의 원리

위상차센서 모듈이 이미지센서와 분리되어서 생기는 단점(오차)을 극복하고자, 이미지센서에 위상차센서를 통합하려는 시도가 이뤄집니다(촬상면 위상차 AF). 이미지센서와 위상차센서의 물리적 거리때문에 생기는 오차를 원천적으로 없앨 수 있으니까 좋겠죠?

촬상면 위상차 AF의 발전은 현재진행형이며, 기술이 완성되면 DSLR 카메라 제품군은 설 자리를 잃게 될 것입니다.

 

물리적인 위치 차이에 따른 특성(오차)만 다를 뿐, 전체적인 원리&특성은 위에서 정리한 "위상차 AF(PDAF)"와 똑같습니다.(위로 올라가서 보세요.ㅎ)

 

▼ 촬상면 위상차 AF를 처음 상용화한 제품은 후지 F300EXR입니다. 위상차 픽셀을 가운데에 한세트 넣어줬어요(아래 그림에서 검은색 반달로 가려진 초록색.). 그래서 원포인트 위상차 AF라고 불렸습니다. 중앙 초점 모드에서만 위상차 AF를 쓸 수 있었던 황당함이 있었죠.

 

▼ 후지 X-T3(2600만 화소)는 기술이 좋아져서 216만 개의 위상차 검출 화소를 이미지센서 전체에 분산 배치함으로써 위상차 AF 영역을 프레임 전체(약 100%)로 확장했고요. (APS-C 사이즈 X-Trans CMOS 4 센서)

▲ 구석의 피사체에도 위상차 AF를 쓸 수 있으니까 쾌적하겠죠?

 

위상차 픽셀은 촬영시(이미지 기록)에는 사용하지 못합니다. 그래서 주변 픽셀의 데이터로 보간하여 구멍을 메웁니다. 일종의 핫픽셀인 셈이죠. 그렇기때문에 AF픽셀이 늘어날수록 화질이 떨어질 수밖에 없는데, 핫픽셀과는 달리 위상차 픽셀의 위치는 고정되어 있기 때문에 누락되는 색정보를 비교적 정확하게 예측할 수 있어서 보간에 따른 화질 저하를 크게 걱정할 필요는 없습니다. 화소수가 올라갈수록 문제가 완화될 것이고요.

 

다만 극단적인 조명 환경에서는 색상 보간 능력이 떨어질 수 있는 점, 빛이 너무 많거나 적으면 AF 검출 능력이 떨어지는 위상차AF의 특성을 똑같이 가진다는 것도 알아둬야 하겠습니다(구라핀 문제...). 저조도 AF 능력은 개선되고 있는 중입니다.

 

그리고 하나의 센서에서 이미지 처리와 AF 처리를 모두 하기 때문에, 센서의 리드아웃 속도가 충분히 빨라야 AF 성능이 잘 나옵니다. 그래서 소니가 센서 성능빨로 AF 성능을 올려버렸습니다.

 

듀얼픽셀 CMOS AF 원리

▼ 촬상면 위상차 AF는 화소 두개를 나란히 배치한 다음, 안쪽 절반을 Black Masking하고, Masking되지 않은 바깥쪽 절반 영역으로 위상을 파악해서 초점을 검출합니다. 위상차 파악용으로 개조된 화소는 이미지 기록용으로 사용하지 못하고, 오직 위상차 파악용으로만 쓸 수 있는 한계점이 있습니다.

 

▼ 듀얼픽셀은 두개의 작은 다이오드를 겹쳐서 하나의 화소로 만들어놓은 것입니다(원래는 1화소당 하나의 다이오드가 쓰임).

▲ 작은 다이오드는 개별적으로 제어 가능한데, AF를 검출하고 싶으면 4개의 다이오드(2화소) 중 둘째, 셋째 다이오드의 전기를 끊어버린 다음 첫째, 넷째 다이오드를 촬상면 위상차 센서처럼 활용하면 될 것입니다. 셔터 버튼을 눌러 촬영할 때는 둘째, 셋째 다이오드에도 전기를 넣어서 빛을 받아들이면 2화소를 촬영용으로도 쓸 수 있게 되는 거죠.

 

촬상면 위상차 AF와는 달리 버려지는 이미지 화소가 없는 것이 장점이고, 화소 수를 늘리기가 어렵다는 것이 단점일 것입니다. 2400만 화소 센서를 100% 듀얼픽셀로 구성한다면 4800만개의 다이오드가 필요할 텐데, 4800만 화소 센서를 만들기 위해서는 9600만 개의 다이오드를 넣어야 하니까요. 같은 맥락에서 생각해보면 작은 센서에 적용하기 힘들다는 단점도 보이네요. CPU 파워도 그만큼 좋아야 할테고요.

 

마치며

콘트라스트 AF, 위상차 AF, 촬상면위상차 AF, 듀얼픽셀 CMOS AF. 네 가지 방식의 원리만 알고 있으면 나머지는 응용입니다. Hybrid AF 종류도 여러 가지지요? 위상차+콘트라스트 하이브리드 AF / 레이저+콘트라스트 하이브리드 AF / 3D ToF 센서+콘트라스트 하이브리드 AF 등등...

 

파나소닉의 DFD(Depth From Defocus) AF 기술은 잘 설명된 글로 연결해 드리는 것이 좋을 것 같네요.

긴 글, 끝까지 읽어주셔서 감사합니다.

 

※ 참고할만한 글

 - 카메라의 동영상 촬영 방식 비교 (풀픽셀리드아웃, 픽셀비닝, 라인스키핑, 1:1 크롭)