CV 스터디_02.영상처리

Tave 동아리에서 진행하고 있는 컴퓨터비전 스터디
- 중요내용만 발췌하여 개인 블로그에 저장하는 용도로 진행

► 스터디 목차

1. 디지털 영상이란?
2. 히스토그램
3. 이진 영상
4. 영상 처리의 세 가지 기본 연산
5. 다해상도
6. 모폴로지
7. 컬러

1-1. 디지털 영상이란?

---

1-2. 히스토그램

히스토그램은 명암값이 나타난 빈도수를 의미한다.
히스토그램의 용도

1. 영상의 특성을 파악하는 것
2. 조작을 통한 영상 품질 개선 목적→ 하지만, 분별력없이 사용할 경우 품질 개선이 안될 수도 있다. ( 분별력을 가지고 활용여부 결정)
3. → 평활화를 진행함으로써 명암값의 범위를 넓혀 선명한 이미지를 얻는다.

히스토그램 역투영과 얼굴 검출

1. 히스토그램 역투영은 물체의 모양은 무시하고 단순히 컬러 분포만으로 검출하는 방법이다.
2. 사용 이유 : 1차원이 아닌 2차원 채널을 사용해야 함 → 명암은 조명에따라 쉽게 변할 뿐만 아니라 얼굴과 비슷한 명암을 갖는 다른 영역이 여러군데 존재할 가능성이 높아 구별하기 어려움.
3. 프로세스
   • 히스토그램 계산 알고리즘 (HS space)
   • 히스토그램 역투영 알고리즘
   • 히스토그램 역투영 함수
   • $$ h_r(j,i)=min(\frac{\hat{h}_m(j,i)}{\hat{h}_i(j,i)}, 1.0) $$

---

1-3. 이진 영상

• 이진화: 각 픽셀에 대한 임계값을 기준으로 1, 0으로 값을 나누어 맵핑
• 임계값을 지정하는 방법: 픽셀에 대한 히스토그램으로부터 임계값에 대한 기준을 선정
• Otsu’s (Optimal Global Thresholding Using) Method
  • 점수를 계산함에 있어서 사용하는 함수를 목적 함수(Objective Function) 또는 비용 함수( cost function )을 사용.
  [알고리즘]
  1. 표준화된 히스토그램(probability density function과 유사)을 계산
  2. 누적 확률 합 P1(k) 계산 , P1(k) : i =0 to k까지의 히스토그램 상의 확률값의 합을 의미
  3. 누적 평균 m(k)계산 : m(k): i=0 to k까지 i*p_i의 합으로 구할 수 있음
  4. 전체 평균(Global mean) m_G 계산 : i=0 to L-1(intensity level)까지의 ip_i의 합을 의미하고 이는 즉 m(L-1)의 값과 동일
  5. k(threshold)값을 기준으로 나뉘어진 두 집합간의 between Variance를 계산
     1. 분산 수식은 k(0,1,…,L-1)에 따라 달라
  6. 위에서 구한 분산이 최대가 되게 하는 k*를 최적의 threshold로 정의한다.
     1. 참고) 이때 분산이 최대가 되게 하기 위해서는 k값을 하나씩 대입해서 계산하고 최댓값을 구해야 함
• 정의 : 임계값 t를 기준으로 화소를 두 집합으로 나누었을 때, 각 집합의 명암 분포가 균일할수록 좋다는 점에 착안하여 균일성이 클수록 t에게 높은 점수를 준다. → 일종의 “최적화 알고리즘”.

---

1-4. 영상 처리의 세 가지 기본 연산

• 영상처리

정의 : 화소 입장에서 보면 새로운 값을 부여받는 것을 뜻한다.

• 자신의 값만 보고 새로운 값을 결정하는 경우 → 점연산
  • 대부분 한 장의 영상을 변환(k=1)
  • 선형 연산
  • 비선형 연산(gamma correction)
  • k=2 이상인 경우
    • 컬러 영상을 명암 영상으로 변환(RGB → k=3)
    • 장면 디졸브
• 이웃에 있는 몇개의 화소들을 보고 새로운 값을 결정하는 경우 → 영역 연산
  1. 상관 : 물체를 표현하는 윈도우 u와 입력 영상 f가 얼마나 비슷한지 측정해주는 연산.
  2. 컨볼루션 : 상관과 비슷하나 윈도우를 뒤집어서 연산
     1. 임펄스 반응
• 일정한 기하학적 규칙에 따라 다른 곳에 있는 값을 취할 수 있는 경우 → 기하 연산
  • 동차 좌표와 동차 행렬
  • 왜 동차 좌표를 사용하는가?
    • 복합 변환을 이용한 계산 효율
    • 예) 이동 후 회전은 두 번의 행렬 곱셈, 하지만 복합 변환을 이용하면 한 번의 곱셈
  • 영상에 기하 변환 적용
    • 전방 변환시, aliasing 문제 발생
    • 후방 변환을 이용한 anti-aliasing으로 해결
      • ex) 양선형 보간(interpolation)

---

1-5. 다해상도

• 해상도를 늘리는 영상 처리 연산 → 업샘플링 (upsampling)
• 해상도를 줄이는 영상 처리 연산 → 다운 샘플링 (downsampling)

---

1-6. 모폴로지

• 수학적 모폴로지

정의 : 컴퓨터 비전에서 패턴을 원하는 형태로 변환하는 기법

• 이진 모폴로지
  • 팽창 (dilation) : f의 1인 화소에 구조요소 s를 씌우고, s의 1인 점과 겹치는 곳을 모두 1로 바꿈 (합집합)
  • 침식 (erosion) : f의 어떤 화소에 구조 요소를 씌웠을 때, 구조요소의 1인 곳과 겹치는 곳이 모두 1인 경우만 그 화소를 1로 결정 (교집합)
• 명암 모폴로지
• : 명암을 지표면부터의 높이로 간주 → 지형의 골짜기를 메우거나 봉우리를 깎는 효과 제공

---

1-7. 컬러

RGB 모델
👉🏼 컴퓨터에서 자주 활용하는 모델로서 RGB 모델을 활용, 3개의 채널 (Red, Green Blue)로부터 정수로 양자화된 값들을 통해 사람이 눈으로 구별할 수 있는 색을 모두 표현할 수 있다.
(Example)

• 적색: (255,0,0)
• 녹색: (0,255,0)
• 청색: (0,0,255)
• Cyan: (0, 255,255)

HSI 모델
👉🏼 RGB와 다른 원리로, 색상을 나타내는 채널 (H), 색깔의 순수성을 나타내는 채널 (S), 밝기를 나타내는 채널 (I)로 구성됨. 밝기를 따로 분리되어 나타내기 때문에 조명의 변화가 심한 경우 HS 두 요소만을 대상으로 연산을 적용하여 조명 변화에 대처할 수 있다는 장점이 존재함.
주의할 점

• RGB와 HSI 모델은 인간의 시각 반응에 선형적이지 않다. 컬러 공간 상에서 존재하는 유클리드 거리와 실제 인간이 느끼는 시각적 차이는 선형적 관계 X
• 각 컬러 채널에 대한 독립적인 연산을 적용할 경우 적절치 않는 결과를 얻을 수 있음
• 그럼에도, 명암 영상에 비해 더 많은 정보를 지니고 있어 풍부한 정보를 추출할 수 있다.