Independent Vector Analysis(IVA) 대해서 세미나를 해야할 일이 생겨서 IVA 공부를 하는 김에 복잡한 수식을 다시 유도하고 싶지 않아 여기에 깔끔하게 정리해보고자 합니다. 수식 인덱스가 아주 환장하게 복잡하네요 ㅎㅎ(이걸 유도한 저자분은 참 대단 ㄷㄷ).

일단 IVA?
Taesu Kim 님
 만든 알고리즘으로서, 주파수 축상에서 주파수 bin별로 따로 ICA 돌리던 것을 한꺼번에 고려해서 돌려주겠다는 내용의 알고리즘입니다. (IVA 개념에 대해서는 나중에 다시 다뤄야겠네요. 여기서는 단순히 수식 유도만 다룰 것입니다. ^^ 지금 급한게 수식 유도라.. ^^) 언제 시간나면 ICA 이론에 대해서 총체적으로 다루겠지만, 현재로서는 정리해 파일은 없고 ICA 기본적으로 알고 있다고 가정하고 유도합니다. 그리고 아마 Matrix Vector간의 변환에 대해서도 봐두시면(링크참조) 도움이 되실 것입니다.

그럼 시작해보겠습니다.

널리 알려진 바와 같이 ICA Unmixing matrix Update식은
(
1)
와 같이 표현이 됩니다. [1]
IVA 경우 ICA Frequency Domain Version + Independent Constraint 모든 Frequency Bin 연결해서 생각해주자는 것입니다. 이럴경우 IVA Update 수식은
(2)
됩니다. 수식 (1) (2) 차이점을 살펴볼까요? 세가지가 바뀐 것을 확인하실 있으실텐데요.. 일단 transpose 연산자가 Hermitian으로 바뀌었습니다. ICA real-value 가정하였지만, IVA Frequency-Domain 생각해주었으므로, 기본적으로 Complex-Value에서 생각하게 됩니다. 따라서 TèH 바뀐것이구요, 모든 variable (k)라는 새로운 index 생겼습니다. 이것은 k-th frequency bin 해당된다는 뜻입니다. 마지막으로 g()라는 nonlinear function 안에 K개의 변수가 들어있습니다. Nonlinear Function g() pdf 구성되는 함수로서 내부 변수가 여러 개가 콤마(,) 연결되어 있다는 것은 pdf joint pdf 바뀌었다는 뜻입니다.
제가 설명하고도 말을 하는 건지 ㅋㅋ (아무래도 IVA 개념에 대해서 빨리 글을 작성해야겠네요..) 여튼 이정도로 설명하고 넘어가도록 합니다.

그런데 IVA관련 논문들을 보시면 아시겠지만, 이렇게 Matrix(or Vector) Form으로 표현이 되어 있질 않습니다. 예를 들면
(3)
같은 식이죠.[2]
결국 (2)에서 (3) 유도할 알면 되겠죠? ^^

(3)식은 논문에 있는 수식을 그대로 가져와서 (2)랑은 Notation 다릅니다. (2) ICA 제가 이해한 방식의 Notation이라 Notation 일단 맞춰야 겠죠? W=G, g()=-phi(), y=s, 정도로 보시면 크게 무리가 없을 것으로 보입니다. 일단 (2)로부터

될테구요,
이것의 Natural Gradient 형태
,
를 양변에 곱한 형태는 다음과 같이 주어지게 될 것입니다.

이것이 Natural Gradient 적용한 IVA Update 식이 됩니다. 이것을 Element형식으로 표현을 해볼까요?

됩니다. 얼추 (3) 비슷해졌나요? 차이점이 있다면 Identity Matrix summation 안에 들어갔냐 아니냐의 차이인데, 저는 아무리 유도해도 summation안에 l(소문자L) index 가지고 들어가게끔 유도가 안됩니다. ( 나중에 Constraint 바꿔쓰면 사용하지 않을 Factor이기는 하지만 그래도 찜찜은 하네요. 저자에게 질문을 한번 해야 합니다.)

이로써 IVA Update 유도 완성! 헉헉.. 역시 빡셉니다 ^^

 

Reference

[1] A. Hyvarinen, J. karhunen and E. Oja, Independent Component Analysis, John Wiley & Sons, 2001.
[2] T. Kim, H.T. Attias, S. Lee, T. Lee, "Blind Source Separation Exploiting Higher-Order Frequency Dependencies, IEEE Trans. On. ASLP, pp.70-79, vol. 15, No. 1, Jan 2007.


신고
크리에이티브 커먼즈 라이선스
Creative Commons License

+ Recent posts