모두의연구소 기술블로그

Independent Vector Analysis(IVA)에 대해서 세미나를 해야할 일이 생겨서 IVA 공부를 하는 김에 복잡한 수식을 두 번 다시 유도하고 싶지 않아 여기에 깔끔하게 정리해보고자 합니다. 수식 인덱스가 아주 환장하게 복잡하네요 ㅎㅎ(이걸 유도한 저자분은 참 대단 ㄷㄷ).

일단 IVA란?
Taesu Kim 님이 만든 알고리즘으로서, 주파수 축상에서 각 주파수 bin별로 따로 ICA 돌리던 것을 한꺼번에 고려해서 돌려주겠다… 는 내용의 알고리즘입니다. (IVA의 개념에 대해서는 또 나중에 다시 다뤄야겠네요. 여기서는 단순히 수식 유도만 다룰 것입니다. ^^ 지금 급한게 수식 유도라.. ^^) 언제 시간나면 ICA의 이론에 대해서 총체적으로 다루겠지만, 현재로서는 정리해 둔 파일은 없고 ICA는 기본적으로 알고 있다고 가정하고 유도합니다. 그리고 아마 Matrix와 Vector간의 변환에 대해서도 봐두시면(링크참조) 도움이 되실 것입니다.

자 그럼 시작해보겠습니다.

널리 알려진 바와 같이 ICA의 Unmixing matrix의 Update식은
(1)
와 같이 표현이 됩니다. [1]
IVA의 경우 ICA의 Frequency Domain Version + Independent Constraint를 모든 Frequency Bin과 연결해서 생각해주자는 것입니다. 이럴경우 IVA의 Update 수식은
(2)
가 됩니다. 수식 (1)과 (2)의 차이점을 살펴볼까요? 세가지가 바뀐 것을 확인하실 수 있으실텐데요.. 일단 transpose 연산자가 Hermitian으로 바뀌었습니다. ICA는 real-value를 가정하였지만, IVA는 Frequency-Domain을 생각해주었으므로, 기본적으로 Complex-Value에서 생각하게 됩니다. 따라서 TèH로 바뀐것이구요, 모든 variable에 (k)라는 새로운 index가 생겼습니다. 이것은 k-th frequency bin에 해당된다는 뜻입니다. 마지막으로 g()라는 nonlinear function 안에 K개의 변수가 들어있습니다. Nonlinear Function g()는 pdf로 구성되는 함수로서 내부 변수가 여러 개가 콤마(,)로 연결되어 있다는 것은 pdf가 joint pdf로 바뀌었다는 뜻입니다.
제가 설명하고도 뭔 말을 하는 건지 ㅋㅋ (아무래도 IVA의 개념에 대해서 빨리 글을 작성해야겠네요..) 여튼 이정도로 설명하고 넘어가도록 합니다.

그런데 IVA관련 논문들을 보시면 아시겠지만, 이렇게 Matrix(or Vector) Form으로 표현이 되어 있질 않습니다. 예를 들면
(3)
와 같은 식이죠.[2]
결국 (2)에서 (3)을 유도할 줄 알면 되겠죠? ^^

(3)식은 논문에 있는 수식을 그대로 가져와서 (2)랑은 Notation이 좀 다릅니다. (2)는 ICA를 제가 이해한 방식의 Notation이라 Notation을 일단 맞춰야 겠죠? W=G, g()=-phi(), y=s, 정도로 보시면 크게 무리가 없을 것으로 보입니다. 일단 (2)로부터

가 될테구요,
이것의 Natural Gradient 형태
즉,
를 양변에 곱한 형태는 다음과 같이 주어지게 될 것입니다.

이것이 Natural Gradient를 적용한 IVA의 Update 식이 됩니다. 이것을 Element형식으로 표현을 해볼까요?

가 됩니다. 얼추 (3)과 비슷해졌나요? 차이점이 있다면 Identity Matrix가 summation 안에 들어갔냐 아니냐의 차이인데, 저는 아무리 유도해도 summation안에 l(소문자L) index를 가지고 들어가게끔 유도가 안됩니다. (모 나중에 Constraint를 바꿔쓰면 사용하지 않을 Factor이기는 하지만 그래도 찜찜은 하네요. 저자에게 질문을 한번 해야 할 듯 합니다.)

이로써 IVA Update식 유도 완성! 헉헉.. 역시 빡셉니다 ^^

Reference

[1] A. Hyvarinen, J. karhunen and E. Oja, Independent Component Analysis, John Wiley & Sons, 2001.
[2] T. Kim, H.T. Attias, S. Lee, T. Lee, "Blind Source Separation Exploiting Higher-Order Frequency Dependencies, IEEE Trans. On. ASLP, pp.70-79, vol. 15, No. 1, Jan 2007.