Independent Vector Analysis(IVA)에 대해서 세미나를 해야할 일이 생겨서 IVA 공부를 하는 김에 복잡한 수식을 두 번 다시 유도하고 싶지 않아 여기에 깔끔하게 정리해보고자 합니다. 수식 인덱스가 아주 환장하게 복잡하네요 ㅎㅎ(이걸 유도한 저자분은 참 대단 ㄷㄷ).
일단 IVA란?
Taesu Kim 님이 만든
알고리즘으로서, 주파수
축상에서
각
주파수 bin별로
따로 ICA 돌리던
것을
한꺼번에
고려해서
돌려주겠다… 는 내용의 알고리즘입니다. (IVA의
개념에
대해서는
또
나중에
다시
다뤄야겠네요. 여기서는
단순히
수식
유도만
다룰
것입니다. ^^ 지금
급한게
수식
유도라.. ^^) 언제
시간나면 ICA의
이론에
대해서
총체적으로
다루겠지만, 현재로서는
정리해
둔
파일은
없고 ICA는
기본적으로
알고
있다고
가정하고
유도합니다. 그리고
아마
Matrix와 Vector간의
변환에
대해서도
봐두시면(링크참조) 도움이
되실
것입니다.
자 그럼 시작해보겠습니다.
널리
알려진
바와
같이 ICA의 Unmixing matrix의 Update식은
(1)
와 같이 표현이 됩니다. [1]
IVA의
경우 ICA의 Frequency Domain Version + Independent Constraint를
모든 Frequency Bin과
연결해서
생각해주자는
것입니다. 이럴경우 IVA의 Update 수식은
(2)
가
됩니다. 수식 (1)과 (2)의
차이점을
살펴볼까요? 세가지가
바뀐
것을
확인하실
수
있으실텐데요.. 일단 transpose 연산자가 Hermitian으로
바뀌었습니다. ICA는 real-value를
가정하였지만, IVA는 Frequency-Domain을
생각해주었으므로, 기본적으로 Complex-Value에서
생각하게
됩니다. 따라서 TèH로
바뀐것이구요, 모든 variable에 (k)라는
새로운 index가
생겼습니다. 이것은 k-th frequency bin에
해당된다는
뜻입니다. 마지막으로 g()라는 nonlinear function 안에 K개의
변수가
들어있습니다. Nonlinear Function g()는 pdf로
구성되는
함수로서
내부
변수가
여러
개가
콤마(,)로
연결되어
있다는
것은 pdf가 joint pdf로
바뀌었다는
뜻입니다.
제가
설명하고도
뭔
말을
하는
건지
ㅋㅋ (아무래도 IVA의
개념에
대해서
빨리
글을
작성해야겠네요..) 여튼
이정도로
설명하고
넘어가도록
합니다.
그런데 IVA관련
논문들을
보시면
아시겠지만, 이렇게 Matrix(or Vector) Form으로
표현이
되어
있질
않습니다. 예를
들면
(3)
와
같은
식이죠.[2]
결국 (2)에서 (3)을
유도할
줄
알면
되겠죠? ^^
(3)식은
논문에
있는
수식을
그대로
가져와서 (2)랑은 Notation이
좀
다릅니다. (2)는 ICA를
제가
이해한
방식의 Notation이라 Notation을
일단
맞춰야
겠죠? W=G, g()=-phi(), y=s, 정도로
보시면
크게
무리가
없을
것으로
보입니다. 일단 (2)로부터
가
될테구요,
이것의 Natural Gradient 형태
즉,
를 양변에 곱한 형태는 다음과 같이 주어지게 될 것입니다.
이것이 Natural Gradient를
적용한 IVA의 Update 식이
됩니다. 이것을 Element형식으로
표현을
해볼까요?
가 됩니다. 얼추 (3)과 비슷해졌나요? 차이점이 있다면 Identity Matrix가 summation 안에 들어갔냐 아니냐의 차이인데, 저는 아무리 유도해도 summation안에 l(소문자L) index를 가지고 들어가게끔 유도가 안됩니다. (모 나중에 Constraint를 바꿔쓰면 사용하지 않을 Factor이기는 하지만 그래도 찜찜은 하네요. 저자에게 질문을 한번 해야 할 듯 합니다.)
이로써 IVA Update식 유도 완성! 헉헉.. 역시 빡셉니다 ^^
Reference
[1] A. Hyvarinen, J. karhunen and E. Oja, Independent Component Analysis, John Wiley & Sons, 2001.
[2] T. Kim, H.T. Attias, S. Lee, T. Lee, "Blind Source Separation Exploiting Higher-Order Frequency Dependencies, IEEE Trans. On. ASLP, pp.70-79, vol. 15, No. 1, Jan 2007.
'딥러닝연구실' 카테고리의 다른 글
딥러닝 워크샾 후기 (4) | 2015.04.27 |
---|---|
기계학습 / 머신러닝 기초 ( Machine Learning Basics ) (27) | 2014.07.30 |
Maximum Likelihood Estimator (11) | 2010.08.15 |
[Optimization #2] Natural Gradient (1/3) – Riemannian Geometry (0) | 2010.06.11 |
Independent Vector Analysis (IVA) 를 유도해 보자. (0) | 2010.05.25 |
일반적인 Adaptive Filter와 Independent Component Analysis (ICA)와의 차이점 (1/2) (0) | 2010.05.24 |