모두의연구소 딥러닝연구실 DeepLAB에서 진행중인 논문세미나 발표자료입니다.


논문제목 : Texture Synthesis using Convolutional Neural Networks

발표자 : 김승일 연구원님

날짜 : 2016년 1월 11일


내용요약 : 

일전에 명화따라그리기 논문[1]에서 feature map의 correlation 정보에 style (texture) 정보가 실리는지 질문을 드렸었었습니다. 오늘에야 논문들을 좀 찾아볼 시간이 나서 살펴보았습니다... 찾아보니 두달 전 질문이었군요 -_-;;;


일단 style(visual texture) 라는 것은 "어떤 반복되는 구조(패턴)이다" 라고 오래 전부터 연구한 결과가 있는 것 같습니다 [2]. [3]의 그림들을 보면 texture synthesis를 위한 source 그림들은 다들 주기성을 가지고 있죠.. 논문 [4]의 그림 2를 보시면 주기성이 없는 가장 오른쪽 그림은 결과가 이상한 것도 이런 맥락에서 이해가 가능한 것 같습니다.


그래서 1999년에 발표된 [5] 논문에 의하면 wavelet sub-band filter output의 auto-correlation 을 texture descriptor로 사용하는 게 나옵니다. (원문 : In order to represent such spectral features, we should include the local autocorrelation of each subband as a texture descriptor.) 즉, 각 주파수 대역별로 (subband 별로) auto-correlation을 구하고 그 spatial statistics를 texture descriptor로 정의하는 것이죠. 


그리고, 어떤 동일한 style(texture)를 가지는 두 이미지가 있다면, 그 두 이미지의 spatial statistics는 같다. 라는 가정에서 style(texture) synthesis를 하게 됩니다. 그것이 [1]논문에서 각 convolutional layer의 feature map 에서의 Gram matrix (auto-correlation matrix)를 style generation에 사용한 이유가 되기도 하구요.




참고자료 :

[1] A Neural Algorithm of Artistic Style, http://arxiv.org/pdf/1508.06576v1.pdf 

[2] http://www.cns.nyu.edu/lcv/texture/

[3] http://bethgelab.org/deeptextures/

[4] Texture Synthesis Using Convolutional Neural Networks, http://bethgelab.org/media/publications/TextureSynthesis_NIPS.pdf

[5] A Parametric Texture Model Based on Joint Statistics of Complex Wavelet Coefficients, 

http://www.cns.nyu.edu/pub/lcv/portilla99-reprint.pdf



모두의연구소 페이지와 커뮤니티 그룹에 오시면 더 많은 정보를 만나보실 수 있습니다.

모두의연구소 페이지 https://www.facebook.com/lab4all

모두의연구소 커뮤니티 그룹 : https://www.facebook.com/groups/modulabs



저작자 표시 비영리 변경 금지
신고
크리에이티브 커먼즈 라이선스
Creative Commons License

+ Recent posts