김승일

모두의연구소 연구소장

모두의연구소 DeepLAB 랩짱


Deep Learning을 처음 시작하면 무엇을 어떻게 봐야할지 난감하죠. 

수식도 많다보니 진입장벽도 살짝 있는 것도 사실입니다.

하지만, 정말 핫한 주제이다보니 포기할 수도 없구요.


그래서 준비했습니다! 

딥러닝을 처음 시작하는 분들을 위한 필수 공부 리스트!


0. Machine Learning 기초

http://whydsp.org/237

선정이유 : 기계학습에 대한 기초 지식이 없으신 분들이 보시면 처음 개념잡기 좋게 제가 정리해 놓은 글입니다.

 

1. Multi-layer Perceptron and Back-propagation

S. Haykin의 Neural Networks 책 중 Backpropagation 파트. 

선정이유 : 많은 문헌들이 복잡한 Back-propagation 수식의 notation을 오락가락(?) 이해하기 어렵게(?) 적어두었습니다만, Haykin의 책에는 정말 딱 필요한 notation을 정확히 사용함으로써 헷갈릴 요소 자체를 배제하였기에 추천합니다. (책이니까 링크는 없으며, 오래된 책이므로 굳이 사실 필요도 없을 것 같습니다. 그냥 도서관에서 필요한 몇페이지만 보시면 될 것 같아요. 제가 참고한 서적은 1998년판 2nd Edition 입니다.)


http://mattmazur.com/2015/03/17/a-step-by-step-backpropagation-example/ 

선정이유 : 이것은 수식만으로 공부하기에는 빡신 Back-propagation을 실제 예제로 보여줌으로써, 하나하나 따라나가다보면 어느새 Back-propagation 알고리즘을 섭렵해버린 자신을 발견하게 되는 꿀링크입니다.


https://www.cs.ox.ac.uk/people/nando.defreitas/machinelearning/ 중 Lecture 9. Neural Networks and Deep Learning with Torch

선정이유 : 위 lecture에서는 Back-propagation을 Regression 관점에서 설명해주고 있습니다. 하나의 알고리즘을 다양한 관점에서 바라보는 것은 이해의 폭을 넓혀주기 때문에 추천합니다.

 

2. Convolutional Neural Network

http://ufldl.stanford.edu/tutorial/supervised/ConvolutionalNeuralNetwork/ 

선정이유 : Convolutional Neural Network 를 상당히 쉽게 정리해두었으며, 실제 내부적으로 알고리즘이 어떻게 돌아가는지 체득할 수 있도록 샘플코드 문제도 있어서 공부하기 딱 좋습니다. 

 

3. Recurrent Neural Network and LSTM

http://colah.github.io/posts/2015-08-Understanding-LSTMs/ (원문)

http://whydsp.org/280  (번역)

선정이유 : RNN 개념을 정말 쉽게 잘 정리한 colah의 블로그 글. 역시 추천. DeepLAB 이태우연구원님이 번역해 놓았기 때문에, 영어울렁증 있으신 분들도 쉽게 접근하실 수 있습니다. 

 

4. Deep Belief Network and Restricted Boltzmann Machine

https://www.cs.toronto.edu/~hinton/absps/fastnc.pdf 

선정이유 : DBN 의 오리지널 논문입니다. 3번정도까지 착실히 진행해 오셨으면 이제는 남들의 설명이 아닌 오리지널 논문도 한번 봐야겠죠? 

http://whydsp.org/283 

선정이유 : 그런데 오리지널 논문이 Graph Theory를 기반으로 설명을 진행하다보니, 이에 익숙하지 않은 분들에게는 좀 어려움이 있습니다. 그래서 많은 분들에게 익숙한 Gradient Descent 관점에서 DBN 논문을 제 나름대로 해석해보았습니다. 



본 글은 모두의연구소 딥러닝연구실 <DeepLAB>에서 그간 진행했던 내용들을 토대로 정리한 것입니다.



모두의연구소 DeepLAB 연구실은 딥러닝연구에 관심있는 분들의 참여를 기다립니다.

연구실 소개 : http://www.modulabs.co.kr/#!deeplab/c1dzk


모두의연구소 페이지와 모두의연구소 커뮤니티에 오시면 더 많은 정보를 만나보실 수 있습니다.

모두의연구소 페이스북 페이지 : https://www.facebook.com/lab4all

모두의연구소 커뮤니티 그룹 : https://www.facebook.com/groups/modulabs





저작자 표시 비영리 변경 금지
신고
크리에이티브 커먼즈 라이선스
Creative Commons License
  1. 하영맘 2016.01.26 18:21 신고

    최근에 딥러닝에 관심이 생겨서 공부해보려고 검색하다가 우연히 들리게 되었습니다.
    많은 도움얻고 갑니다. 감사합니다^^

  2. scott 2016.11.14 15:12 신고

    깔끔한 guide 감사합니다.

  3. 재키 2016.11.15 00:18 신고

    안녕하세요, 딥러닝의 초짜인데, 모두의 연구소 DeepLab 에 참여해도 무리가 없을까요?
    어느 정도 기본 지식을 갖춰야 참여후 제대로 된 활동을 할 수 있을까요?

    • 아예 한번도 본적이 없으시다면 EDU반에 참여하시면 될 것 같구요, 본적이 있으시다면 논문반이나 실습반에 참여하시면 될 것 같아요 ^^

    • 재키 2016.11.23 22:03 신고

      YouTube에 올려져 있는 김성훈 교수님의 강의를 겨우 이해하는 정도의 지식을 가지고 있습니다. 혼자서 할려니 너무 막막하네요. 이정도 이면 논문반이나 실습반도 가능한가요? 저에게 맞는 입문반이 있으면 좋겠네요.

    • EDU반 4기가 17년 1월에 열리므로 그때 참여하시면 좋을 것 같습니다. ^^

+ Recent posts