Deep-Dive AI

이번 포스팅은 LSTM의 아주 기초적인 부분에 대해 공부해보려고 합니다.🚀 기본기를 탄탄하게 쌓는 포스팅이 되면 좋겠군요! *해당 포스팅은 Reference에 있는 일러스트로 설명하는 LSTM 포스팅을 바탕으로 번역하여 정리했음을 밝힙니다. * 이전 RNN의 내용을 보고 싶으시다면 두 번째 링크를 참고 부탁드립니다. Reference 🔗 Illustrated Guide to LSTM’s and GRU’s: A step by step explanation 🔗 RNN(Recurrent Neural Networks, 순환 신경망) 그림으로 이해하기 Short-term Memory의 문제 Recurrent Neural Networks는 Short-term Memory 문제를 갖습니다. sequence가 매우 길..

이번 포스팅은 RNN의 아주 기초적인 부분에 대해 공부해보려고 합니다.🚀 앞으로 NLP 분야를 공부할 예정이니 기본기를 탄탄하게 쌓는 포스팅이 되면 좋겠군요! 해당 포스팅은 Reference에 있는 일러스트로 설명하는 RNN 포스팅을 바탕으로 번역하여 정리했음을 밝힙니다. Reference 📄 Illustrated Guide to Recurrent Neural Networks What are RNN’s? RNN 아이디어의 시작은 sequential information의 이용이었습니다. 전통적 신경망에서는 모든 inputs과 outputs이 서로 독립적이라 가정합니다. 그러나 많은 task에서 이 가정이 좋지는 못했습니다. 예를 들어, 문장에서 단어를 예측하려면 그 앞에 어떤 단어가 왔는지를 알아야 더 ..

2016년 ECCV에서 게제된 논문 Deep Networks with Stochastic Depth 입니다. Abstract 현재까지 benchmark에서 error를 낮췄던 것은 Very Deep Convolution Network입니다. 이렇게 깊은 네트워크를 가진 경우 몇 가지 문제점이 있습니다. gradient vanishing 문제로 forward flow에서 감소하며, training time이 느려질 수 있습니다. 해당 문제를 해결하기 위해 Stochastic Depth를 제안합니다. 이는 train time에 short network를 훈련하고, test time에 deep network를 사용하는 모순되어 보이는 방법입니다. 또한, 각 mini-batch에 대해 계층의 하위 집합을 무작위..

자료 출처: CS5670 Light & Perception 이번 강의에서 다룰 내용은 Light과 Perception입니다. Properties of light What is light? How do we measure it? How does light propagate? How does light interact with matter? Radiometry 픽셀의 밝기를 결정하는 것은 무엇인가요? What is light? Electromagnetic radiation (EMR) moving along rays in space $R(\lambda)$ is EMR, measured in units of power (watts) $\lambda$ is wavelength Light field We can d..

이번 포스팅은 standford university의 cs231 lecture 5를 공부하고, 강의와 슬라이드를 바탕으로 정리한 글임을 밝힙니다. Reference 💻 유튜브 강의: Lecture 5 | Convolutional Neural Networks 💻 한글 강의: cs231n 7강 CNN 📑 slide: PDF 📔 1. CNN 개요 📔 2. Why CNN? 📔 3. CNN의 구조 📗 Intuitively Understanding Convolutions for Deep Learning 📕 06. 합성곱 신경망 - Convolutional Neural Networks Contents Reference Contents Outline Multi-layered Neural Network 문제점 Why C..

이번 포스팅은 standford university의 cs231 lecture 4를 공부하고, 강의와 슬라이드를 바탕으로 정리한 글임을 밝힙니다. 제가 직접 필기한 이미지 자료는 별도의 허락 없이 복사해서 다른 곳에 게시하는 행위를 금지합니다. 필요하신 경우 댓글로 알려주세요! Reference 💻 유튜브 강의: Introduction to Neural Networks 💻 한글 강의: cs231n 4강 Backpropagation and NN part 1 📑 slide: PDF Contents Reference Contents Review Backpropagation: a simple example chain rule이 무엇인가? Another example sigmoid gate Patterns in ..

이번 포스팅은 standford university의 cs231 lecture 3를 공부하고, 강의와 슬라이드를 바탕으로 정리한 글임을 밝힙니다. Reference 💻 유튜브 강의: Loss Functions and Optimization 📑 slide: PDF Contents Outline Multiclass Support Vector Machine Loss(Multiclass SVM loss) Questions 1~6 Regularization Weight Decay Softmax Questions 1~3 Softmax vs. SVM 중간 Summary Optimization 1-1. Random Search 1-2. Random Local Search 2-1. Gradeint 따라가기(Follow ..

| 0. 강의 자료 CS231n: Convolutional Neural Networks for Visual Recognition CS231n 전체 강의자료: 강의 자료 링크 CS231n 2강: Youtube 링크 CS231n_2강 강의자료: slide.pdf | 1. 강의 목표 K-Nearest Neighbor Linear classifiers: SVM, Softmax Two-layer neural network Image features | 2. Image Classification The Problem: Semantic Gap An image is just a big grid of numbers between [0, 245]: 컴퓨터는 이미지를 0부터 245까지 픽셀로 본다. 따라서, 컴퓨터가 이미지..