Deep-Dive AI

Batch Normalization 논문을 읽고 정리해봅니다. 솔직히 Paper Review긴 하지만 의식의 흐름대로 정리했습니다. 정말 유명하고 기본이 되는 논문이라 리뷰 글이 정말 많습니다. (다른 글을 더 추천한다는 의미) Reference로 아래에 참고한 글을 달아둘테니 논문 정독 대신 요약 리딩과 깔끔한 정리를 원한다면 맨 아래로 가주세요. 그래도 오류와 틀린 내용이 있다면 지적 부탁드립니다. Batch Normalization : Accelerating Deep Network Training by Reducing Internal Covariate Shift 누르면 논문 PDF로 이동합니다. Motivation Reduce the internal covariate shift 이 논문의 주제이자 ..

2016년 ECCV에서 게제된 논문 Deep Networks with Stochastic Depth 입니다. Abstract 현재까지 benchmark에서 error를 낮췄던 것은 Very Deep Convolution Network입니다. 이렇게 깊은 네트워크를 가진 경우 몇 가지 문제점이 있습니다. gradient vanishing 문제로 forward flow에서 감소하며, training time이 느려질 수 있습니다. 해당 문제를 해결하기 위해 Stochastic Depth를 제안합니다. 이는 train time에 short network를 훈련하고, test time에 deep network를 사용하는 모순되어 보이는 방법입니다. 또한, 각 mini-batch에 대해 계층의 하위 집합을 무작위..

2017년 CVPR에서 발표된 논문 Pyramid Scene Parsing Network입니다. PSPNet이라고 불리며, 주요 키워드는 pyramid pooling module, global context information, different-region-based context aggregation 등이라 볼 수 있습니다. 기본 개념 Semantic Segmentation은 각 픽셀값을 특정 클래스(class)로 분류하는 것 Segmentation과 Detection 차이 Object Detection의 경우, 이미지의 각 class마다 bounding box를 만듦, 객체의 모양을 알 수는 없음 Image segmentation은 각 object마다 pixel-wise mask를 만들어서 obj..