Pretraining and Fine-tuning Cosine Similarity Softmax Function Softmax Classifier Few-Shot Prediction Using Pretrained CNN 기본적인 지도 학습을 이용해서 사전 학습 시킬 수 있습니다. Pretrain a CNN for feature extraction (aka embedding). The CNN can be pretrained using standard supervised learning or Siamese network. 두 이미지에서 각 feature vector가 나옵니다. 이것을 averaing하여 mean vector를 만듭니다. 이 mean vector는 저 squirrel class의 repres..
Siamese Networks이란? Learning Pairwise Similarity Scores 해당 PPT 자료를 통해, 이미지의 한 쌍이 같은 class라면 positive한 값 1을 다르다면 negative한 값은 0으로 결과를 내줍니다. CNN의 feature extraction 과정을 살펴보면 input 이미지가 x로 들어가고 output은 feature vector로 출력됩니다. z는 두 feature vector의 차인 $|h_1-h_2|$의 vector입니다. 흐름 설명 Siamse twins are connected to each other in the figure the twins have their own bodies but their heads are connected. We h..
기본적인 컨셉 Support set Support set is a small set of smaples → It is too small for training a model. Every class has at most a few samples. The support set can only provied additional information at test time. Query Set Query samples are never seen before. Query samples are from unkonwn classes. Traditional supervised learning Test samples are never seen before. Test samples are from known classes...
뉴런의 내부 구조 - 가중치, 편향, 활성화 함수 입력값이 뉴런으로 전달되면, 각 뉴런마다 각각의 가중치(weight)와 곱해집니다. 편향(bias)이란 하나의 뉴런으로 입력된 모든 값을 다 더한 다음에(가중합, weighted sum) 이 값에 더해주는 상수입니다. 이 값은 하나의 뉴런에서 활성화 함수를 거쳐 최종적으로 출력되는 값을 조절합니다. 하나의 뉴런에서 다른 뉴런으로 신호를 전달할 때 어떤 임계점을 경계로 출력값이 큰 변화가 있는 것으로 추정합니다. 출력값에 변화를 주는 함수를 이용하는데 이게 활성화 함수입니다. 편향이 임계점을 얼마나 쉽게 넘을지 말지를 조절해줍니다. DNN은 데이터를 입력받아 그 데이터들에 대한 각기 다른 가중치를 곱해 다음 층의 뉴런으로 전달하는 과정을 반복적으로 거치며 ..
논문 리뷰 발표를 위해 발등에 불떨어졌다. 주제는 메타러닝이기 때문에, 기본적인 개념을 빨리 팔로업하려고 한다. Meta Learning Meta-learning은 learning to learn으로 간략하게 설명합니다. 머신러닝 연구의 전통적 패러다임은 특정 task의 huge dataset으로 현재 dataset에 맞게끔 훈련시킵니다. 이 작업이 인간이 과거의 경험을 활용해서 단지 몇 가지 예에서 새로운 작업을 매우 빠르게 배우는 것과는 거리가 멀다고 생각했고, 인간은 배우는 법을 배우기 때문에 이런 아이디어에서 출발한 것 같습니다. 따라서 메타러닝의 아이디어는 learning the learning process입니다. training 과정에서 배우는 것 the initial parameters o..
이번 포스팅은 standford university의 cs231 lecture 7를 공부하고, 강의와 슬라이드를 바탕으로 정리한 글임을 밝힙니다. 강의 슬라이드는 [Index of slides in 2022] 에서 다운 받을 수 있습니다. 이때까지 배운 것을 살짝 정리해보면, Neural network를 배웠고, Forward/Backword propagation, Update parameters, Convolution layer, CNN architectures 등을 배웠습니다. 이번 강의의 개요는 학습 전 설정, 학습 후 설정, 평가할 때 쓸 수 있는 기법 등이 있습니다. 1. Activation Function activation function은 활성화함수라고 부릅니다. 이는 neural netw..
📒 [모두의 딥러닝 - 길벗] 교재를 참고하여 정리합니다. 📗 [핸즈온머신러닝 - 한빛미디어] 교재를 참고하여 정리합니다. 🔗 08. 오토인코더 (AutoEncoder) 1. 오토인코더란? 입력층보다 적은 수의 뉴런를 가진 은닉층을 중간에 넣어 줌으로써 차원을 줄입니다. 이때 학습을 통해 소실된 데이터를 복원하고, 이 과정을 통해 입력 데이터의 특징을 효율적으로 응축한 새로운 출력이 나오는 원리입니다. 오토인코더(Autoencoder)는 어떤 지도 없이도(즉, 레이블되어 있지 않은 훈련 데이터를 사용하여) 잠재 표현(latent representation) 또는 코딩(coding)이라 부르는 입력 데이터의 밀집 표현을 학습할 수 있는 인공 신경망입니다. 이런 코딩은 일반적으로 입력보다 훨씬 더 낮은 차원..
단어 임베딩은 차원 축소와 함께 원-핫 인코딩의 대안으로 생각할 수 있습니다. 텍스트 데이터를 다룰 때 신경망을 포함한 기계 학습 모델에 입력하기 전에 이를 숫자로 변환해야 합니다. 단순함을 위해 단어는 범주형 변수와 비교할 수 있습니다. 범주형 기능을 숫자로 변환하기 위해 원-핫 인코딩을 사용합니다. 그렇게 하기 위해 각 범주에 대해 더미 기능을 만들고 0과 1로 채웁니다. 마찬가지로 텍스트 데이터의 단어에 대해 원-핫 인코딩을 사용하는 경우 각 단어에 대해 더미 기능을 갖게 됩니다. 이는 10,000단어의 어휘에 대해 10,000개의 feature를 의미합니다. 이것은 단어 벡터를 위한 큰 저장 공간을 요구하고 모델 효율성을 감소시키기 때문에 실현 가능한 임베딩 접근 방식이 아닙니다. 임베딩 레이어를..
- Total
- Today
- Yesterday
- docker
- 서버에다운
- style transfer
- 파이썬
- 딥러닝
- python
- CNN
- 도커
- NLP
- few-shot learning
- 서버구글드라이브연동
- vscode 저장
- 구글드라이브다운
- vscode 종료
- 퓨샷러닝
- 프롬프트
- prompt learning
- cs231n
- Unsupervised learning
- Prompt
- vscode 자동 저장
- 구글드라이브서버다운
- clip
- 구글드라이브서버연동
- support set
- 데이터셋다운로드
- vscode 업데이트
- 구글드라이브연동
- stylegan
- 도커 컨테이너
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |