본문 바로가기

분류 전체보기

 (108)
Upstage AI Lab 2기 [Day058] 수강생 TODO #01 - MNIST CNN Upstage AI Lab 2기 2024년 3월 6일 (수) Day_058 난이도 (중) # 1. Convolutional Neural Networks를 직접 구성하여 99% 이상의 성능을 내는 MNIST 분류기 만들기 (1) Convolution 연산, Flatten 연산, Fully Connected 레이어, Activation 연산만을 가지고 MNIST 분류기 만들기 (2) (1)에 Max Pooling, Average Pooling 레이어를 추가하여 MNIST 분류기 만들기 (3) (2)의 Pooling연산을 제거하고 Adaptive Pooling을 적절히 활용하여 MNIST 분류기 만들기 (1) Convolution 연산, Flatten 연산, Fully Connected 레이어, Activat..
Upstage AI Lab 2기 [Day058] CNN 구현 Upstage AI Lab 2기 2024년 3월 6일 (수) Day_058 온라인강의 nn.Conv2d https://pytorch.org/docs/stable/generated/torch.nn.Conv2d.html input shape : (BATCH_SIZE, 3, 256, 256) => in_channels = 3 output shape : (BATCH_SIZE, 64, 256, 256) => out_channels = 64 질문! 그럼 여기서 kernel은 kernel_size * kernel_size * in_channels 가 64개 있는건지? input image의 채널 수와 in_channels 값을 맞춰줘야 함. NLLLoss = negative log likelihood loss neg..
Upstage AI Lab 2기 [Day057] PyTorch 실습 - Tensor Manipulation Upstage AI Lab 2기 2024년 3월 5일 (화) Day_057 온라인강의 더보기 torch.rand() torch.randn() torch.randint() torch.zeros() torch.ones() torch.full() torch.eye() 텐서 조작(1) 0:52:50 03/05 (화) 2:10:27 텐서 조작(2) 0:34:17 Tensor Manipulation 텐서 생성 torch.rand() - uniform distribution torch.randn() - Gaussian distribution -> 원하는 텐서의 크기만큼 size(int) 를 차례대로 넣어주면 됨 더보기 예) torch.rand(5, 3, 2) tensor([[[0.7058, 0.4746], [0.71..
Upstage AI Lab 2기 [Day057] PyTorch Upstage AI Lab 2기 2024년 3월 5일 (화) Day_057 온라인강의 PyTorch : 딥러닝 프레임워크 중 하나 모델의 학습 과정을 처음부터 다 구현하려면 필요한 것들 1. 모든 레이어 직접 구현 2. loss function 구현 3. 모든 레이어에 대한 weight, bias에 대해 gradient 계산 4. 최적화 알고리즘 구현 -> 이 과정을 딥러닝 프레임워크가 단순화 시켜줌 why PyTorch? NLP - 가장 대중적인 NLP 커뮤니티인 HuggingFace에 공개된 대부분의 모델이 PyTorch를 사용 CV - 사전학습된 모델들을 외부라이브러리에서 불러올 수 있도록 PyTorch 생태계가 잘 구축되어 있음 LLM Tensor Manipulation 1D tensor - ve..
Upstage AI Lab 2기 [Day057] CH.4 - CNN, RNN, From AlexNet to ChatGPT Upstage AI Lab 2기 2024년 3월 5일 (화) Day_057 온라인강의 업스테이지 AI 나머지 공부 CH. 4-1. CNN (Convolutional Neural Network) MLP의 한계점 : flatten 하면서 이미지 데이터의 형상 정보가 사라짐 상대적 위치에 대한 정보가 사라지고, 인접 픽셀간 유사성에 대한 정보가 사라짐 앞단은 convolution을 사용하고, 어느 정도 추상적으로 특징이 잘 뽑혔다고 판단 되면 그 뒤부터는 일렬로 정렬해서 사용함. convolution 연산 Filter/Kernel - Kernel을 구성하는 숫자가 모델이 학습해야할 파라미터 입력 데이터보다 출력 데이터의 크기가 작아짐 입력데이터 x 커널(element-wise product) -> featur..
Upstage AI Lab 2기 [Day055] Deep Learning - 성능고도화 Upstage AI Lab 2기 2024년 3월 3일 (일) 온라인강의 업스테이지 AI 나머지 공부 Overfitting Generalization vs. overfitting balance between bias and variance -> 둘을 합하면 generalization error? Stabilization - dropout - normalization Dropout - 일반화가 잘 됐다면 약간의 노이즈가 있어도 학습에 영향이 적을 것이다. 앙상블과 비슷(집단지성, 투표) 출력시 scaling, 예측시 모든 노드 on Normalization input - feature scaling within layer - Batch norm, Layer Norm, Instance Norm, Group N..
Upstage AI Lab 2기 [Day055] Deep Learning - 손실 함수 Upstage AI Lab 2기 2024년 3월 3일 (일) 온라인강의 업스테이지 AI 나머지 공부 Chapter 2-6. 모델 학습법 IV : 손실 함수 키워드 손실함수의 종류 손실함수를 고르는 관점 2가지 손실함수를 고르는 관점 2가지 1. Backpropagation 관점 2. Maximum Likelihood 관점 손실함수의 종류 MSE, MAE, Huber loss, Cross Entropy(Binary Cross Entropy) 손실함수를 무엇을 선택하느냐에 따라 학습 결과가 다를 수 밖에 없다. (학습이 빠르다 ≒ 파라미터 업데이트가 빠르다) MSE (Mean Squared Error) = L2 loss, Quadratic loss 1. 초반학습이 빠름 2. 이상치에 민감 MAE (Mean ..
[패스트캠퍼스 Upstage AI Lab 2기 부트캠프] #04_미니 프로젝트 (3) ML 프로젝트 # 01. 프로젝트 소개프로젝트 기간 : 2024년 2월 13일 - 2024년 2월 26일 (캐글 대회 기간 : 2024년 2월 6일 - 2024년 5월 28일 ) 주제 : Home Credit - Credit Risk Model Stability(https://www.kaggle.com/competitions/home-credit-credit-risk-model-stability/data)5년 전에도 Home Credit에서 대회를 진행한 바 있으며, 5년 전보다 무려 10배 더 큰 데이터로 자랑스럽게 돌아온 대회다. ^^  목적 : default prediction (binary classification)평가 지표 : 자체평가 지표본 대회는 각 WEEK_NUM에 대하여 gini score를 계산하고..

티스토리툴바