Upstage AI Lab 2기 (72) 썸네일형 리스트형 Upstage AI Lab 2기 [Day061] Upstage AI Lab 2기 2024년 3월 11일 (월) Day_061 오늘의 todo [ ] cnn module 에 parameter counter 넣기 [ ] cnn module logging 넣기? [ ] dataset class 에 transform 넣기 [ ] 지금까지의 작업 정리하고 순차적으로 실행해서 wandb 기록 [ ] vgg 구현 (논문 앞부분 읽던 중) 참고 자료 (given from 승현님) - normalize에 넣는 평균, 표준편차 값에 대한 설명 https://dacon.io/codeshare/4750 VGG 논문의 configuration 부분에서 3*3 커널만 사용한다, stride=1, padding=1이라는 부분 외에 데이터에 대한 수정 작업은 mean값을 뺀 것 .. Upstage AI Lab 2기 [Day060] Upstage AI Lab 2기 2024년 3월 8일 (금) Day_060 온라인 강의 nn.ModuleList 사용해서 VGG 구현해보기 Simonyan, Karen, and Andrew Zisserman. "Very deep convolutional networks for large-scale image recognition." arXiv preprint arXiv:1409.1556 (2014). large-scale image recognition setting input : 224 × 224 RGB image For instance, the best-performing submissions to the ILSVRC2013 (Zeiler & Fergus, 2013; Sermanet et al., 2.. Upstage AI Lab 2기 [Day060] Upstage AI Lab 2기 2024년 3월 8일 (금) Day_060 온라인 강의 오늘의 목표! [모니터링을 위한 TensorBoard와 Wandb] 수강하고 VGG net, ResNet 짜보기! from torch.utils.tensorboard import SummaryWriter writer = SummaryWriter("./runs/tutorial") # IPython 환경에서 tensorboard 확장 기능을 로드하는 역할을 합니다. %load_ext tensorboard # ./runs/tutorial 위치에 저장된 로그를 위치로 tensorboard를 실행합니다. %tensorboard --logdir ./runs/tutorial %reload_ext tensorboard %tensor.. Upstage AI Lab 2기 [Day060] 수강생 TODO #02 - Pytorch Data Loading - 수정작업 #2 Upstage AI Lab 2기 2024년 3월 8일 (목) Day_060 수강생 TODO https://hyj89han.tistory.com/133 https://hyj89han.tistory.com/134 1차 피드백 중 애매하게 해결된 것 normalization 반드시 하기 모듈화 해서 합치는 과정에서 무언가 오류가 생김 (실행에는 문제가 없음) 왜 extend를 썼을때는 오류가 생겼었을까? feature extraction layer와 classification layer 분리하는 과정에서 softmax 레이어를 어디로 옮겼는지 기억이 안남. 해결하지 못한 1 차 질문 : 왜 8:2로 train val 나눴는가 -> cifar 10은 정제가 잘 된 data라 val이 10000개까지 필요 없을 .. Upstage AI Lab 2기 [Day059] 수강생 TODO #02 - Pytorch Data Loading - 수정작업 Upstage AI Lab 2기 2024년 3월 7일 (목) Day_059 수강생 TODO https://hyj89han.tistory.com/133 오늘의 TODO .ipynb -> .py로 local 에 data 저장후, data class 써서 불러오기 (torch.utils.data의 Dataset 상속받아서) 클래스가 일정하게 배분되었는지 확인하기 --------> 여기까지 1시 전까지 해결하기 클래스 데이터의 특성을 정확하게 파악하기 early stopping 10은 너무 크다, 3도 너무 크다 (모델이 클 수록, 파라미터 튜닝이 잘 되어 있을 수록 3번까지 valid loss가 안 떨어지는 경우 많지 않음, 큰 모델에서도 epoch 100 넘어가는 경우 많지 않음) normalization .. Upstage AI Lab 2기 [Day058] 수강생 TODO #02 - Pytorch Data Loading Upstage AI Lab 2기 2024년 3월 6일 (수) Day_058 수강생 TODO 목표 : - Pytorch를 이용하여 다양한 딥러닝 모델 구현에 필요한 tensor 연산을 자유자재로 할 수 있다. - 기본적인 딥러닝 모델들을 직접 구현하여 학습 및 추론할 수 있다. - 다양한 라이브러리에 구현되어 있는 딥러닝 모델을 손쉽게 사용할 수 있고, 구현 과정에서 생기는 다양한 에러들을 해결할 수 있다. 수강생 미션 : 직접 데이터를 선정해서 학습이 가능한 형태로 변경함으로써 Pytorch의 data loading에 대해 이해한다. 수강생 세부 todo 1. UCI repository에서 학습하고 싶은 tabular 데이터를 선택. (Adult, Heart disease 등) 2. 해당 tabular .. Upstage AI Lab 2기 [Day058] 수강생 TODO #01 - MNIST CNN Upstage AI Lab 2기 2024년 3월 6일 (수) Day_058 난이도 (중) # 1. Convolutional Neural Networks를 직접 구성하여 99% 이상의 성능을 내는 MNIST 분류기 만들기 (1) Convolution 연산, Flatten 연산, Fully Connected 레이어, Activation 연산만을 가지고 MNIST 분류기 만들기 (2) (1)에 Max Pooling, Average Pooling 레이어를 추가하여 MNIST 분류기 만들기 (3) (2)의 Pooling연산을 제거하고 Adaptive Pooling을 적절히 활용하여 MNIST 분류기 만들기 (1) Convolution 연산, Flatten 연산, Fully Connected 레이어, Activat.. Upstage AI Lab 2기 [Day058] CNN 구현 Upstage AI Lab 2기 2024년 3월 6일 (수) Day_058 온라인강의 nn.Conv2d https://pytorch.org/docs/stable/generated/torch.nn.Conv2d.html input shape : (BATCH_SIZE, 3, 256, 256) => in_channels = 3 output shape : (BATCH_SIZE, 64, 256, 256) => out_channels = 64 질문! 그럼 여기서 kernel은 kernel_size * kernel_size * in_channels 가 64개 있는건지? input image의 채널 수와 in_channels 값을 맞춰줘야 함. NLLLoss = negative log likelihood loss neg.. 이전 1 2 3 4 5 6 7 ··· 9 다음
