본문 바로가기

Upstage AI Lab 2기

 (72)
Upstage AI Lab 2기 [Day057] PyTorch 실습 - Tensor Manipulation Upstage AI Lab 2기 2024년 3월 5일 (화) Day_057 온라인강의 더보기 torch.rand() torch.randn() torch.randint() torch.zeros() torch.ones() torch.full() torch.eye() 텐서 조작(1) 0:52:50 03/05 (화) 2:10:27 텐서 조작(2) 0:34:17 Tensor Manipulation 텐서 생성 torch.rand() - uniform distribution torch.randn() - Gaussian distribution -> 원하는 텐서의 크기만큼 size(int) 를 차례대로 넣어주면 됨 더보기 예) torch.rand(5, 3, 2) tensor([[[0.7058, 0.4746], [0.71..
Upstage AI Lab 2기 [Day057] PyTorch Upstage AI Lab 2기 2024년 3월 5일 (화) Day_057 온라인강의 PyTorch : 딥러닝 프레임워크 중 하나 모델의 학습 과정을 처음부터 다 구현하려면 필요한 것들 1. 모든 레이어 직접 구현 2. loss function 구현 3. 모든 레이어에 대한 weight, bias에 대해 gradient 계산 4. 최적화 알고리즘 구현 -> 이 과정을 딥러닝 프레임워크가 단순화 시켜줌 why PyTorch? NLP - 가장 대중적인 NLP 커뮤니티인 HuggingFace에 공개된 대부분의 모델이 PyTorch를 사용 CV - 사전학습된 모델들을 외부라이브러리에서 불러올 수 있도록 PyTorch 생태계가 잘 구축되어 있음 LLM Tensor Manipulation 1D tensor - ve..
Upstage AI Lab 2기 [Day057] CH.4 - CNN, RNN, From AlexNet to ChatGPT Upstage AI Lab 2기 2024년 3월 5일 (화) Day_057 온라인강의 업스테이지 AI 나머지 공부 CH. 4-1. CNN (Convolutional Neural Network) MLP의 한계점 : flatten 하면서 이미지 데이터의 형상 정보가 사라짐 상대적 위치에 대한 정보가 사라지고, 인접 픽셀간 유사성에 대한 정보가 사라짐 앞단은 convolution을 사용하고, 어느 정도 추상적으로 특징이 잘 뽑혔다고 판단 되면 그 뒤부터는 일렬로 정렬해서 사용함. convolution 연산 Filter/Kernel - Kernel을 구성하는 숫자가 모델이 학습해야할 파라미터 입력 데이터보다 출력 데이터의 크기가 작아짐 입력데이터 x 커널(element-wise product) -> featur..
Upstage AI Lab 2기 [Day055] Deep Learning - 성능고도화 Upstage AI Lab 2기 2024년 3월 3일 (일) 온라인강의 업스테이지 AI 나머지 공부 Overfitting Generalization vs. overfitting balance between bias and variance -> 둘을 합하면 generalization error? Stabilization - dropout - normalization Dropout - 일반화가 잘 됐다면 약간의 노이즈가 있어도 학습에 영향이 적을 것이다. 앙상블과 비슷(집단지성, 투표) 출력시 scaling, 예측시 모든 노드 on Normalization input - feature scaling within layer - Batch norm, Layer Norm, Instance Norm, Group N..
Upstage AI Lab 2기 [Day055] Deep Learning - 손실 함수 Upstage AI Lab 2기 2024년 3월 3일 (일) 온라인강의 업스테이지 AI 나머지 공부 Chapter 2-6. 모델 학습법 IV : 손실 함수 키워드 손실함수의 종류 손실함수를 고르는 관점 2가지 손실함수를 고르는 관점 2가지 1. Backpropagation 관점 2. Maximum Likelihood 관점 손실함수의 종류 MSE, MAE, Huber loss, Cross Entropy(Binary Cross Entropy) 손실함수를 무엇을 선택하느냐에 따라 학습 결과가 다를 수 밖에 없다. (학습이 빠르다 ≒ 파라미터 업데이트가 빠르다) MSE (Mean Squared Error) = L2 loss, Quadratic loss 1. 초반학습이 빠름 2. 이상치에 민감 MAE (Mean ..
Upstage AI Lab 2기 [Day055] Deep Learning Upstage AI Lab 2기 2024년 2월 29일 (목) Day_055 온라인강의 업스테이지 AI 어제자 못 들은 수업 Deep Learning 모델 학습법 모델 학습법 I : 다층 퍼셉트론 0:51: 48 승현님 추천 https://www.youtube.com/@hanyoseob/videos Deep Learning 모델 학습법 모델 학습법 I : 다층 퍼셉트론 다층 퍼셉트론 : 뉴럴넷의 시초 뉴럴넷 개요 사람의 인지, 기계의 인지 기계의 인지 - 전통적 방식 : 구별 짓는 특징을 사람이 결정 handcraft feature 예) 어떤 특징을 봐야 사람이 있는지 알 수 있을까. 그 특징을 뽑으면 그게 논문이 되었다. - 뉴럴넷 방식 : 학습 데이터 - 이미지, 정답 자동으로 특징들과 의사 결정 룰..
Upstage AI Lab 2기 [Day043] ML 프로젝트 (day1-2) (2) 업무분담 credit_bureau_a_2 : (188298452, 19) static_cb_0 : (1500476, 53) applprev_1 : (6525979, 41) credit_bureau_a_2 (188298452, 19) 더보기 columns - 'case_id' - 'collater_typofvalofguarant_298M' : Collateral valuation type (active contract). - 'collater_typofvalofguarant_407M' : Collateral valuation type (closed contract). - 'collater_valueofguarantee_1124L' : Value of collateral for active contract. - 'c..
Upstage AI Lab 2기 [Day043] ML 프로젝트 (day1) Upstage AI Lab 2기 2024년 2월 13일 (화) Day_043 given data(train) Base tables (1526659, 5) target 0 : 1478665 target 1 : 47994 static_0 (1526659, 168) static_cb_0 (1500476, 53) applprev_1 (6525979, 41) other_1 (51109, 7) tax_registry_a_1 (3275770, 5) tax_registry_b_1 (1107933, 5) tax_registry_c_1 (3343800, 5) credit_bureau_a_1 (15940537, 79) credit_bureau_b_1 (85791, 45) deposit_1 (145086, 5) person_..

티스토리툴바