Upstage AI Lab 2기 (72) 썸네일형 리스트형 Upstage AI Lab 2기 [Day102] NLP - Next Encoder Model Upstage AI Lab 2기2024년 5월 9일 (목) Day_102 CH6. BERT 계열의 파생 모델들1. RoBERTa : RoBERTa: A Robustly Optimized BERT Pretraining Approach pre-training 방식 변화 : Dynamic masking, NSP 제거, data ↑, pre-training step ↑, batch size ↑ (1) Dynamic masking - randomly different mask for each epoch(2) NSP 제거 - 단일 문서에서 문장을 샘플링할 경우 성능 향상(3) batch size ↑ - 복잡도 ↓(복잡도가 낮아진다는게 어떤 포인트인지 나중에 논문에서 확인해 보기) 2. SpanBERTSpa.. Upstage AI Lab 2기 [Day102] NLP - Encoder - Decoder Model(BART) (이론) Upstage AI Lab 2기2024년 5월 9일 (목) Day_102 오늘의 todo더보기[ o ] 이론강의 수강 - [ o ] NLP Advanced - [ o ] Next Encoder Model - [ o ] BERT 이후의 모델 이해하기 - [ o ] 대회 안내 - [ o ] 대회 소개 - [ o ] 베이스라인 코드 소개 [ ] 수강한 이론강의 내용 정리하기 - [ ] Encoder - Decoder Model - [ ] Next Encoder Model [ ] Transformer 논문 정리CH5. Encoder - Decoder Model(BAR.. Upstage AI Lab 2기 [Day101] NLP - Decoder Model (GPT) (이론) Upstage AI Lab 2기2024년 5월 8일 (수) Day_101더보기- [ ] 이론 강의 수강 - [ ] NLP Advanced (05/14 (화), 05/15 (수), 05/16 (목) 절반 ) - [ o ] Encoder Model (BERT) - [ o ] Tokenizer 이해하기 - [ ] Decoder Model (GPT) - [ o ] Decoder Model (GPT1) 이해하기 - [ o ] Decoder Model (GPT2,3) 이해하기 - [ ] Encoder - Decoder Model - [ ] Encoder-Decoder Mod.. Upstage AI Lab 2기 [Day100] NLP (실습) Upstage AI Lab 2기2024년 5월 7일 (화) Day_100 CH2. 자연어처리 경진대회 이해하기Part1. 자연어처리 Task 이해하기(1) Hugging Face1. import model, tokenizer2. datasets module3. pipeline module (2) 자연어처리 task- 기계 번역 / 질의 응답 / 정보 추출 / 감성 분류 / 요약 (3) Evaluation Metricconfusion matrix - accuracy, precision&recall, F1-score더보기서비스 관점에서의 예시 1) 악성 채팅어느 것이 서비스 관점에서 더 치명적일까? - 일반 채팅을 악성채팅으로 분류하여 차단 (FP) : 악성채팅이 노출되지 않는 것이 중요한 경우, 악.. Upstage AI Lab 2기 [Day100] NLP - Encoder Model(BERT) (이론) Upstage AI Lab 2기2024년 5월 7일 (화) Day_100 CH3. Encoder Model (BERT)Part1. Transfer Learning이란Transfer Learning: 특정 도메인으로부터 학습된 모델을 비슷한 도메인 task 수행에 재사용하는 방법.= Pre-training + Fine-tuningPre-training : 도메인에 대한 전반적인 특징을 학습Fine-tuning : Pre-trained parameter를 task에 맞춰 조정note : pre-trained 모델은 한개만 있으면 되고, task의 개수 만큼 fine-tuned model 있음. 레이블링 없는 데이터 활용 가능 ELMo(Embeddings from Language Models)(before E.. Upstage AI Lab 2기 [Day100] NLP Upstage AI Lab 2기 2024년 5월 7일 (화) Day_100 오늘의 todo더보기- [ ] 강의 수강 - [ ] NLP Advanced (05/13 (월), 05/14 (화)) - [ o ] BERT 이전 몰아보기 - [ o ] 자연어처리 경진대회 이해하기 - [ o ] 자연어처리 Task 이해하기 - [ o ] 자연어처리 Pipeline 이해하기 - [ o ] 자연어처리 Pipeline 구현하기 - [ ] Encoder Model (BERT) - [ ] Transfer Learning이란 - [ ] BERT 이해하기 .. Upstage AI Lab 2기 [Day095] CV - Generation Upstage AI Lab 2기2024년 4월 29일 (월) Day_095 - 4월 30일 (화) Day_096더보기2024년 4월 29일 (월) Day_095오늘의 todo[ ] 4/29 월, 4/30 화 강의 수강[ o ] 생성 모델 평가 지표의 필요성[ o ] 생성 모델의 평가 지표 (IS & FID)[ o ] 생성 모델의 평가 지표 (정밀도 & 재현율)[ o ] 생성 모델의 평가 지표 (조건부 생성 모델)[ o ] 적대적 생성 신경망[ o ] 조건부 생성 모델[ -> ] 적대적 생성 신경망 실습[ o ] 조건부 생성 모델을 활용한 다양한 영상 조작[ ] Pix2Pix와 CycleGAN 실습[ o ] 생성 모델 평가 지표 강의 내용 정리[ -> ] 적대적 생성 신경망 강의 내용 정리[ o ] 퀴즈 .. Hydra Hydra의 필요성 파라미터가 너무 많아지면서 코드 내부에 직접 작성하는 것이 불편하게 됨 -> Hydra는 파라미터 관리를 위해 별도의 yaml(yet another markup language) 파일로 관리 yaml 포맷은 key-value 구성, 들여쓰기 두 칸으로 구조 구분 OmegaConf 를 발전시킨 것이라 변수 접근, 변수 참조 등의 기능을 사용할 수 있음 (${variable}) Hydra 만의 특징 yaml 파일을 수정하지 않고 config 값을 터미널에서 추가 및 변경 가능 여러 설정 파일들을 하나의 설정 파일처럼 유기적 구성 가능 서로 다른 설정 파일 실험 조합 가능 Hydra를 위한 yaml 작성 들여쓰기 2칸 key : value 형식 list는 - 로 나열 # 주석 true, T.. 이전 1 2 3 4 5 ··· 9 다음
