분류 전체보기 (108) 썸네일형 리스트형 RAG from scratch (3) 자료 : https://www.youtube.com/playlist?list=PLfaIDFEXuae2LXbO1_PKyVJiQ23ZztA0x Routing (Logical Routing + Semantic Routing)routing the question (possibily decomposed in th previous step) to the relevant DBs or prompts. 1. Logical Routing(DBs could be Graph DB, Relational DB, Vectorstore)feed the LLM with the knowledge of available DBs → make the LLM to reason and choose which DB to retrieve fromc.. RAG from scratch (2) 자료 : https://www.youtube.com/playlist?list=PLfaIDFEXuae2LXbO1_PKyVJiQ23ZztA0x Query Translationtranslate user's query to improve retrievalwhy? user query is ambiguous → if query is poorly written proper document cannot be retrieved (higher level)step-back question↑Quesiton → re-writing (Multi-query, RAG-fusion)↓sub-question 출처 : https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from.. RAG from scratch (1) 참고자료 :https://www.youtube.com/playlist?list=PLfaIDFEXuae2LXbO1_PKyVJiQ23ZztA0xhttps://wikidocs.net/book/14314https://docs.smith.langchain.com/Part 1 - Part 4.★ Connecting LLMs to external data ★ - LLMs haven't seen your data- private and recent data are not included RAG : Retrieval Augmented GenerationRAG pipeline : Indexing → Retrieval → Generation stage 1: IndexingIndex external documents into.. [패스트캠퍼스 Upstage AI Lab 2기 부트캠프] #11 5월 캠프콘 세번째 내부 경진대회까지 무사히 마무리하고 마지막 한달짜리 파이널 프로젝트를 앞두고 폭풍전야같이 뒤숭숭하고 고요한 나날을 보내는 요즘이다. 5월 초, NLP 대회를 조금 앞둔 어느날 기자단 슬랙에 캠프콘 공지가 올라왔다.매달 마지막 화요일에 캠프콘이 진행되는데 5월의 강연자는 Upstage의 CEO이신 Sung Kim님과 Upstage LLM팀 AI Research Engineer이신 현우님이 등판하신다는 공지였다. (참고로 현우님은 본 부트캠프의 ML Advanced 강의를 해주셨고 ML competition을 기획하셔서 특강으로 몇 번 뵌 적이 있었다.) 일자 : 2024년 5월 28일 7pm연사 : Sung Kim (Upstage CEO), 김현우 (Upstage LLM팀 AI Research E.. Upstage AI Lab 2기 [Day117] Data-Centric AI Upstage AI Lab 2기 2024년 5월 31일 (금) Day_117 [Data-Centric AI] (1-1) Data-Centric AI란AI System = Code + Data Model-Centric AI : 모델 중심 접근 방식- 최대한 많은 데이터 확보하여 raw data의 noise 조차도 무시할 수 있도록- freeze data, improve algorithm/modelData-Centric AI : 데이터 중심 접근 방식- freeze model, improve data AI 서비스 개발과정Project Setup → Data Preparation → Model Training → DeployingAfter Deployment : 장비사양이 결정된 상황 → Data Centr.. Upstage AI Lab 2기 [Day117] LM to LLM Upstage AI Lab 2기 2024년 5월 31일 (금) Day_117더보기todo[ ] 경진대회 회고 정리하기[ ] QLoRA 논문 읽기[ ] 테디노트 AutoRAG[ 0 ] 강의 수강[ 0 ] Data Centric AI[ 0 ] Data-Centric AI란 무엇인가?[ 0 ] Data-Centric AI의 미래[ 0 ] 데이터 구축 프로세스 소개[ 0 ] 데이터 구축 기획서 작성[ ] 강의 복습 및 정리[ 0 ] 의미기반 언어 지식 표현 체계 이론[ ] 문맥기반 언어지식 표현 체계 이론 의미기반 언어 지식 표현 체계 이론 Word EmbeddingsCount-based methods : Count vector, TF-IDF. 의미 정보, 순서 정보 고려 X.Prediction-based me.. Upstage AI Lab 2기 [Day116] LM to LLM Upstage AI Lab 2기2024년 5월 30일 (목) Day_116 더보기 [ 0 ] 코드 필사[ 0 ] 산책[ ] 경진대회 회고 정리하기[ ] QLoRA 논문 읽기[ ] 강의 복습 및 내용 정리하기[ 0 ] 카운트 기반 언어모델[ ] 언어모델 평가방법 [LM to LLM] (2-2) 카운트 기반 언어모델1. 카운트 기반 단어 표현 방법 : 국소 표현(Local Representation) / 분산 표현 (Dense Representation)Local Representation- 단어별 고유식별자로 mapping (e.g. one-hot encoding), 각 단어 = 벡터에서 1개의 차원- 고차원, 차원간 독립적- 단어간 의미적 관계를 직접적으로 표현X Dense Representation-.. Upstage AI Lab 2기 [Day109] NLP 경진대회 - LoRA 공부 Upstage AI Lab 2기2024년 5월 21일 (화) Day_109 LoRA (Low-Rank Adaptation) LoRA: Low-Rank Adaptation of Large Language Modelshttps://arxiv.org/pdf/2106.09685 LoRA to transformerWk = W0k + BAk Wq = W0q + BAq Wv = W0v + BAv QLORA: Efficient Finetuning of Quantized LLMshttps://arxiv.org/pdf/2305.14314 참고자료:https://sebastianraschka.com/blog/2023/self-attention-from-scratch.htmlhttps://velog.io/@kaiba.. 이전 1 2 3 4 5 ··· 14 다음
