lora fine-tuning 썸네일형 리스트형 [PEFT] LoRA(Low-Rank Adaptation of Large Language Models) Fine-Tuning 학습 방식 뜯어보기! (내부 학습 코드 해석) 오늘은 최근 Fine-Tuning 시 가장 많이 사용하는 매서드중 하나인 LoRA에 대해서 정리해보도록 하자. 먼저 LoRA는 PEFT로 대표되는 Fine-Tuning 학습 방법이고, 최근 LoRA에서 파생된, QLoRA, MoRA 등 매서드들이 소개되면서, Fine-Tuning의 주류로 자리잡고있다. LoRA를 비롯한 최근의 Fine-Tuning 방법들에 대해서 이해하기 위해서 모태가 된 PEFT 방식이왜 각광받게 되었는지 먼저 알아볼 필요가 있다. 1. DonwStream Task에 Fine-Tuning 하기에 모델이 너무 커지고 있다...몇년전부터, 대부분의 언어 모델이 규모의 경쟁으로 돌입했고,현재도 여전히 규모를 통해 성능을 끌어올린다 라는 공식에는 변함이 없다.물론 엄청난 규모의 자원과 데이터.. 더보기 이전 1 다음
