본문 바로가기

전체 글

[RAG] RAPTOR(Recrusive Abstractive Processing for Tree-Organized Retrieval) Parth Sarthi et al. 2024 오늘은 올해 발행되어, RAG 시스템의 개선 아이디어를 제시한 'RAPTOR' 논문에 대해 자세히 리뷰해보려 한다. 0. 어원먼저, RAPTOR의 어원을 먼저 살펴보자.페이퍼 타이틀인 "RECURSIVE ABSTRACTIVE PROCESSING FOR TREE-ORGANIZED RETRIEVAL"를직역하면, "트리로 구성된 검색을 위한 재귀적 추상 처리"로 번역할 수 있는데,뒤에 설명하겠지만, 해당 논문은 RAG를 위한 데이터 구축 방식 및 검색 방법론을 설명하고있고, 여기서는 '트리'와 '재귀적 추상'이라는 키워드에 대해서만 주목하고 넘어가면 될 것 같다.만약, RAPTOR의 동작방식에 대해서만 빠르게 이해하고자한다면, 아래의 "2.그렇다면, RAPTOR란 무엇인가?" 의프로세스 부분만 읽어도 무방하다.. 더보기
[PEFT] LoRA(Low-Rank Adaptation of Large Language Models) Fine-Tuning 학습 방식 뜯어보기! (내부 학습 코드 해석) 오늘은 최근 Fine-Tuning 시 가장 많이 사용하는 매서드중 하나인 LoRA에 대해서 정리해보도록 하자. 먼저 LoRA는 PEFT로 대표되는 Fine-Tuning 학습 방법이고, 최근 LoRA에서 파생된, QLoRA, MoRA 등 매서드들이 소개되면서, Fine-Tuning의 주류로 자리잡고있다. LoRA를 비롯한 최근의 Fine-Tuning 방법들에 대해서 이해하기 위해서 모태가 된 PEFT 방식이왜 각광받게 되었는지 먼저 알아볼 필요가 있다. 1. DonwStream Task에 Fine-Tuning 하기에 모델이 너무 커지고 있다...몇년전부터, 대부분의 언어 모델이 규모의 경쟁으로 돌입했고,현재도 여전히 규모를 통해 성능을 끌어올린다 라는 공식에는 변함이 없다.물론 엄청난 규모의 자원과 데이터.. 더보기
[Fine-Tuning] SimCSE + LoRA를 활용해서 임베딩 모델을 Fine-Tuning해보자! Github 구현 코드 먼저 보기 : https://github.com/WontaeKim89/embedding_SimCSE_LoRA 오늘은 LoRA를 이용해서 Embedding Model을 학습하는 과정을 정리해보려 한다.구현코드 링크를 위에 첨부해두었는데,먼저 내용 이해에 도움이 되는 내용들을 아래에 정리해두었으니, 포스팅 내용을 쭉 읽어보신 후,위 링크를 통해 구현 코드를 살펴보시는걸 권장드린다.  임베딩 모델은 추천시스템, 검색, 챗봇, 번역, 감정분석, Text Summarization등거의 모든 NLP 분야에서 사용되는 매우 중요한 언어모델 분야중 하나이다.최근 워낙 생성 모델쪽으로 관심이 집중되어있고, 관련 연구도 훨씬 활발하긴 하지만, 임베딩 모델도 꾸준히 발전하고 있다.임베딩 모델은 아직까.. 더보기
[Linux]vi 탐색기 CRUD 기능 정리 1. vi 편집기 열기vi filename 2. CRUD 1) 입력 모드 전환i # 커서 앞에서 입력 2) 텍스트 입력 후 저장 및 종료ESC # 명령 모드로 전환:wq # 저장하고 종료 3) 읽기(Read) : 파일을 읽고 탐색하는 방법입니다. 기본적으로 파일을 열면 내용을 탐색할 수 있습니다.h #왼쪽으로 이동j #아래로 이동k #위로 이동l #오른쪽으로 이동Ctrl + f #한 화면 아래로 이동Ctrl + b #한 화면 위로 이동G #파일 끝으로 이동gg #파일 시작으로 이동 4) 찾기 : 특정 단어 검색  '/' 를 사용하여 파일 내에서 특정 단어를 검색할 수 있습니다./검색어 #파일에서 검색어를 찾음n #다음 검색 결과로 이동N #이전 검색 결과로 이동 5) 수정(Upd.. 더보기
Llama3-70B(Llama-cpp)로 Langchain Function Call 구현하기 오늘은 Llama-cpp와 Langchain을 이용해서 llama3 모델로 Function Call을 구현하는 과정에 대해 리뷰해보려고한다.구현 과정에서 여러 삽질을 좀 한 관계로, 비슷한 시도를 하는 분들이 있다면,시행착오를 줄였으면 하는 바램으로 진행과정을 정리해본다. 1.  왜 Langchain을  사용했는가?최근 구현되고 있는 챗봇들의 경우, 단순 질문에 대한 답변뿐아니라, 유저의 지시사항을 반영(action)할 수 있는복합적인 동작과 기능을 제공하고 있다.이와 같이 유저의 의도에 맞는 정확한 피드백을 제공하기 위해서는 LLM, RAG, Function call을 포함한 다양한 기술을 통해 답변을 처리할 수 있는 Agent 방식을 기반으로 동작하도록 챗봇을 구현해야하는데, Agent 개발을 가장 .. 더보기
Mecab 설치 및 trouble shooting 하기(+user-dict 셋팅) Mecab 을 사용하는 가장 큰 이유는 빠르면서도 뛰어난 Tokeinzing 성능과 함께 user dictionary를 활용해서특정 token의 tokenizing 형태와 우선순위를 조정할 수 있다는 점이다. 평소에 mecab을 자주 사용하지는 않기때문에, 매번 설치하고 셋팅할때마다, 여러 오류들에 직면하게 되는데정상적으로 setting을 완료하기 위한 진행 순서를 정리해보고자 한다. 먼저, mecab을 활용해 한국어를 tokenizing하기 위해서는 mecab과 mecab-ko-dic을 각각 설치해야한다.각각의 역할은 아래와 같다.1) mecab(ex. mecab-0.996-ko-0.9.2) : 해당파일은 MeCab의 핵심 엔진을 포함하고 있습니다. 이 엔진은 텍스트를 형태소 분석하는 데 사용되며, 다.. 더보기
Vector DB란 무엇일까? 그리고 어떤 Vector DB를 사용해야할까? (2) 이전 글에서는 Vector DB가 무엇인지와 Vector DB에서 데이터를 검색하기 위한 방법들에 대해서 알아보았다. 오늘은 Vector DB의 종류들과 특성, 장단점에 대해 분석해보려 한다. 3. 어떤 Vector DB를 사용해야할까? VectorDB를 선택할때는 현재 진행하는 서비스 또는 프로젝트의 상황과 환경에 비추어 적절한 DB를 선택할 수 있어야 한다. 따라서, Vector DB의 여러 요소들을 살펴, 적합한 DB를 선택해야하는데, 아래 기준들을 면밀히 살펴봐야한다. 1) 성능과 속도 : 검색 속도 대규모 데이터셋에서 검색 속도는 가장 중요한 요소 중 하나이다. 검색 알고리즘의 효율성과 데이터 인덱싱 방법이 검색 속도에 큰 영향을 미치게 된다. : 삽입 및 업데이트 속도 데이터의 삽입과 업데이트.. 더보기
Vector DB란 무엇일까? 그리고 어떤 Vector DB를 사용해야할까? (1) 오늘은 VectorDB의 종류와 장단점에 대해서 살펴보려 한다.먼저 VectorDB는 다른 DB들과 어떻게 다른지 간단하게 정리하고 vector DB에 대해 자세히 알아보도록 하자.  1. DataBase의 종류DataBase는 크게 '관계형 데이터베이스', '비관계형 데이터베이스', 그리고 최근에 주목받고 있는 '벡터 데이터베이스'로 분류할 수 있다.  1) 관계형 데이터베이스(RDBMS)관계형 DB는 데이터를 테이블로 구성하여 관리하는 데이터베이스를 의미한다.SQL(Structured Query Language)을 사용하여 데이터를 쿼리하고 조작하며, 강력한 데이터 무결성을 가지며,복잡한 쿼리 처리 능력, 트랜잭션 관리 등이 가능한 DB형태를 가진다.대표적으로는 MySQL, PostgreSQL, Or.. 더보기

티스토리툴바