moderated-coder 님의 블로그 moderated-coder 님의 블로그

* LLMs + Persona-Plug = Personalized LLMs 논문을 읽고 핵심내용 위주로 간추렸습니다. 서론현재 LLM들은 같은 질문에 대해 모든 사용자에게 비슷한 답변을 제공하는데, 이는 개인의 취향이나 스타일을 반영하지 못한다는 한계가 있습니다. 예를 들어, 연설문을 작성할 때 각 사용자의 말하기 스타일을 반영하지 못하는 것이죠.이 문제를 해결하기 위한 기존 접근법들이 있었습니다. 한 가지는 각 사용자마다 별도의 LLM을 fine-tuning하는 것인데, 이는 너무 많은 컴퓨팅 자원이 필요해서 실제로 적용하기 어렵습니다. 다른 방법으로는 사용자의 과거 기록에서 현재 상황과 관련된 내용을 검색해서 활용하는 것인데, 이는 사용자의 전반적인 스타일을 파악하지 못하고 단편적인 정보만 사용한다는..

ApproachLLM의 학습은 일반적으로 다음과 같이 2단계로 나누어져 이루어진다.Unsupervised Pre-Training: 원시 텍스트를 활용해 next token prediction을 반복하며 일반적인 언어이해 능력을 획득Instruction Tuning & Reinforcement Learning: 최종 Task와 사용자 선호도에 맞는 조정(alignment)과정이러한 접근방법은 언어모델의 표준으로써 동작하고 있다. LIMA 연구팀은 두 단계의 중요도를 측정하기 위한 실험을 고안한다. 65B 파라미터의 LLaMA 모델을 기반으로, 단 1,000개의 신중하게 선별된 프롬프트와 응답만을 사용해 fine-tuning을 진행하였다. 주목할 점은 강화학습이나 인간 선호도 모델링 없이 standard s..

gpt api를 사용해 llm 훈련에 필요한 데이터를 생성하는 것은 이제는 굉장히 흔한 아이디어가 되었습니다. 최근 재미있게 읽은 페르소나 기반의 llm 학습방법론에서도 차용하고 있는 아이디어인요, 인물의 인격을 구현하기 위한 데이터셋을 생성하기 위해 openai api를 사용한다고 밝히고 있습니다.https://moderated-coder.tistory.com/1 조그마한 아이디어를 가지고 해당 방법론을 재현해보기 위해 논문에서 사용한 방법 그대로 openai api를 통한 데이터셋을 생성하는 도중 불편한 경험이 생겨 공유드려봅니다. 논문에서 제안하는 인격생성을 위한 데이터셋 생성용도의 prompt는 다음과 같은 형태입니다.Context:{나무위키를 통해 확보한 인물의 정보}설정은 다음과 같습니다.- ..

* Unsloth이 왜 좋은지, 어떻게 좋은지를 설명합니다.Unsloth 소개개요Danial / Micheal Han 두 명의 개발자가 공개한 Open Source LLM Fine-Tuning Framework입니다.“가난한 자의 finetune 솔루션”이라고 불리우며, 이름에 걸맞게 적은 자원(심지어 GTX와 같은 소비자용 그래픽카드)에서도 LLM을 finetune 할 수 있는 방법을 제공합니다.강점학습 속도의 향상Unsloth는 전통적인 학습 기법에 비해 현저한 학습 속도 향상을 제공합니다.사용하는 LLM 모델과 GPU 종류에 따라 성능 차이가 있을 수 있지만, 대부분의 조합에서 기존 학습 기법을 능가하는 성능을 발휘합니다.메모리 사용량 감소Unsloth는 메모리 효율화 기술을 적극 활용하여 학습에 ..

*논문 중에서 이해에 필요한 내용만 선택적으로 발췌했습니다.  0. AbstractLarge language models (LLMs) can be used to serve as agents to simulate human behaviors, given the powerful ability to understand human instructions and provide high-quality generated texts. Such ability stimulates us to wonder whether LLMs can simulate a person in a higher form than simple human behaviors.LLM이 인간의 지시를 이해하고, 고품질의 텍스트를 생성할 수 있는 능력을 갖췄..