moderated-coder 님의 블로그 moderated-coder 님의 블로그

이전에 작성한 딥러닝 하드웨어 담론 (1) 글은 맥클러스터를 구축하여 상용으로 공급되는 nvidia gpu 장비를 대체할 수 있을까? 라는 궁금증에 대해 대답해보려는 내용을 담고 있습니다. 링크드인에 글 소개를 올릴 때에는 동료 개발자분들과 이런 주제로 나눈 대화를 정리한 것이라고 언급드린 바 있습니다. 임베디드 개발자로 근무하시는 한 분과 이런 대화를 나누게 되었습니다. 램슬롯이 4개 가량 부착가능한 보드를 통해 ddr5 메모리를 256gb 정도 장착한 데스크탑을 구성하면 맥클러스터를 구성하는 것보다 더 저렴하게 구성할 수 있다는 것이 핵심이었습니다. 당연히(?) 추론연산의 속도가 매우 느릴테니 metal api 등으로 하드웨어 가속을 지원받으면 더 쓸모있어질 것이라는 내용입니다.  저는 여기까지 이야..

1. Mac-mini cluster for llm inference?오랜만에 페이스북에 들어갔다 연구자/엔지니어들이 모여 있는 딥러닝 관련 모임인 tensorflow-kr 채널에서 흥미로운 주제를 발견했습니다. 저도 가난한 엔지니어 중 한 명인 터라, 자세하게 들여다보게 되었습니다. apple사의 m 시리즈 칩들은 기본적으로 metal api를 통해 하드웨어 연산가속을 지원합니다. 딥러닝의 컴퓨팅의 근간이 되는 병렬프로그래밍의 매우 큰 줄기인 cuda operation 또한 같은 맥락의 기술이므로 M-Chip 등장 이후의 맥 제품들은 일종의 "꽤 저렴한 가격에 꽤 크게 얻을 수 있는 gpu vram"으로 보여진다고도 할 수 있습니다. 이러한 주장을 쉽게 이해해보기 위해 2024년 11월 기준 최신 mac..

* LLMs + Persona-Plug = Personalized LLMs 논문을 읽고 핵심내용 위주로 간추렸습니다. 서론현재 LLM들은 같은 질문에 대해 모든 사용자에게 비슷한 답변을 제공하는데, 이는 개인의 취향이나 스타일을 반영하지 못한다는 한계가 있습니다. 예를 들어, 연설문을 작성할 때 각 사용자의 말하기 스타일을 반영하지 못하는 것이죠.이 문제를 해결하기 위한 기존 접근법들이 있었습니다. 한 가지는 각 사용자마다 별도의 LLM을 fine-tuning하는 것인데, 이는 너무 많은 컴퓨팅 자원이 필요해서 실제로 적용하기 어렵습니다. 다른 방법으로는 사용자의 과거 기록에서 현재 상황과 관련된 내용을 검색해서 활용하는 것인데, 이는 사용자의 전반적인 스타일을 파악하지 못하고 단편적인 정보만 사용한다는..

ApproachLLM의 학습은 일반적으로 다음과 같이 2단계로 나누어져 이루어진다.Unsupervised Pre-Training: 원시 텍스트를 활용해 next token prediction을 반복하며 일반적인 언어이해 능력을 획득Instruction Tuning & Reinforcement Learning: 최종 Task와 사용자 선호도에 맞는 조정(alignment)과정이러한 접근방법은 언어모델의 표준으로써 동작하고 있다. LIMA 연구팀은 두 단계의 중요도를 측정하기 위한 실험을 고안한다. 65B 파라미터의 LLaMA 모델을 기반으로, 단 1,000개의 신중하게 선별된 프롬프트와 응답만을 사용해 fine-tuning을 진행하였다. 주목할 점은 강화학습이나 인간 선호도 모델링 없이 standard s..

시작하면서...rainmaker 님과 와인을 주제로 한 사이드 프로젝트를 진행해보기로 했습니다. rainmaker님은 알고리즘 스터디에서 만나 벌써 몇년째 교류를 나누어오고 있는 개발자입니다. 다른 팀이지만 같은 직장에서 근무한지도 꽤 되었구요, 커리어와 개발 관련한 토크 외에도 취미나 비즈니스 등에 대해서도 이야기를 하곤 합니다. rainmaker님이 꾸준히 관심을 가져온 분야는 와인입니다. 단순히 와인을 즐기는 것을 넘어서 와인을 매개로 즐거운 삶의 경험을 선사하는 것에 대해 이야기한 적 있습니다. 이런 이야기가 발전이 되어 Sunday Wine Club이라는 실제로 rainmaker님이 운영하는 와인모임과 동명으로 사이드 프로젝트를 해보게 되었습니다.  와인으로 사이드 프로젝트vivino, wine..

gpt api를 사용해 llm 훈련에 필요한 데이터를 생성하는 것은 이제는 굉장히 흔한 아이디어가 되었습니다. 최근 재미있게 읽은 페르소나 기반의 llm 학습방법론에서도 차용하고 있는 아이디어인요, 인물의 인격을 구현하기 위한 데이터셋을 생성하기 위해 openai api를 사용한다고 밝히고 있습니다.https://moderated-coder.tistory.com/1 조그마한 아이디어를 가지고 해당 방법론을 재현해보기 위해 논문에서 사용한 방법 그대로 openai api를 통한 데이터셋을 생성하는 도중 불편한 경험이 생겨 공유드려봅니다. 논문에서 제안하는 인격생성을 위한 데이터셋 생성용도의 prompt는 다음과 같은 형태입니다.Context:{나무위키를 통해 확보한 인물의 정보}설정은 다음과 같습니다.- ..

김형식, 김기동 두 친구분들과 함께 임진강을 따라 통일전망대를 다녀왔습니다.개발 내/외적으로 많은 이야기를 나누고 즐거운 시간이었습니다.

* Unsloth이 왜 좋은지, 어떻게 좋은지를 설명합니다.Unsloth 소개개요Danial / Micheal Han 두 명의 개발자가 공개한 Open Source LLM Fine-Tuning Framework입니다.“가난한 자의 finetune 솔루션”이라고 불리우며, 이름에 걸맞게 적은 자원(심지어 GTX와 같은 소비자용 그래픽카드)에서도 LLM을 finetune 할 수 있는 방법을 제공합니다.강점학습 속도의 향상Unsloth는 전통적인 학습 기법에 비해 현저한 학습 속도 향상을 제공합니다.사용하는 LLM 모델과 GPU 종류에 따라 성능 차이가 있을 수 있지만, 대부분의 조합에서 기존 학습 기법을 능가하는 성능을 발휘합니다.메모리 사용량 감소Unsloth는 메모리 효율화 기술을 적극 활용하여 학습에 ..