Personalized LLMs: 개인화된 LLM 만들기

* LLMs + Persona-Plug = Personalized LLMs 논문을 읽고 핵심내용 위주로 간추렸습니다.

 

서론

현재 LLM들은 같은 질문에 대해 모든 사용자에게 비슷한 답변을 제공하는데, 이는 개인의 취향이나 스타일을 반영하지 못한다는 한계가 있습니다. 예를 들어, 연설문을 작성할 때 각 사용자의 말하기 스타일을 반영하지 못하는 것이죠.

이 문제를 해결하기 위한 기존 접근법들이 있었습니다. 한 가지는 각 사용자마다 별도의 LLM을 fine-tuning하는 것인데, 이는 너무 많은 컴퓨팅 자원이 필요해서 실제로 적용하기 어렵습니다. 다른 방법으로는 사용자의 과거 기록에서 현재 상황과 관련된 내용을 검색해서 활용하는 것인데, 이는 사용자의 전반적인 스타일을 파악하지 못하고 단편적인 정보만 사용한다는 한계가 있었습니다.

 

본론

연구진은 이런 한계들을 극복하기 위해 'PPlug'라는 새로운 모델을 제안했습니다. PPlug의 핵심 아이디어는 다음과 같습니다:

1. 사용자의 모든 과거 행동들을 벡터로 변환합니다.
2. 이 벡터들을 현재 입력과의 관련성을 고려해서 하나의 "개인화 임베딩"으로 통합합니다.
3. 이 개인화 임베딩을 LLM의 입력에 추가하여 개인화된 결과를 생성합니다.

이 방식의 큰 장점은 LLM 자체는 전혀 수정하지 않고, 단지 입력에 개인화된 정보를 추가하는 것만으로 개인화를 달성할 수 있다는 점입니다. 마치 플러그를 꽂듯이 간단히 적용할 수 있어서 'Plug'라는 이름이 붙었죠.

실험 결과도 매우 인상적이었습니다. 연구진은 LaMP라는 벤치마크의 6가지 과제에서 PPlug를 테스트했는데, 기존 방식들보다 최대 35.8%까지 성능이 향상되었습니다. 특히 영화 태그 추천이나 트윗 다시쓰기 같은 과제에서 큰 성능 향상을 보였는데, 이는 이런 과제들이 사용자의 전반적인 취향이나 글쓰기 스타일을 이해하는 것이 중요하기 때문입니다.

연구진은 여기서 멈추지 않고 더 발전시킬 방향도 제시했습니다. 현재는 사용자의 행동을 큰 단위로만 보고 있는데, 자주 사용하는 단어나 문구 같은 더 세밀한 정보도 활용할 수 있을 것이라고 제안했습니다. 또한 기존의 검색 기반 방식과 PPlug를 결합하면 더 좋은 결과를 낼 수 있을 것이라고 전망했습니다.

 

결론

이 연구의 가장 큰 의의는 LLM 개인화라는 복잡한 문제를 매우 실용적인 방식으로 해결했다는 점입니다. 많은 컴퓨팅 자원이 필요하지 않으면서도 효과적으로 각 사용자의 특성을 반영할 수 있는 방법을 제시했기 때문입니다.

 

 

사견

개인적으로 ChatGPT를 통해 LLM 자체에 대해 신기해하고 어디까지 JailBreak가 가능한가, 많은 자원을 들인 이러한 첨단 기술을 어떻게 써야할까에 대해 고민하는 시기는 많이 지나왔다고 생각합니다.

이제 LLM은 어떻게 자동화에 적용할 것인가, 혹은 자비스에 가까운 대화 UI/UX를 제공하면서 어떤 캐릭터성을 유지하며 나와의 상호작용을 유지하는가에 대한 질문을 받고 있습니다.

 

유저 history를 한번에 임베딩하여 LLM에 입력으로 하는 방식이 real-world에서 잘 동작할지는 모르겠지만 그러한 시도의 하나라고 보면 될 것 같습니다.