moderated-coder 님의 블로그 moderated-coder 님의 블로그

2024년부터 시작된 불황이 2025년까지 이어지면서 구직난은 사상 최악으로 치닫고 있습니다. 개인적으로 알고지내는 인사담당자분들의 이야기를 들어보면 하나의 채용공고에 이력서가 천단위까지 제출된다고 하니까 2019년 처음 제가 취업준비를 하던 시절과는 분위기가 540도 달라진 모습입니다. 당시 학점 3점대 초반에 학부졸업도 되지 않고 대학원랩실 3학기나 겨우 다니던 제가 이름만 들으면 알만한 회사의 AI 공고에서 면접을 볼 수 있었으니 그 얼마나 너그럽던 시절이었는지, 가끔은 부끄럽고 감사한 마음입니다. 인생이 혼자라지만 돌이켜보면 항상 저를 아무 조건없이 도와주셨던 분들이 있었습니다. 아무것도 모르는 상황에서 그런 도움들이 굉장히 감사하게 느껴졌기 때문에 취업하고 조금의 여유가 생긴 뒤부터는 취업/프로..

최근 회사업무에서 클러스터링을 조금씩 활용해보고 있는데, 그 과정에서 학습하게 된 클러스터의 평가지표 내용을 정리한다. Previous Knowledge01. 필요성클러스터링은 비지도 학습의 한 종류로, 별도의 가이드 없이 데이터의 특성만으로 데이터를 군집화(labeling 한다고도 볼 수 있겠네요)하는 방법론이다. 데 이터 특징을 잘 종합하여 클러스터링 하였다면, 각 클러스터에 붙여지는 이름을 label로 활용할 수도 있다.다만 클러스터링을 수행하는 방법이 다양하고, 같은 방법론 안에서도 설정값에 따라 클러스터 성능은 다변한다. 따라서 주어진 데이터 세트에 대해 여러 번의 클러스터링을 시도할 여지가 존재하고, 각각의 시도에 대한 점수(scoring) 필요성이 생긴다. 02. 평가항목 클러스터를 평가하는..

24년 한해가 지나가고 25년이 밝았습니다. 푸른 뱀띠의 신년이 저에게는 태어날 2세의 해라서 더 의미가 큽니다.커리어, 개인을 아울러서 여러가지 느낀 점이 많은 한해였기에 공유합니다. 2년 이상 다닌 첫 회사, 지마켓취업하기 전에도 20대는 기본적으로 2,3잡 이상의 아르바이트와 함께 보내었고 열심히 살았던 기억밖에 없었는데 이력서를 돌이켜보니 대학원 때부터 직장은 2년을 넘겨서 다녀본 적이 없었습니다 ☺️ 이커머스 시장에서 쿠팡이 독주하고 있고 여러모로 쉽지 않은 환경인 것은 맞지만 (제가 느끼기에) 순위를 떠나서 회사 지마켓은 매우 준수한 회사라고 생각합니다. 매출이 1조가 넘고 업력이 오래되었으면서도 서비스 지향의 회사이기 때문에 테크회사와 대기업의 장단점을 모두 가지고 있는 회사라고 느꼈습니다...

plm 기반의 embedding vector는 대량의 corpus를 기반으로 학습했기에 뛰어난 성능을 발휘하지만, 모델 백본 자체의 자원사용량이 크다는 이슈 가 있다 . model2vec 기법은 vector space의 근사 및 정렬을 통해 매우 가벼운 모델사이즈로 성능저하 없이 동일한 벡터임베딩(공간)을 생성한다 . 01. Architecture & Principle model2vec는 sentence transformer 라이브러리를 기반으로 동작합니다. 가장 유용한 특징 중 하나는, 경량모델을 만들기위해 임의의 정의된 데이터셋이 필요하지 않고, 모델(과 특정 경우 custom vocabulary)만을 필요로 한다는 사실입니다. tokenizer에 사용된 vocab dictionary를 빈도 위주로 ..

plm(pretrained-language model)을 활용한 임베딩 생성 을 기반으로 벡터검색 을 수행할 때, 일반적으로 큰 차원(768-dim 이상)으로 인해 벡터 검색 서빙에 bottle-neck으로 작용한다 . matryoshka representation learning은 이러한 문제점을 해결하여 성능저하 없이 저차원의 벡터를 활용할 수 있게 하고 , 기 법 을 적용하는 것만 으로도 임베딩 품질 이 개선되는 효과 가 있다 .Introduction to Matryoshka Representation Learning: https://huggingface.co/blog/matryoshka01. MTEB Leaderboard Massive Text Embedding Benchkmark는 text em..

여태까지 3편의 담론을 쓰면서 기저에 깔려있던 핵심주제는 "AI 모델의 추론"이라고 할 수 있습니다. 모델 추론이라는 행위를 하기 위해서 숱한 ml researcher들이 사비로 수백~수천만원씩을 소모하고, 작은 기업들도 nvidia 그래픽카드를 구하기 위해서 수천만 ~ 수억원을 기꺼이 지불합니다. 한편, 모델 추론과 학습을 원활하게 지원하기 위한 새로운 방식의 반도체 장비를 개발하기 위해 글로벌 회사들 또한 저마다의 영역에서 경쟁을 벌이고 있습니다.https://turingpost.co.kr/p/cerebras-nvidiahttps://www.hankyung.com/article/2024051761381 그러면 도대체 왜 이렇게 다들 추론을 열심히 하려고 노력할까요? 이 물음에 대해서 제가 나름대로 생..

이전 글에서는 RISC 아키텍쳐는 무엇이고 이것을 통해 어떻게 그래픽, ai 행렬 연산이 가속되는지를 살펴보았습니다. 또, 이런 구조의 컴퓨터 아키텍쳐는 memory, cpu, gpu 등 여러 요소들로 구성되고 cuda와 같은 라이브러리가 이런 과정을 담당한다는 사실 또한 알게 되었습니다. 또한 첫 담론에서 애플 맥시리즈는 m1 칩 등장 이후로 이러한 구조를 차용하지 않는 것처럼 보이고, 경우에 따라 매우 저렴한 gpu vram 확보용도로 활용될 수도 있음을 이야기했습니다. 그렇다면 애플은 어떤 마법이라도 부려서 하나의 칩에서 모든 작업을 수행하고, gpu도 필요없게 만든 것일까요? 이를 이해하기 위해서는 SoC라는 개념에 대해서 알아볼 필요가 있습니다. SoC (Sysytem on a Chip)SoC는..