GPT-4 는 엄청난 품질을 자랑하지만 속도도 느리고 무엇보다 유료라는 단점이 있습니다.
하지만 최근에는 오픈소스 언어모델이 많이 공개되어, GPU만 있다면 누구나 언어모델을 본인 컴퓨터에서 구동할 수 있습니다.
단순히 무료일 뿐 아니라 오프라인으로 쓸수 있고, 주제애 대한 검열이 없는것도 장점입니다.
오늘은 언어모델을 로컬에서 사용할수 있는 가장 쉬운 방법, LM Studio를 알아보겠습니다.
주의: 본인 컴퓨터를 통해 언어 모델을 돌리는 만큼 GPU가 필요합니다. Nvidia RTX급의 GPU를 권장합니다.
👾 LM Studio - Discover and run local LLMs
Find, download, and experiment with local LLMs
lmstudio.ai
먼저 위 주소에서 LM Studio를 다운로드 받습니다. LM Studio는 Mistral, llama 같은 오픈소스 모델을 누구나 쉽게 사용할수 있도록 하는 프로그램입니다.
설치를 완료했으면 검색창이 하나뜰텐데 거기서 mistral을 검색해줍니다.
왼쪽에서 첫번째를 선택한후, 오른쪽에 여러가지가 뜨는데 일반적으로 용량이 클수록 느리지만 품질이 좋습니다.
저는 가장 큰것을 선택하겠습니다.
모델 용량이 커서 다운로드에는 시간이 상당히 걸립니다.
다운로드가 완료되면 채팅을 할수있는 세번째 탭으로 이동합니다.
모델 다운로드가 완료되었으니 하단 패널은 X를 눌러 내려줍니다.
Select a model to load 를 클릭한다음 아까 받은 Mistral모델을 선택해서 모델을 불러옵니다.
이제 평소처럼 채팅을 하면 됩니다.
비록 한국어 데이터로 추가적인 학습을 하지 않았지만, 한국어도 어느정도 할줄 아네요.
다만 Chat GPT와 비교하면 설명이 정확하지는 않고 문법적, 철자 오류가 종종 보입니다.
한국어로 트레이닝된 모델을 설치하면 훨씬 잘할것 같습니다.
영어로 사용한다면 훨씬 좋은 결과물을 얻을 수 있습니다.
이렇게 LM Studio 사용법에 대해 알아보았습니다
오늘 Mistral 보다 훨씬 뛰어나고 GPT-4에 준하는 품질을 가진 Mixtral이라는 모델이 공개되었습니다.
곧 올라올 포스트에서는 LMStudio를 사용해 Mixtral을 리뷰해보겠습니다.
감사합니다.
'AI 서비스 소개' 카테고리의 다른 글
| Stable Diffusion과 ComfyUI로 웹툰 그리기 (1) (2) | 2023.12.12 |
|---|---|
| 웹 개발은 이제 AI한테 맡긴다! v0.dev 체험기 (6) | 2023.12.10 |
| 가장 쉬운 스테이블 디퓨전 WebUI 설치 방법 (2) | 2023.12.08 |
| 자동 블랙박스, 자동 CCTV의 시대가 온다 (1) | 2023.12.06 |
| AI 벡터 생성기 PlusVector (2) | 2023.12.04 |