ollama 설치 방법과 web ui 설치 방법에 대해서 알아보고 llama3 8b 모델을 ollama 에서 직접 실행하여 llama3 에게 질문을 하여 얼마나 정확하게 답변을 하는지 자세히 소개해 드립니다.
Table of Contents
ollama 란 무엇인가?
ollama 란 llama3 모델을 비롯하여 gemma 모델과 gemini 모델 등 다양한 모델이 설치되어 있는 docker 를 자동으로 설치해주는 도구입니다. Linux 에서 설치할 수도 있고 windows 10 에서 설치할 수도 있습니다.
ollama 에서 제공하는 llama3 모델이 설치된 docker 이미지를 활용하지 않으면 데스크탑 컴퓨터에 직접 llama3 모델을 구동할 때 필요한 python 과 여러 패키지들을 일일이 버전을 확인해서 정확하게 설치해 주어야 llama 모델을 동작 시킬 수 있어요.
llama3 8B 모델을 google colab 에 설치해서 직접 한국어와 영어로 번역해주는 챗봇을 프로그래밍 하는 포스팅은 아래 글을 참고하시기 바랍니다.
llama3 8B 모델로 나만의 한국어 영어 번역 챗봇 만들기
ollama 설치 방법
ollama 를 windows 10 에 설치하려면 아래 사이트에서 ollama 를 직접 다운로드 받을 수 있습니다.
아래에 보시는 바와 같이 ollama 를 다운로드 받으셔서 설치하시면 C: 드라이브 밑에 자동으로 경로를 설정해서 설치가 진행됩니다.
아래에 보시면 오른쪽에 Windows 를 선택해서 windows 10 용 ollama 설치 파일을 다운로드 받을 수 있어요.
ollama 에서 아래 명령어를 복사해서 windows 10이 powershell 을 관리자 권한으로 실행합니다.
ollama run llama3위 명령어를 실행하면 아래와 같이 나의 로컬 컴퓨터에 자동으로 필요로 하는 docker image 들을 자동으로 다운로드를 해줍니다. 다운로드 완료 후에는 이미지가 해커가 올려둔 가짜 이미지가 아님을 인증을 해줍니다.
테스트 해보려고 하는 모델은 로컬 컴퓨터에서 동작시킬 수 있는 llama3 8B 모델이예요~ 아래 명령어를 파워쉘에서 실행해서 llama3 8B docker image를 다운로드 받습니다.
ollama run llama3:8bwindows 10 의 powershell 에서 위 커맨드를 실행하면 아래와 같이 사용하지 않는 다른 image 들은 제거되고 llama3:8b 가 로딩됩니다.
실행을 한 후에 llama3 8b 가 대답을 하려고 커맨드 창에서 대기하고 있습니다. “hi” 라고 인사하니까 영어로 llama3 이 영어로 답변을 해줍니다. llama3 의 답변 능력을 테스트 하기 위해서 아직 출시되지 않은 iphone 16 에 관한 정보를 영어로 물어보았습니다. llama3 은 ChatGPT-4 와 달리 똑똑하게도 아직 출시되지 않은 제품에 대한 정보 이므로 과거에 출시되었던 iphone 시리즈에 대해서 영어로 설명해줍니다.
영어로 준 답변을 한글로 번역해 달라고 영문으로 명령어를 주었더니 알아서 한국어로 번역을 잘해주네요.
ChatGPT-4 를 1년 6개월 이나 사용했는데 요금도 인상되었고 chatGPT를 이용해서 수익을 만들 수 가 없었습니다. 워드프레스를 비롯하여 티스토리와 네이버 블로그에서 AI 생성한 블로그에 저품질을 먹여서 어쩔 수 없이 llama3 모델로 넘어오게 되었습니다.
llama3 라고 해서 다른 생성형 AI 보다 훨씬 성능이 뛰어나서 라기 보다는 일단 월 정액료를 내지 않아도 ChatGPT-4 수준의 AI 를 사용할 수 있어서 만족해요. 또, 직접 소스 코드를 다운로드 받아서 custom instruction 을 추가하면 일반 텍스트 문서나 pdf 문서의 내용을 스마트 스토어에서 사용할 수 있는 상세 페이지 문구로 바꾸는 작업을 1차 적으로 llama3 8B 모델에게 시킬 수 있겠더라구요.
2024년도에 구글 검색 엔진 로직을 업데이트를 지금까지도 진행하고 있는데 기존의 CPC 광고 수익을 브로거에게 지급하던 방식에서 CPM 을 평가해서 CPM 이 높은 블로거에게 지급하겠다고 선언한 이후에 전통 마케터 분들도 워드프레스 블로그에서 애드센스 수익이 거의 나지 않는다고 합니다.
이러한 큰 변화를 기회로 삼아서 llama3 8b 모델을 나만의 경쟁력 있는 AI 무기로 체득을 시켜야지 디지털 노마드로서 최소한의 생활비를 벌면서 살아갈 수 있을 것 같아요.
디지털 노마드로 살아보려고 노력은 하고 있는데 온라인으로 돈을 버는게 쉽지는 않습니다.
llama3 8b 성능 테스트 방법
생성형 AI는 환각 현상이 심각합니다. ChatGPT 는 자신이 모르면 모른다고 정확히 설명하지 않고 일반적인 이야기를 지어냅니다. 그래서, 저는 새로운 AI 모델을 사용할지 여부를 결정할 때 일부러 가짜로 역사를 지어내서 AI 에게 답변을 해보라고 시키고 있습니다.
아래 사례는 “손흥민 선수가 한글을 만든 히스토리를 알려줘” 라고 역사에 위배되는 질문을 하였습니다. 만약 ChatGPT 였다면 손흥민 선수가 한글을 만든 히스토리를 지어내서 답변을 주었을 것입니다. llama3 은 ChatGPT와 다르게 손흥민 선수는 축구 선수이고 한글은 세종대왕께서 만드셨다는 정확한 정보를 제공합니다.
스마트 스토어로 식당정보와 가격 정보를 정확히 요약해서 문구를 뽑아주어야 하는 AI는 환각 현상이 있어서는 안됩니다. 정확하게 과거 정보에서 정확한 사실만 뽑아내거나 입력 받은 문서에 있는 사실 만을 정보로서 추출하여 알기 쉽게 설명을 해주어야 합니다.
키워드 검색을 통해서 유사한 단어와 유사한 의미를 가진 문장들을 찾을 수 있어야지 실제 학교 숙제를 할 때 여러 참고 문서나 논문 자료에서 필요한 문장을 정확하게 찾아낼 수 있어요.
회사에서도 클라우드 서버에 올라가 있는 여러 개의 업무용 문서와 보고서에서 내가 검색하고자 하는 의도를 반영해서 정말로 내가 원하는 문서와 문장을 검색하려면 방대한 양의 문서 파일들을 elastic search 엔진에게 집어 넣어서 임베딩 이라는 과정을 거쳐서 문서의 내용과 키워드들을 벡터화 시켜야 합니다.
그 이후에 벡터화된 벡터 데이터베이스에서 사용자가 직관적으로 편하게 검색할 수 있도록 kibana 라고 하는 web ui 인터페이스를 통해서 키워드 검색을 통해서 문서와 정확한 문장을 검색하여야 합니다. 아래 포스팅에 자세하게 elastic search 엔진을 windows 10 컴퓨터에 설치하는 방법과 kibana web ui 를 설치하는 방법 및 사용방법을 정리하였으니 꼭 한번 읽어보시기 바랍니다.
elastic search 설치 방법 및 사용 방법 알아보기
kibana docker 설치 방법 및 사용 방법 알아보기
마무리
ollama 에서 llama3 8b 모델을 docker로 설치하고 llama3 모델을 이용해서 영문과 한글로 질문을 하여 얼마나 정확하게 llama3 가 답변을 하는지 자세하게 살펴보았습니다.
블로그 마케팅을 하시는 분들이나 자영업을 하시는 분들께서 블로그에 게시하려는 글의 목차와 컨텐츠를 llama3 을 이용해서 발굴하시는 것은 매우 효율적이라 생각합니다. 이번 포스팅에서는 llama3 에 다른 문서와 정보 소스를 제공하지 않고 llama3 에 내장된 모델에서 질문에 대한 답변을 하는 성능만 확인해 보았습니다.
다음 포스팅에서는 llama3 8B 모델에게 실제로 제가 마케팅 하고 싶은 식당정보 또는 논문 자료나 회사 보고서를 여러 개를 입력한 후에 제가 제공한 문서 안에서 제가 한 질문에 대해서 유사한 단어와 정확한 의미를 파악하여 답변을 하는지 확인해 보도록 하겠습니다.