생성형 AI 를 이용해서 돈 버는 방법과 어떻게 이용하면 업무를 자동화 하여 시간을 단축할 것인 지에 대해서 자세하게 소개를 드립니다. LLM 을 이용한 챗봇이 가지고 있던 환각 현상을 해결하고 실제로 업무 자동화와 돈이 되는 정보로 가공하는 방법을 연구하였습니다.
Table of Contents
생성형 AI란 무엇인가?
생성형 AI란 ChatGPT-o 와 Gemini 와 llama3 처럼 사용자가 입력한 질문과 요청사항을 모델이 이해하여 유사도가 가장 높은 답변을 제공하거나 dalle-3 와 같은 이미지 생성 AI 또는 음악 작곡 모델 또는 동영상 생성 모델을 이용하여 텍스와 음악과 동영상을 만들어 주는 인공 지능 모델을 의미합니다.
생성형 ai 종류
생성형 ai 종류는 매우 다양해 졌으며 국내에서 가장 많이 사용되는 것은 ChatGPT 와 gemini 와 llama 입니다. 한국어 생성형 AI를 제공하는 서비스는 뤼튼과 OpenAPI 를 활용하는 native.me 가 한국어로 답변을 잘해줍니다. 메모 앱으로 유명한 노튼에서도 가장 먼저 한국어 생성형 AI를 출시하였고 한국적인 표현을 다양하게 구사할 수 있습니다.
영어로 정확한 답변을 하는 것으로 유명한 모델은 Claude3 입니다. Anthropic 이라는 AI 회사에서 개발한 모델입니다. Anthropic 창업자들은 OpenAI 사에서 독립한 개발자들로 알려져 있으며 Anthropic 의 LLM 연구 수준이 매우 높은 것으로 알려져 있습니다.
생성형 ai 로 블로그 자동 글쓰기 저품질 위험은 없을까요?
생성형 ai 를 검토하였던 이유는 블로그 글쓰기를 자동으로 할 수 있을 것이라는 기대를 가지고 있었기 때문입니다. 유튜브에 정말 많은 채널에서 블로그 글쓰기 자동화와 이모티콘 자동으로 그리기 부업을 통해서 한 달에 백 만원에서 천 만원까지 돈을 벌 수 있다는 이야기가 사실인 줄 알았습니다.
4년 정도를 쿠팡파트너스 링크 넣은 블로그 포스팅을 하거나 수십 만원에서 수백 만원 짜리 전자책에 있는 비법을 따라서 티스토리 포스팅과 네이버 블로그 운영을 해보았습니다.
티스트로 블로그는 애드센스 수익금의 인출 기준 금액인 100달러도 넘기지 못하고 저품질을 맞아서 더이상 다음 검색 결과에 노출되지 않았습니다. 네이버 블로그에 쿠팡파트너스 링크를 넣어서 포스팅하면 2주 정도 지나면 저품질을 맞아서 네이버 검색 결과에 아예 표시되지 않게 되었습니다.
생성형 ai로 작성한 글을 수백 개를 만들고 블로그에 게시를 하였지만 단 한번도 구글 검색 엔진에 노출되지 않았습니다. 그나마 하루에 수십 명 들어오던 유입 트래픽도 0으로 떨어져 버렸지요.
유튜버들 중에서 정말로 자신의 애드센스 수익을 한달에 1,000 달러 입금 내역을 인증하는 사람들도 있기는 합니다. 하지만, 유튜브에 공개하는 노하우는 거의 없을 뿐더러 이미 똑같은 방법을 실천하는 사람이 몇 만명이 되면서 구글에서는 그 비법을 적용한 게시글은 더 이상 노출시켜주지 않았습니다. 그러면 어떻게 해야 블로그 애드센스 수익을 늘릴 수 있을까요?
생성형 ai 활용 사례
생성형 AI 와 Large Language Model ( LLM ) 을 빅테크 기업들이 회사 업무에 적극적으로 도입하기 시작했습니다. 글로벌 기업이라서 그런지 신기술을 따라잡는 속도가 정말 빠른 것 같습니다. 개인들이 운영하는 유튜브 채널이나 개인 블로그에서 애드센스 수익을 높일 방법을 찾을 수 없어서 글로벌 테크 기업들이 어떻게 하고 있는지 벤치 마킹 하려고 합니다.
가장 대표적으로는 삼성 바이오로직스에서 삼성 SDS 와 함께 신약을 개발하여 양산을 하기 위해서는 국제 의약법에 의하여 제조 과정에 대한 인증과 약물 자체에 대한 안전성 인증을 받기 위해서 많은 양의 문서를 작성하여야 했습니다.
인증 기관에서 삼성바이오로직스에 방문하여 제출한 서류와 실제로 운영되고 있는 현장의 모습과 규정을 준수하는지를 점검하게 됩니다. 현장의 실무자들에게 여러 가지 질문을 하게 되는데 생성형 AI를 이용해서 챗봇이 텍스트로 답변을 해주거나 ChatGPT-o 를 적용하여 음성으로 질문에 답을 할 수 있습니다.
제목을 짓는 센스가 떨어져서 제목과 본문의 내용이 일치할지 모르겠습니다. 워드프레스는 정보성 글을 주로 작성해야 한다는 유튜브 강사들의 말을 너무 열심히 들었더니 인간미 나는 글을 거의 작성하지 못했습니다. 그러다보니 흥미와 재미가 줄어들어서 머릿속에서 느끼는 깊이 있는 인사이트를 워드프레스에 정리하지 못했지요.
AI 분야에서 연구원으로서 느끼는 감정은 변화의 속도가 너무나 빠르다는 점입니다. 불과 2 년 전만 해도 머신 러닝에서 딥러닝으로 진화해서 GAN이나 Stable Diffusion 같은 딥러닝 기술이 등장하면서 사람과 비슷한 외모의 이미지를 만들어 내는 모델들에 열광했어요.
세월이 흐르고 ChatGPT 가 등장한 이후로 Gemini 와 llama 와 같은 자연어 대화를 통해서 사람과 생성형 AI 가 자연스럽게 대화하고 질문에 답을 하는 형태로 발전하더니 ChatGPT-o 에서는 사람이 하는 말에 모델이 말로 대답하는 것은 물론이고 노래도 즉석에서 작곡해서 해주고 농담도 잘합니다. 영화 HER 라는 인공지능 프로그램과 남자 영화 주인공이 사랑에 빠지는 스토리가 현실에서도 가능할지도 몰라요.
빠른 생성형 AI 가 쏟아져 나올수록 2000년도의 IT 버블 시대가 떠오릅니다. 새로운 세상이 왔다고 환호하고 나스닥 주가는 급등을 하였었죠. 그리고 2000 년이 지나면서 급락이 찾아왔습니다. 말 그대로 꿈과 희망에 가득 차 있었던 것이죠.
Large Language Model 의 약자인 LLM 은 여기 저기 활용할 곳이 많습니다. 일반인 들은 LLM 을 어떻게 자영업이나 커피숍 매장 운영에 이용할 것인지 감을 잡지 못합니다. 신기한 신기술 인 것 같지만 큰 회사에서도 어떻게 활용할 줄을 몰라서 회사의 사내 연구소에 LLM 으로 생산성을 향상시키거나 마케팅에 활용할 방법을 찾아오라고 시킵니다.
제가 요즘에 llama3 무료 챗봇을 만드는데 흠뻑 빠져있습니다. 지난 달까지 ChatGPT-4 를 유료로 사용했는데 거의 사용하지 않는데 한 달에 3만원 정도를 지불했습니다.
생성형 ai 에 대해서 재미있는 책을 써보려고 이모 저모로 글을 작성해보고 있습니다. 쉽지가 않네요. 논문이나 리포트 형식으로만 글을 작성해와서 그런지 편한 문체로 글을 작성하기가 참 어렵습니다. 지금까지 생성형 ai 와 llama3 과 ChatGPT 와 gemini 가 글을 작성해 오던 방식도 이와 비슷하게 딱딱한 느낌이 강했어요.
생성형 ai 활용 사례 : 삼성바이오로직스 생성형 AI
삼성바이오로직스에서는 삼성 SDS와 함께 생성형 AI를 이용해서 신약 개발 할 때 제출해야 하는 서류의 내용을 챗봇을 통해서 자세하게 검색할 수 있는 시범 LLM 시스템을 구축하였습니다.
ChatGPT-o 또는 llama3 과 같은 일반 생성형 AI 는 환각 현상이 발생할 가능성이 있어서 항상 정확한 답변을 하지 못해요. 그래서, 질문을 했을 때 정확한 답변을 얻기 위해서 생성형 AI 에게 참고할 문서들을 여러 개를 제공합니다.
ChatGPT 와 같은 생성형 AI 언어 모델들이 질문의 답변과 유사한 답변을 하도록 입력 데이터를 제한하는 방식이예요. 문서를 그대로 넣어서 사용하는 것은 아닙니다. 문서를 벡터로 변환하고 벡터들만 벡터 스토어에 보관하는 방식 이예요.
생성형 ai 문제점
생성형 ai 문제점은 거대 모델이 알지 못하는 답변에 대해서는 거짓으로 답을 지어내는 환각 현상이 있다는 점입니다. 환각 현상을 해결하기 위해서 rag 가 도입되었어요. RAG 란 Retrieval Augmented Generation 의 약자예요.
RAG 에 대해서는 제가 여러 번 포스팅을 하였습니다. 제가 직접 RAG 를 적용해서 블로그 컨텐츠 작성 보조 툴을 직접 만들어 보고 있는 중이라서 중간에 연구 결과물들을 아래에 포스팅 글로 정리해 두었습니다. 직접 생성형 AI 를 이용해서 무료로 챗봇을 만든 후에는 기존에 이용하던 유료 ChatGPT-4 서비스 구독을 중단하였습니다.
아래 글에 정리된 방법은 초보자인 제가 하나 씩 따라해서 성공한 방법입니다. 꼭 읽어보시고 무료로 라마3 무료 생성형 AI 와 문서 여러 개를 RAG 기술로 정확하게 검색하는 기능을 이용해 보시기 바랍니다.
llama3 rag 으로 나만의 똑똑한 챗봇 쉽게 만들기
llama3 한글 영어 자동 번역해주는 무료 챗봇 만들기
여러 개의 문서에서 내가 필요한 내용만 찾아주고 요약해주는 챗봇 만들기
유사한 컨텐츠를 검색해주는 벡터 검색엔진 설치하는 방법 알아보기
법률 AI 엘박스 빅케이스 로 무료 판례 검색과 AI 요약 사용하는 방법 알아보기
이제 본격적으로 RAG 를 통해서 어떻게 환각 현상을 예방하였는지 천천히 살펴보겠습니다. 질문자가 궁금해 하는 질문 문장을 임베딩 이라는 수학적인 변환 과정을 거쳐서 벡터로 변환합니다. 검색하고자 하는 타겟 벡터와 기존에 만들어 두었던 벡터스토어에서 유사도가 가장 높은 벡터를 선정합니다. 이 벡터가 상징하는 단어 또는 문장을 선택하여 챗봇 Agent에게 전달합니다.
챗봇 Agent는 ChatGPT 의 입력 창이나 Gemini 와 라마3 의 대화 창과 연동되어 있으며 사용자가 입력한 텍스트를 입력을 받아서 임베딩을 해주는 벡터 검색 엔진에게 전달을 합니다. 벡터로 검색한 결과를 챗봇 Agent 에게 다시 벡터와 문장에 해당하는 인덱스 값을 전달합니다.
챗봇 Agent 는 대화에 대하여 응답하는 거대 언어 모델인 llama3 이나 ChatGPT-o 나 gemini 나 Gemma 언어 모델에게 (벡터, 인덱스 값, “프롬프트 명령어”) 를 합쳐서 전송합니다. 최종적으로 언어 모델에게 물어보는 질문은
생성형 AI 시대에 어떻게 살아남아야 할까요?
생성형 AI 를 활용하는 능력을 높여서 실제로 일을 할 때나 숙제를 할 때 일상적으로 활용하는 능력을 기본적으로 갖추어야 할 것 같습니다. 정확하게 내가 제공한 문서들에서 단어만 찾는 것이 아니라 각각의 문서들의 문맥을 이해하고 핵심 문장들을 파악하여 문서들 간에 차이점을 요약하고 필수적인 정보를 추출할 수 있는 프롬프트를 만들어 낼 수 있어야 할 것입니다.
AI 연구를 하는 Researcher 가 아니라면 모델 자체를 프로그래밍 하여 만들 일은 많지 않을 것입니다. 취업을 준비하는 과정에서도 다양한 종류의 데이터베이스들을 입력 하고 정제된 프롬프트를 채팅 창에 입력하여 원하는 결과를 만들 능력이 필요합니다.
마무리
생성형 AI 시대에 꼭 필요한 능력에 관하여 생각해 보았어요. 인공 지능 시대에 취업을 위해서 뿐만 아니라 부동산 데이터를 가공하여 투자 가치가 있는 부동산 데이터를 추출하는 작업을 인공지능 챗봇에게 시킬 수 있어서 새로운 부를 만들어 낼 기회가 열리고 있습니다.
생성형 ai 를 이용해서 돈을 버는 방법에 대해서 집중적으로 고민하고 있습니다. 대부분의 블로그를 운영하는 사람들은 네이버 큐와 ChatGPT 와 뤼튼 을 이용하여 블로그 컨텐츠를 제작해 본 적이 있습니다.
네이버 검색 결과에서 누락되는 경우는 가끔 발생하였지만 구글 검색 결과에서는 생성형 AI 로 작성된 글들은 대부분 누락되었습니다. 다음에는 RAG 를 고도화 시켜서 입력 문서들에서 정교하게 원하는 유사 내용을 담고 있는 문장을 추출하는 챗봇 구현 방법에 대해서 다뤄보도록 하겠습니다.