목록으로
생활 속 AI 활용
원고는 내 컴퓨터 안에: 로컬 AI와 나누는 내 장편 소설 이야기
원고는 내 컴퓨터 안에: 로컬 AI와 나누는 내 장편 소설 이야기
🤖 활용 AI 도구
Ollama, Qwen3 4b, BGE-M3
1. 어떤 상황에서 AI를 활용했나요?
취미로 소설을 쓰는 작가로서 제가 쓴 작품을 주제로 이야기하는 경험은 귀중합니다.
하지만 주변 지인들에게 장편 원고를 일일이, 수정할 때마다 읽어주기를 부탁하는 건 쉽지 않은 일입니다.
그렇다고 GPT 같은 AI에게 소설 원고를 보내는 것은 내 원고가 외부로 나가는 것 같아 찝찝한 마음이 들죠.
그래서 내 컴퓨터에서 실행되는 로컬 AI를 사용해보기로 했습니다.
2. 어떤 AI를 어떻게 활용했나요?
사용한 AI 도구: Ollama, Qwen3 4b, BGE-M3
로컬 AI 모델 Qwen3 4b는 한국어를 자연스럽게 구사하는 편이고, 비교적 저사양 환경에서도 구동이 가능해 선택했습니다.
원고와 로컬 AI를 연결하는 프로그램을 AI로 직접 만들어 제가 쓴 장편 소설(약 17만 자)을 입력했습니다.
물론 개인 컴퓨터에서 작동하는 AI이니만큼 17만 자의 원고를 전부 이해시키는 건 불가능합니다.
그래서 문장을 수치화해서 저장하는 임베딩 모델인 BGE-M3를 같이 사용했습니다. 이 모델은 한국어 지원에 강점이 있습니다.
3. 활용 결과 어떤 변화가 있었나요?
제가 쓴 소설을 읽은 사람이 있다면 가장 묻고 싶었던 질문을 AI에게 물었습니다.
질문: 이 이야기의 주제가 뭐라고 생각해?
대답: [이 이야기의 주제는 **기억과 소중한 관계 속에서의 희망과 정체성**이라고 생각해요. 특히, "의진"이 잊혀진 기억을 되찾고 싶어 하는 마음과, 그 기억이 실제로 좋은 기억인지에 대한 의문이 중심이에요. 27화에서 의진은 "기억을 되찾고 싶어?"라는 질문을 받고, "좋은 기억이 아닐 수도 있어"라고 말하며, 과거의 상실과 상처를 인정하는 태도를 보여줘요. 이건 단순히 기억을 되찾는 이야기가 아니라, **기억이 아닌 ‘감정’이 진짜 소중한 것일 수 있음을 말해주는 것**이에요.]
작가인 제 마음에 드는 대답이 나왔을 때 소름이 돋는 느낌이었습니다.
또 제가 쓴 소설 속에서 부모에게 방치된 등장인물이 부모를 어떻게 생각할지 AI에게 물었더니, 성장하여 부모를 원망하는 대신 부모의 사랑이 자신에게 닿지 않았을지 모른다고 생각할 수 있다는 대답이 돌아왔습니다.
실제 캐릭터 성격을 생각했을 때 충분히 납득이 되었고 작가인 저조차 생각하지 못한 해석이었죠. 덕분에 제가 만든 캐릭터를 조금 다른 시각으로 보게 되었고 결국 원고에서 캐릭터가 부모를 무조건 원망하지 않게 수정할 수 있었습니다. 글을 쓰며 캐릭터의 감정을 더 깊게 생각해 볼 수 있는 계기였습니다.
4. 나만의 방식 또는 개선 포인트는 무엇인가요?
17만 자가 넘는 장편을 로컬 AI에게 한 번에 전달할 수 없었습니다. 그래서 임베딩 모델과 직접 만든 프로그램을 활용했습니다.
로컬 AI가 이해할 수 있게 한 조각당 1000자 정도로 쪼개고, 임베딩을 계산해 저장하여 필요한 항목을 프로그램이 찾아 AI에게 전달하여 대답에 사용할 수 있게 했습니다.
덕분에 원고 전체를 매번 입력하지 않아도 되었고 긴 장편을 로컬 AI가 필요한 부분만 추출해 대답에 사용할 수 있었습니다. 몇 화에서 추출했는지도 알 수 있어 검토도 가능했죠.
다만 AI가 원고 전체를 완벽하게 이해하는 건 아니기 때문에 잘못된 내용을 답할 수 있습니다. 실제로 캐릭터가 좋아하는 색깔을 묻는 질문에 다른 캐릭터와 설정을 헷갈려 엉뚱한 대답을 한 적이 있었죠. 작가인 저는 바로 알 수 있었지만 혹시 몰라 AI가 근거로 들었던 화를 확인했더니 실제로 다른 캐릭터 이야기였습니다. 자주 있는 경우는 아니었지만 실제 원고를 확인하는 과정이 꼭 필요하다고 느꼈고 AI의 해석은 참고일 뿐 고칠지말지는 작가가 판단해야 한다는 것을 체감했습니다.
5. 다른 사람도 따라할 수 있나요?
로컬 AI는 어려워 보이지만 최근엔 화면을 통해 설치와 실행을 도와주는 프로그램이 많이 있고 과정도 어렵지 않습니다.
1. Ollama 또는 LM Studio 같은 로컬 AI 구동 프로그램 설치
2. 원하는 AI 모델과 임베딩 모델 다운로드
3. 로컬 문서 대화 프로그램(AnythingLLM 등)에 원고 넣기
4. 질문 후 대답을 원문과 대조해보기
저처럼 직접 프로그램을 만들지 않아도 임베딩과 로컬 AI를 활용하는 프로그램을 사용한다면 자신의 작품을 주제로 원고를 외부에 보내지 않고도 AI와 이야기할 수 있습니다.
GTX 1060 6GB 그래픽 카드 환경에서 답변이 나오는 데 30초도 걸리지 않았으니 최신 컴퓨터가 아니어도 됩니다.
내 소중한 글이 외부로 나가는 것이 싫은 분, 미발표 원고를 다듬는 분, 연재 중인 작가분께 로컬 AI활용을 추천하고 싶습니다.
취미로 소설을 쓰는 작가로서 제가 쓴 작품을 주제로 이야기하는 경험은 귀중합니다.
하지만 주변 지인들에게 장편 원고를 일일이, 수정할 때마다 읽어주기를 부탁하는 건 쉽지 않은 일입니다.
그렇다고 GPT 같은 AI에게 소설 원고를 보내는 것은 내 원고가 외부로 나가는 것 같아 찝찝한 마음이 들죠.
그래서 내 컴퓨터에서 실행되는 로컬 AI를 사용해보기로 했습니다.
2. 어떤 AI를 어떻게 활용했나요?
사용한 AI 도구: Ollama, Qwen3 4b, BGE-M3
로컬 AI 모델 Qwen3 4b는 한국어를 자연스럽게 구사하는 편이고, 비교적 저사양 환경에서도 구동이 가능해 선택했습니다.
원고와 로컬 AI를 연결하는 프로그램을 AI로 직접 만들어 제가 쓴 장편 소설(약 17만 자)을 입력했습니다.
물론 개인 컴퓨터에서 작동하는 AI이니만큼 17만 자의 원고를 전부 이해시키는 건 불가능합니다.
그래서 문장을 수치화해서 저장하는 임베딩 모델인 BGE-M3를 같이 사용했습니다. 이 모델은 한국어 지원에 강점이 있습니다.
3. 활용 결과 어떤 변화가 있었나요?
제가 쓴 소설을 읽은 사람이 있다면 가장 묻고 싶었던 질문을 AI에게 물었습니다.
질문: 이 이야기의 주제가 뭐라고 생각해?
대답: [이 이야기의 주제는 **기억과 소중한 관계 속에서의 희망과 정체성**이라고 생각해요. 특히, "의진"이 잊혀진 기억을 되찾고 싶어 하는 마음과, 그 기억이 실제로 좋은 기억인지에 대한 의문이 중심이에요. 27화에서 의진은 "기억을 되찾고 싶어?"라는 질문을 받고, "좋은 기억이 아닐 수도 있어"라고 말하며, 과거의 상실과 상처를 인정하는 태도를 보여줘요. 이건 단순히 기억을 되찾는 이야기가 아니라, **기억이 아닌 ‘감정’이 진짜 소중한 것일 수 있음을 말해주는 것**이에요.]
작가인 제 마음에 드는 대답이 나왔을 때 소름이 돋는 느낌이었습니다.
또 제가 쓴 소설 속에서 부모에게 방치된 등장인물이 부모를 어떻게 생각할지 AI에게 물었더니, 성장하여 부모를 원망하는 대신 부모의 사랑이 자신에게 닿지 않았을지 모른다고 생각할 수 있다는 대답이 돌아왔습니다.
실제 캐릭터 성격을 생각했을 때 충분히 납득이 되었고 작가인 저조차 생각하지 못한 해석이었죠. 덕분에 제가 만든 캐릭터를 조금 다른 시각으로 보게 되었고 결국 원고에서 캐릭터가 부모를 무조건 원망하지 않게 수정할 수 있었습니다. 글을 쓰며 캐릭터의 감정을 더 깊게 생각해 볼 수 있는 계기였습니다.
4. 나만의 방식 또는 개선 포인트는 무엇인가요?
17만 자가 넘는 장편을 로컬 AI에게 한 번에 전달할 수 없었습니다. 그래서 임베딩 모델과 직접 만든 프로그램을 활용했습니다.
로컬 AI가 이해할 수 있게 한 조각당 1000자 정도로 쪼개고, 임베딩을 계산해 저장하여 필요한 항목을 프로그램이 찾아 AI에게 전달하여 대답에 사용할 수 있게 했습니다.
덕분에 원고 전체를 매번 입력하지 않아도 되었고 긴 장편을 로컬 AI가 필요한 부분만 추출해 대답에 사용할 수 있었습니다. 몇 화에서 추출했는지도 알 수 있어 검토도 가능했죠.
다만 AI가 원고 전체를 완벽하게 이해하는 건 아니기 때문에 잘못된 내용을 답할 수 있습니다. 실제로 캐릭터가 좋아하는 색깔을 묻는 질문에 다른 캐릭터와 설정을 헷갈려 엉뚱한 대답을 한 적이 있었죠. 작가인 저는 바로 알 수 있었지만 혹시 몰라 AI가 근거로 들었던 화를 확인했더니 실제로 다른 캐릭터 이야기였습니다. 자주 있는 경우는 아니었지만 실제 원고를 확인하는 과정이 꼭 필요하다고 느꼈고 AI의 해석은 참고일 뿐 고칠지말지는 작가가 판단해야 한다는 것을 체감했습니다.
5. 다른 사람도 따라할 수 있나요?
로컬 AI는 어려워 보이지만 최근엔 화면을 통해 설치와 실행을 도와주는 프로그램이 많이 있고 과정도 어렵지 않습니다.
1. Ollama 또는 LM Studio 같은 로컬 AI 구동 프로그램 설치
2. 원하는 AI 모델과 임베딩 모델 다운로드
3. 로컬 문서 대화 프로그램(AnythingLLM 등)에 원고 넣기
4. 질문 후 대답을 원문과 대조해보기
저처럼 직접 프로그램을 만들지 않아도 임베딩과 로컬 AI를 활용하는 프로그램을 사용한다면 자신의 작품을 주제로 원고를 외부에 보내지 않고도 AI와 이야기할 수 있습니다.
GTX 1060 6GB 그래픽 카드 환경에서 답변이 나오는 데 30초도 걸리지 않았으니 최신 컴퓨터가 아니어도 됩니다.
내 소중한 글이 외부로 나가는 것이 싫은 분, 미발표 원고를 다듬는 분, 연재 중인 작가분께 로컬 AI활용을 추천하고 싶습니다.
