목록으로
교육·학습을 위한 AI 활용
역사학 연구를 위한 자료 자동 분석, 분류, 번역 및 논증도 생성 에이전트
역사학 연구를 위한 해외 역사 자료 자동 해석, 분석, 분류 및 논증도 형성 프로그램
🤖 활용 AI 도구
claude code
1950년대 한미 외교 관계를 연구하고 있는 사학과 대학원생입니다. 해당 주제를 연구하기 위해 바탕이 되는 역사 사료는 3갈래입니다.
1. 미국 국림문서보관청(NARA)의 미국 국무부, 미 대사관, UN군 사령부 자료(국사편찬위원회 수집본)
2. 1950년대 국내 인쇄물: 세로쓰기, 손글씨, 국한문 병기 자료들 다수
3. 국내외 선행 연구 논문
미국 문서는 70년 이상 된 타자기, 카본지 사본이 주류를 이루고 있기 때문에 잉크가 번지거나 흐릿한 자료들이 많고, 전문(電文) 약어와 군 행정 용어로 가득하여 해독하는 데에 많은 시간과 노력이 필요합니다. 또, 사료철 하나가 100~200쪽이고 논문 작성을 위해서는 수천~수만 페이지를 읽고 번역한 뒤 분류하는 작업을 병행합니다. 국내 자료는 세로쓰기, 손글씨, 한글과 한자가 병기되어있는 사료가 절대 다수를 차지하기 때문에 이 또한 많은 시간이 소요됩니다. 이 중 논문 작성에 직접적으로 관련있는 자료들은 극히 소수이며, 이를 위해 수천~수만 페이지의 자료를 읽어야하는 비효율적인 상황이 반복되고 있습니다.
그에 따라 수천 페이지의 역사 자료들을 자동으로 번역, 분석한 뒤 주제별, 일자별로 분류하여 역사 연구자가 자신의 연구와 관련 있는 자료들만 빠르게 확인할 수 있고, 또 번역 작업에 과도한 시간을 소모하지 않도록 모든 작업을 자동으로 처리하는 프로그램을 만들었습니다. 프로그램 구축은 클로드 코드를 통해 수행했습니다. 사용자 인터페이스를 구축하여 제 연구에 필요한 기능만 만들고 이를 정교화시켜 지속적으로 연구에 활용중입니다.
자료의 성격에 따라 AI 모델을 나누어 활용했습니다.
첫 번째는 클로드 AI Sonnet 5 모델입니다. 쪽 이미지를 판독해 영문 원문을 그대로 텍스트 추출하고, 한국어 번역을 나란히 대조시켜 사료의 성격과 내용을 단번에 파악할 수 있게 만들었습니다. 섞여있는 문서는 발신자, 수신자, 일자, 문서 번호(레코드 그룹, 엔트리, 박스번호, 국사편찬위원회 사료참조 번호)로 나누고 문서마다 어떤 성격의 문서인지 분석하도록 만들었습니다. 또, 사료철마다 주요 내용을 요약한 사료 지도도 만들었습니다. 주로 텍스트 추출작업이 어려운 저화질, 손글씨, 세로쓰기 자료들에 이 모델을 활용했습니다.
두 번째는 알리바바그룹에서 만들어 오픈소스에 공개한 Qwen 3.8 27B 언어모델입니다. 주로 현대 인쇄본같이 간단한 텍스트 추출 작업과 분석 초안 등을 제작하는데에 활용했습니다. 연구실 컴퓨터에 로컬 AI 서버를 구축하고 제 개인 노트북에서 언제든 원격으로 접속하여 작업을 수행할 수 있도록 만들었습니다.
이렇게 작업한 결과는 모두 마크다운 파일로 저장되어 분류에 따라 각 폴더에 자동으로 저장됩니다. 이렇게 저장된 폴더와 파일들은 옵시디언을 통해 그래프뷰(맵뷰)로 직관인 확인이 가능합니다. 또, 각 사료의 성격에 따라 연관성이 있는 자료들은 그래프상에서 서로 연결되어 연구자가 관련 정보까지 단번에 파악 가능합니다. 한 사료철 내부에 개별 사료마다 분석과 해석본이 존재하며, 본문 내용을 확인하던 중 관련된 사료가 있으면 백링크로 연결되어 클릭하자마자 관련 자료 본문을 확인할 수 있도록 구축했습니다.
따라서 연구자들은 자신에게 필요한 자료와 논문에 직접 연관되는 자료들을 찾는데 소요되는 시간을 비약적으로 절약할 수 있습니다.
이어 해당 분석 자료 및 각종 논문들의 논리 구조를 손쉽게 파악하고 연구자의 가설과 논리를 검증할 수 있는 논증도 생성 기능도 제작했습니다. 이를 통해 연구자는 논문 작성 과정에서 발생할 수 있는 논리적 비약이나 자기 모순 등을 시각적으로 파악 가능하고, 자신의 논리 중 미진한 부분을 빠르게 파악하여 이를 수정보완할 수 있습니다.
논문 작성, 특히 역사학 논문 작성에서 가장 핵심적인 것은 활용 자료의 신뢰도와 출처의 신뢰도입니다. 따라서 저는 AI가 없는 사실을 지어내지 않게 만들고, 만약 지어내더라도 그 사실을 알 수 있도록 여러가지의 감시 기능을 넣었습니다.
1. 원문은 절대로 손대지 않습니다. AI가 판독한 원문은 고치지 않은 원형 그대로 두고, 번역과 분석은 그 옆에 따로 두었습니다. 또한 인용은 언제나 원문으로 합니다. 읽을 수 없는 글자는 맥락상 추론이 가능하더라도 AI가 추론한 것임을 반드시 명시하고, [판독불가] 표시로 남깁니다.
2. 표기와 분류는 언제나 연구자가 정합니다. 용어를 어떻게 옮길지, 자료를 어떤 갈래로 나눌지는 연구자가 정하고 AI는 그 규칙 안에서 맡은 지시를 수행만 합니다. 예를 들어 다섯 가지 이상으로 번역되었던 (the Office of the Comptroller of the Army)를 '육군감사관실'로 통일해서 번역하도록 했습니다. 이처럼 번역이나 분류가 애매하면 AI가 스스로 정하지 않고 연구자에게 질문하도록 했습니다.
3. AI가 틀린 순서를 정확하게 기록하고 고칩니다. AI에게 사료 판독을 한 뒤에도 3차례에 걸쳐 원문과 해석본을 대조하도록햇습니다. 검토 과정에서 오류가 발견되는 이를 찾아고친 뒤, 이를 기록에 남기고 같은 실수를 반복하지 않게 코드를 수정합니다. 따라서 조용히 번역과 텍스트 추출을 틀리고 이를 그냥 넘어가지 않습니다.
4. 인용 쪽수를 지킵니다. PDF 파일의 페이지와 인쇄본에 나와있는 페이지가 일치하지 않는 경우가 많습니다. 예를들어 PDF 파일의 페이지는 10페이지, 문서 인쇄상 페이지는 8페이지인 경우입니다. 따라서 AI는 둘을 나란히 적고 각주를 제공할 때에는 인쇄 쪽을 연구자에게 제공합니다.
5. 개선을 숫자로 확인합니다. 예를들어 선명한 인쇄자료는 로컬 AI 판독이 쪽당 약 2초로, 클로드 판독 24초보다 약 12배 빨랐습니다. 그래서 자료 품질에 따라 엔진을 고르게 했습니다.
이러한 프로그램은 원칙이 중요하기 때문에 누구나 활용할 수 있습니다.
원문과 AI 결과를 분리하여 저장하고, 모르는 것을 추측하지 않고 표시하며, 표기 및 분류 규칙을 연구자가 먼저 정하는 원칙입니다. 현재 저는 이 방식을 해외 자료에 주로 활용하고 있지만 국내 고문서를 다루는 인문 사회과학 연구자들도 충분히 활용할 수 있을 것이라 생각합니다.
1. 미국 국림문서보관청(NARA)의 미국 국무부, 미 대사관, UN군 사령부 자료(국사편찬위원회 수집본)
2. 1950년대 국내 인쇄물: 세로쓰기, 손글씨, 국한문 병기 자료들 다수
3. 국내외 선행 연구 논문
미국 문서는 70년 이상 된 타자기, 카본지 사본이 주류를 이루고 있기 때문에 잉크가 번지거나 흐릿한 자료들이 많고, 전문(電文) 약어와 군 행정 용어로 가득하여 해독하는 데에 많은 시간과 노력이 필요합니다. 또, 사료철 하나가 100~200쪽이고 논문 작성을 위해서는 수천~수만 페이지를 읽고 번역한 뒤 분류하는 작업을 병행합니다. 국내 자료는 세로쓰기, 손글씨, 한글과 한자가 병기되어있는 사료가 절대 다수를 차지하기 때문에 이 또한 많은 시간이 소요됩니다. 이 중 논문 작성에 직접적으로 관련있는 자료들은 극히 소수이며, 이를 위해 수천~수만 페이지의 자료를 읽어야하는 비효율적인 상황이 반복되고 있습니다.
그에 따라 수천 페이지의 역사 자료들을 자동으로 번역, 분석한 뒤 주제별, 일자별로 분류하여 역사 연구자가 자신의 연구와 관련 있는 자료들만 빠르게 확인할 수 있고, 또 번역 작업에 과도한 시간을 소모하지 않도록 모든 작업을 자동으로 처리하는 프로그램을 만들었습니다. 프로그램 구축은 클로드 코드를 통해 수행했습니다. 사용자 인터페이스를 구축하여 제 연구에 필요한 기능만 만들고 이를 정교화시켜 지속적으로 연구에 활용중입니다.
자료의 성격에 따라 AI 모델을 나누어 활용했습니다.
첫 번째는 클로드 AI Sonnet 5 모델입니다. 쪽 이미지를 판독해 영문 원문을 그대로 텍스트 추출하고, 한국어 번역을 나란히 대조시켜 사료의 성격과 내용을 단번에 파악할 수 있게 만들었습니다. 섞여있는 문서는 발신자, 수신자, 일자, 문서 번호(레코드 그룹, 엔트리, 박스번호, 국사편찬위원회 사료참조 번호)로 나누고 문서마다 어떤 성격의 문서인지 분석하도록 만들었습니다. 또, 사료철마다 주요 내용을 요약한 사료 지도도 만들었습니다. 주로 텍스트 추출작업이 어려운 저화질, 손글씨, 세로쓰기 자료들에 이 모델을 활용했습니다.
두 번째는 알리바바그룹에서 만들어 오픈소스에 공개한 Qwen 3.8 27B 언어모델입니다. 주로 현대 인쇄본같이 간단한 텍스트 추출 작업과 분석 초안 등을 제작하는데에 활용했습니다. 연구실 컴퓨터에 로컬 AI 서버를 구축하고 제 개인 노트북에서 언제든 원격으로 접속하여 작업을 수행할 수 있도록 만들었습니다.
이렇게 작업한 결과는 모두 마크다운 파일로 저장되어 분류에 따라 각 폴더에 자동으로 저장됩니다. 이렇게 저장된 폴더와 파일들은 옵시디언을 통해 그래프뷰(맵뷰)로 직관인 확인이 가능합니다. 또, 각 사료의 성격에 따라 연관성이 있는 자료들은 그래프상에서 서로 연결되어 연구자가 관련 정보까지 단번에 파악 가능합니다. 한 사료철 내부에 개별 사료마다 분석과 해석본이 존재하며, 본문 내용을 확인하던 중 관련된 사료가 있으면 백링크로 연결되어 클릭하자마자 관련 자료 본문을 확인할 수 있도록 구축했습니다.
따라서 연구자들은 자신에게 필요한 자료와 논문에 직접 연관되는 자료들을 찾는데 소요되는 시간을 비약적으로 절약할 수 있습니다.
이어 해당 분석 자료 및 각종 논문들의 논리 구조를 손쉽게 파악하고 연구자의 가설과 논리를 검증할 수 있는 논증도 생성 기능도 제작했습니다. 이를 통해 연구자는 논문 작성 과정에서 발생할 수 있는 논리적 비약이나 자기 모순 등을 시각적으로 파악 가능하고, 자신의 논리 중 미진한 부분을 빠르게 파악하여 이를 수정보완할 수 있습니다.
논문 작성, 특히 역사학 논문 작성에서 가장 핵심적인 것은 활용 자료의 신뢰도와 출처의 신뢰도입니다. 따라서 저는 AI가 없는 사실을 지어내지 않게 만들고, 만약 지어내더라도 그 사실을 알 수 있도록 여러가지의 감시 기능을 넣었습니다.
1. 원문은 절대로 손대지 않습니다. AI가 판독한 원문은 고치지 않은 원형 그대로 두고, 번역과 분석은 그 옆에 따로 두었습니다. 또한 인용은 언제나 원문으로 합니다. 읽을 수 없는 글자는 맥락상 추론이 가능하더라도 AI가 추론한 것임을 반드시 명시하고, [판독불가] 표시로 남깁니다.
2. 표기와 분류는 언제나 연구자가 정합니다. 용어를 어떻게 옮길지, 자료를 어떤 갈래로 나눌지는 연구자가 정하고 AI는 그 규칙 안에서 맡은 지시를 수행만 합니다. 예를 들어 다섯 가지 이상으로 번역되었던 (the Office of the Comptroller of the Army)를 '육군감사관실'로 통일해서 번역하도록 했습니다. 이처럼 번역이나 분류가 애매하면 AI가 스스로 정하지 않고 연구자에게 질문하도록 했습니다.
3. AI가 틀린 순서를 정확하게 기록하고 고칩니다. AI에게 사료 판독을 한 뒤에도 3차례에 걸쳐 원문과 해석본을 대조하도록햇습니다. 검토 과정에서 오류가 발견되는 이를 찾아고친 뒤, 이를 기록에 남기고 같은 실수를 반복하지 않게 코드를 수정합니다. 따라서 조용히 번역과 텍스트 추출을 틀리고 이를 그냥 넘어가지 않습니다.
4. 인용 쪽수를 지킵니다. PDF 파일의 페이지와 인쇄본에 나와있는 페이지가 일치하지 않는 경우가 많습니다. 예를들어 PDF 파일의 페이지는 10페이지, 문서 인쇄상 페이지는 8페이지인 경우입니다. 따라서 AI는 둘을 나란히 적고 각주를 제공할 때에는 인쇄 쪽을 연구자에게 제공합니다.
5. 개선을 숫자로 확인합니다. 예를들어 선명한 인쇄자료는 로컬 AI 판독이 쪽당 약 2초로, 클로드 판독 24초보다 약 12배 빨랐습니다. 그래서 자료 품질에 따라 엔진을 고르게 했습니다.
이러한 프로그램은 원칙이 중요하기 때문에 누구나 활용할 수 있습니다.
원문과 AI 결과를 분리하여 저장하고, 모르는 것을 추측하지 않고 표시하며, 표기 및 분류 규칙을 연구자가 먼저 정하는 원칙입니다. 현재 저는 이 방식을 해외 자료에 주로 활용하고 있지만 국내 고문서를 다루는 인문 사회과학 연구자들도 충분히 활용할 수 있을 것이라 생각합니다.
