목록으로
업무 생산성 개선을 위한 AI 활용
AI가 계산한 숫자를 그대로 쓰지 않으려고 ClaimLedger를 만들었다
AI가 찾은 공시 숫자를 그대로 쓰지 않고, 계산과 근거 확인을 코드로 분리해 본 ClaimLedger 제작기
🤖 활용 AI 도구
Qwen3 8B (Ollama), OpenAI Codex
공시 자료를 비교하는 투자 메모에 로컬 AI를 써 봤다. 회사와 연도를 적으면 필요한 숫자를 찾고 문장까지 빠르게 만들었다. 그런데 원자료를 제대로 골라도 변화율을 틀리는 경우가 있었다. 글은 자연스러워서 직접 계산해 보기 전에는 잘못을 알아차리기 어려웠다.
계산을 잘하라는 지시를 더 붙이기보다 역할을 나눠 보기로 했다. 그렇게 만든 프로토타입이 ClaimLedger다.
[계산과 근거 확인은 코드에 맡겼다]
Qwen3 8B는 질문에서 지표, 두 연도, 답변 언어만 정한다. 이후에는 코드가 저장된 공시 원장에서 조건에 맞는 기록을 고른다. 값과 단위, 대상 기간, 공시 식별자, 원문 링크가 한 기록을 가리키는지도 대조한다. 변화량과 변화율 역시 같은 코드가 계산한다.
조건에 맞는 값이 여러 개이거나 근거가 맞지 않으면 메모를 끝내지 않는다. 화면에 ‘사람 검토 필요’라고 남기고 멈춘다. 모델이 그럴듯한 문장으로 애매한 부분을 덮지 못하게 한 것이다.
[Apple 질문에서 실제로 본 화면]
“Apple의 2024년과 2025년 종료 연간 매출을 비교해 줘”라고 입력했다.
선택된 값은 2024년 391,035,000,000달러와 2025년 416,161,000,000달러였다. 코드는 차이 25,126,000,000달러와 변화율 6.4%를 계산했다. 두 숫자의 기간, SEC 공시 번호, 원문 주소도 화면에 함께 나왔다. 저장 원장과 대조한 결과가 맞아 이 실행은 ‘승인 가능’으로 표시됐다.
반대로 Microsoft 순이익 질문에는 계산이 끝난 뒤에도 같은 경고가 남았다. 같은 기간 조건에 해당하는 공시 값이 둘 이상 있었기 때문이다. 숫자를 계산했다는 사실만으로 메모를 승인하지 않는 모습을 볼 수 있었다.
[같은 모델로 36개 질문을 비교했다]
Apple, Microsoft, NVIDIA의 연간 매출과 순이익을 두 기간씩 묻는 질문 36개를 고정했다. 한쪽은 Qwen이 지표와 연도만 정하고 코드가 계산했다. 다른 쪽은 같은 Qwen3 8B가 선택된 원자료를 받아 변화량과 변화율까지 직접 작성했다. 저장 원장도 같았다.
원자료 값은 양쪽 모두 36번 정확히 골랐다. 변화량과 변화율이 함께 맞은 경우는 ClaimLedger 36건, 모델이 직접 계산한 방식 17건이었다.
이 수치는 세 기업의 구조화된 SEC 연간 자료에만 해당한다. 검색 서비스 전체나 투자 분석 품질을 비교한 결과는 아니다. 표시 오차 기준은 처음 두 질문에서 정한 뒤 나머지 34건에 그대로 적용했다.
[일부러 기록을 바꿔 보기도 했다]
정상 원장 기록 75건은 모두 통과했다. 값, 단위, 기간, 공시 번호, 원문 주소 가운데 하나를 바꾼 375건은 전부 거부됐다. 미리 만든 형식 안에서 검증 규칙이 작동하는지 본 시험이며, 실제 현장의 오류 탐지율을 측정한 것은 아니다.
서술형 공시 내용을 담은 source card 12건도 만들었지만 결과표에서는 뺐다. 개발과 무관한 사람의 검토가 아직 끝나지 않았기 때문이다. 지금 데모는 저장된 실행을 보여주는 정적 화면이고, 실시간 SEC 조회와 검토자 승인 기록 저장은 다음 작업으로 남아 있다.
[메모를 읽는 순서도 달라졌다]
예전에는 완성된 문장부터 읽고 수상한 부분을 다시 찾았다. 이제는 선택된 두 기록과 계산식을 먼저 보고, 원문 주소를 연다. 마지막에 승인 가능인지 사람이 봐야 하는지를 확인한 뒤 메모를 읽는다. 시간을 따로 재지는 않았지만 살펴볼 항목은 분명해졌다.
비슷한 숫자 문서에도 같은 방식을 적용할 수 있다. 모델에는 필요한 항목만 정해진 형식으로 돌려달라고 요청한다. 출처 기록에는 값, 기간, 단위, 원문 주소를 함께 남기고 계산은 코드로 다시 만든다. 근거가 겹치거나 빠졌다면 문장을 억지로 완성하지 않고 검토 대상으로 보낸다.
질문 계획에는 로컬 Qwen3 8B를 썼다. OpenAI Codex는 문안 정리, 코드 실행 보조, 화면 구성에 사용했다. 값 선택과 검증, 계산, 승인 상태는 정해 둔 규칙으로 처리했고 저장 산출물과 테스트 결과를 다시 대조했다.
자료는 SEC 공개 공시만 사용했으며 개인정보와 비공개 문서는 넣지 않았다. 이 프로토타입은 투자 추천 도구가 아니다. 현재 시험 범위는 세 기업의 구조화된 연간 수치 비교다.
자료: SEC EDGAR API, ClaimLedger 저장 실행·벤치마크·감사·테스트 기록
계산을 잘하라는 지시를 더 붙이기보다 역할을 나눠 보기로 했다. 그렇게 만든 프로토타입이 ClaimLedger다.
[계산과 근거 확인은 코드에 맡겼다]
Qwen3 8B는 질문에서 지표, 두 연도, 답변 언어만 정한다. 이후에는 코드가 저장된 공시 원장에서 조건에 맞는 기록을 고른다. 값과 단위, 대상 기간, 공시 식별자, 원문 링크가 한 기록을 가리키는지도 대조한다. 변화량과 변화율 역시 같은 코드가 계산한다.
조건에 맞는 값이 여러 개이거나 근거가 맞지 않으면 메모를 끝내지 않는다. 화면에 ‘사람 검토 필요’라고 남기고 멈춘다. 모델이 그럴듯한 문장으로 애매한 부분을 덮지 못하게 한 것이다.
[Apple 질문에서 실제로 본 화면]
“Apple의 2024년과 2025년 종료 연간 매출을 비교해 줘”라고 입력했다.
선택된 값은 2024년 391,035,000,000달러와 2025년 416,161,000,000달러였다. 코드는 차이 25,126,000,000달러와 변화율 6.4%를 계산했다. 두 숫자의 기간, SEC 공시 번호, 원문 주소도 화면에 함께 나왔다. 저장 원장과 대조한 결과가 맞아 이 실행은 ‘승인 가능’으로 표시됐다.
반대로 Microsoft 순이익 질문에는 계산이 끝난 뒤에도 같은 경고가 남았다. 같은 기간 조건에 해당하는 공시 값이 둘 이상 있었기 때문이다. 숫자를 계산했다는 사실만으로 메모를 승인하지 않는 모습을 볼 수 있었다.
[같은 모델로 36개 질문을 비교했다]
Apple, Microsoft, NVIDIA의 연간 매출과 순이익을 두 기간씩 묻는 질문 36개를 고정했다. 한쪽은 Qwen이 지표와 연도만 정하고 코드가 계산했다. 다른 쪽은 같은 Qwen3 8B가 선택된 원자료를 받아 변화량과 변화율까지 직접 작성했다. 저장 원장도 같았다.
원자료 값은 양쪽 모두 36번 정확히 골랐다. 변화량과 변화율이 함께 맞은 경우는 ClaimLedger 36건, 모델이 직접 계산한 방식 17건이었다.
이 수치는 세 기업의 구조화된 SEC 연간 자료에만 해당한다. 검색 서비스 전체나 투자 분석 품질을 비교한 결과는 아니다. 표시 오차 기준은 처음 두 질문에서 정한 뒤 나머지 34건에 그대로 적용했다.
[일부러 기록을 바꿔 보기도 했다]
정상 원장 기록 75건은 모두 통과했다. 값, 단위, 기간, 공시 번호, 원문 주소 가운데 하나를 바꾼 375건은 전부 거부됐다. 미리 만든 형식 안에서 검증 규칙이 작동하는지 본 시험이며, 실제 현장의 오류 탐지율을 측정한 것은 아니다.
서술형 공시 내용을 담은 source card 12건도 만들었지만 결과표에서는 뺐다. 개발과 무관한 사람의 검토가 아직 끝나지 않았기 때문이다. 지금 데모는 저장된 실행을 보여주는 정적 화면이고, 실시간 SEC 조회와 검토자 승인 기록 저장은 다음 작업으로 남아 있다.
[메모를 읽는 순서도 달라졌다]
예전에는 완성된 문장부터 읽고 수상한 부분을 다시 찾았다. 이제는 선택된 두 기록과 계산식을 먼저 보고, 원문 주소를 연다. 마지막에 승인 가능인지 사람이 봐야 하는지를 확인한 뒤 메모를 읽는다. 시간을 따로 재지는 않았지만 살펴볼 항목은 분명해졌다.
비슷한 숫자 문서에도 같은 방식을 적용할 수 있다. 모델에는 필요한 항목만 정해진 형식으로 돌려달라고 요청한다. 출처 기록에는 값, 기간, 단위, 원문 주소를 함께 남기고 계산은 코드로 다시 만든다. 근거가 겹치거나 빠졌다면 문장을 억지로 완성하지 않고 검토 대상으로 보낸다.
질문 계획에는 로컬 Qwen3 8B를 썼다. OpenAI Codex는 문안 정리, 코드 실행 보조, 화면 구성에 사용했다. 값 선택과 검증, 계산, 승인 상태는 정해 둔 규칙으로 처리했고 저장 산출물과 테스트 결과를 다시 대조했다.
자료는 SEC 공개 공시만 사용했으며 개인정보와 비공개 문서는 넣지 않았다. 이 프로토타입은 투자 추천 도구가 아니다. 현재 시험 범위는 세 기업의 구조화된 연간 수치 비교다.
자료: SEC EDGAR API, ClaimLedger 저장 실행·벤치마크·감사·테스트 기록
