AI에게 사람을 뽑으라고 하지 않았습니다. 사람이 판단할 근거를 찾아달라고 했습니다.

Decision Mirror | 생성형 AI를 활용한 근거 중심 채용 의사결정 지원 서비스 개발 사례

① 어떤 상황에서 AI를 활용했나요?

채용 과정에서 가장 어려운 일은 지원자의 이력서를 빠르게 읽는 것이 아니라, 여러 자료에 흩어진 정보를 바탕으로 합리적인 판단을 내리는 것입니다.

채용담당자는 이력서, 경력기술서, 포트폴리오, 면접 메모, 채용 공고를 비교하면서 지원자의 역량과 경험을 확인해야 합니다. 그러나 자료마다 형식이 다르고, 동일한 경력에 대해서도 평가자마다 해석이 달라질 수 있습니다. 특히 전담 채용 인력이 부족한 중소기업이나 스타트업에서는 자료 검토와 의견 취합을 반복하면서 상당한 업무 부담이 발생할 수 있습니다.

이 과정에서 발견한 중요한 문제는 '자료에 정보가 없는 것'과 '지원자에게 해당 역량이 없는 것'을 혼동하기 쉽다는 점이었습니다.

예를 들어 데이터 분석가 채용에서 SQL 활용 경험이 중요한 기준이라고 가정해 보겠습니다. 한 지원자의 이력서에 SQL이라는 단어가 없다고 해서 그 사람이 SQL을 사용할 수 없다고 판단하는 것은 타당하지 않습니다. 단지 제출 자료에서 해당 경험을 확인하지 못했을 뿐입니다.

생성형 AI 역시 이러한 차이를 충분히 고려하지 않으면 자료에 없는 사실을 추정하거나, 설득력 있는 표현으로 부정확한 평가를 제시할 위험이 있습니다.

저는 데이터 분석과 AI 활용 경험을 바탕으로 채용 업무의 문제를 새롭게 정의했습니다.

"AI가 지원자의 적합성을 대신 결정하는 것이 아니라, 사람이 올바른 결정을 내리기 위해 필요한 증거와 부족한 정보를 찾아준다면 어떨까?"

이 질문에서 출발해 AI 기반 채용 의사결정 지원 웹서비스 'Decision Mirror'를 기획하고 개발했습니다.

핵심 목표는 채용 판단의 자동화가 아니라, 반복적인 자료 정리 부담을 줄이고 판단의 근거를 더욱 명확하게 만드는 것이었습니다.



② 어떤 AI를 어떻게 활용했나요?

ChatGPT, Cursor, Vercel AI SDK를 중심으로 생성형 AI를 활용하고, Next.js·React·Vercel 등의 기술을 결합해 웹서비스 프로젝트를 개발했습니다.

단순히 AI에 "채용 서비스를 만들어줘"라고 요청하지 않았습니다. 실제 채용담당자가 수행하는 업무를 분석한 뒤, 문제 정의부터 기능 설계, 개발, 수정까지 AI를 단계별로 활용했습니다.

첫 번째, ChatGPT를 활용해 문제와 업무 구조를 설계했습니다.

채용담당자가 지원자 자료를 받는 순간부터 최종 의사결정을 내리는 순간까지의 업무 과정을 세분화했습니다.

직무 요구조건 확인, 자료 검토, 역량 근거 파악, 정보 누락 탐색, 추가 질문 작성, 판단 결과 기록이라는 흐름을 설계했습니다.

특히 AI가 사람을 평가할 때 발생할 수 있는 오류를 분석하고, 단순한 적합·부적합 분류보다 근거의 확인 상태를 구분하는 접근을 중심에 두었습니다.

두 번째, Cursor를 활용해 웹서비스 구현을 진행했습니다.

Next.js와 React를 기반으로 화면과 서비스 기능을 개발하면서 AI 코딩 도구를 활용해 코드 작성, 구조 개선, 오류 수정 등의 작업을 지원받았습니다.

개발 과정에서는 사용자가 어떤 자료를 확인하고 어떤 결정을 내려야 하는지에 맞춰 화면과 기능을 구성했습니다.

AI는 코드 생성을 도왔고, 저는 문제 정의, 사용자 업무 흐름, 기능 우선순위와 결과물 검토에 집중했습니다.

세 번째, AI와 의사결정을 연결하는 기능 구조를 설계했습니다.

서비스의 주요 기능 개념은 다음과 같습니다.

1. Candidate Diligence Share Link: 지원자의 직무 관련 자료를 공유하고 검토하는 과정
2. Evidence Router: 평가 항목과 관련된 증거를 찾아 연결하는 과정
3. Decision Delta: 새로운 정보에 따라 판단 근거가 어떻게 달라지는지 비교하는 과정
4. Transparency Ledger: 평가 근거와 의사결정 이력을 관리하는 과정
5. Expectation Memo: 채용 과정에서 확인해야 할 기대조건과 미확인 사항을 정리하는 과정

이 기능들을 채용 과정의 정보 흐름과 연결해 서비스 구조를 설계했습니다.

네 번째, AI가 모르는 정보를 함부로 판단하지 않는 원칙을 적용했습니다.

서비스 설계에서 가장 중요하게 생각한 것은 정보를 다음과 같이 구분하는 것입니다.

- 자료에 명시된 사실
- 지원자가 주장하지만 추가 검증이 필요한 내용
- 제출 자료만으로 확인할 수 없는 정보
- 서로 다른 자료에서 충돌하는 내용

특히 AI가 근거를 찾지 못한 경우에는 부정적인 평가를 생성하는 대신, 사람에게 필요한 확인 질문을 제시하는 방향으로 설계했습니다.

예를 들어 "프로젝트 기여도가 낮다"는 추정보다 "프로젝트에서 직접 담당한 업무와 결과를 확인할 필요가 있다"는 질문이 더 적절하다고 판단했습니다.

다섯 번째, Vercel을 활용해 웹서비스 형태의 결과물로 연결했습니다.

아이디어와 문서에 머무르지 않고, 실제 사용자가 접근할 수 있는 웹서비스 프로젝트로 구현하고 배포하는 과정을 진행했습니다.

서비스 주소: https://decision-mirror-eight.vercel.app/

이를 통해 생성형 AI를 단순한 문서 작성 도구가 아니라 문제 정의, 서비스 설계, 개발을 지원하는 협업 도구로 활용했습니다.



③ 활용 결과 어떤 변화가 있었나요?

가장 중요한 변화는 막연했던 채용 업무의 문제를 구체적인 AI 서비스 개발 결과물로 전환했다는 것입니다.

기존에는 AI를 활용한 채용 업무 개선을 생각할 때 이력서 요약, 지원자 순위 산정, 자동 평가처럼 개별 기능에 집중하기 쉬웠습니다.

그러나 이번 프로젝트에서는 채용의 최종 결과보다 그 판단을 가능하게 만드는 정보와 근거에 집중했습니다.

첫째, 복잡한 업무를 검토 가능한 단계로 구조화했습니다.

지원자 자료를 읽고 개인의 판단에 의존하는 과정을 직무 기준 정의, 근거 확인, 정보 누락 식별, 추가 질문, 최종 검토라는 업무 흐름으로 재구성했습니다.

둘째, 생성형 AI와 협업해 실제 웹서비스 프로젝트를 개발했습니다.

ChatGPT를 통한 요구사항 정리, Cursor를 활용한 구현 지원, 웹 프레임워크와 배포 환경을 결합하는 경험을 통해 AI 아이디어를 실행 가능한 소프트웨어 구조로 발전시켰습니다.

셋째, 생성형 AI의 역할을 재정의했습니다.

단순히 답변을 생성하는 것이 아니라, 어떤 정보가 확인되었고 어떤 부분에서 인간의 판단이 필요한지 명확하게 구분하는 시스템을 지향하게 되었습니다.

넷째, 개발 과정 자체의 업무 방식도 달라졌습니다.

모든 코드를 처음부터 직접 작성하는 방식에서 벗어나, AI에 반복적인 구현 작업을 맡기고 저는 사용자 문제 분석, 요구사항 정의, 기능 간 연결, 오류 검토와 개선 방향 결정에 더욱 집중할 수 있었습니다.

이러한 변화는 실제 개발 경험을 통해 확인한 결과입니다.

다만 채용담당자의 업무 시간이 몇 퍼센트 감소했는지, 실제 채용의 정확성이나 공정성이 얼마나 개선되었는지는 아직 별도의 현장 실증이 필요합니다. 따라서 검증하지 않은 생산성 향상 수치를 성과로 제시하지 않았습니다.

향후에는 동일한 가상 지원 자료를 대상으로 AI 활용 전후의 전체 검토시간, 근거 확인 정확성, 정보 누락 발견 비율, 사람의 수정 횟수를 비교해 효과를 측정하고자 합니다.



④ 나만의 방식 또는 개선 포인트는 무엇인가요?

이번 프로젝트의 가장 중요한 차별점은 'AI가 얼마나 많은 답을 생성하는가'보다 'AI가 어떤 답을 하지 말아야 하는가'를 고민했다는 점입니다.

저는 이를 '증거 중심의 인간-AI 협업 방식'으로 정의했습니다.

일반적인 AI 활용에서는 사용자가 질문을 입력하고 AI가 답변을 생성하는 과정에 집중합니다.

반면 제가 설계한 방식에서는 AI의 결과를 하나의 잠정적인 검토 자료로 취급합니다. 중요한 것은 AI가 만든 답변이 아니라 그 답변의 근거, 확인되지 않은 부분, 그리고 사람이 최종적으로 검토해야 할 사항입니다.

이를 위해 다섯 가지 개선 원칙을 정리했습니다.

1. 정보 부재와 역량 부족을 구분합니다.

자료에 없는 내용은 추정으로 채우지 않고 '확인되지 않음'으로 표시하도록 설계합니다.

2. 생성된 주장과 실제 근거를 구분합니다.

AI가 정리한 내용이 실제 지원 자료의 어떤 정보에서 비롯되었는지 추적할 수 있도록 근거 중심의 처리 구조를 지향합니다.

3. 부족한 정보를 질문으로 바꿉니다.

확인되지 않은 내용을 불이익의 근거로 사용하는 대신 추가 자료 요청이나 면접 질문으로 전환합니다.

4. 새로운 정보에 따라 판단을 수정할 수 있어야 합니다.

처음 제출된 이력서만으로 판단을 고정하지 않고, 새로운 증거와 정정 사항이 들어오면 기존 판단을 재검토하는 방식을 발전시키고자 합니다.

5. AI가 아니라 사람이 최종 결정을 책임지도록 합니다.

AI의 분석 결과와 사람의 최종 의사결정을 분리하고, 개인정보 보호와 편향 방지, 오류 검토를 중요하게 고려합니다.

이 방식은 채용 업무뿐 아니라 다른 영역에도 응용할 수 있습니다.

예를 들어 기업의 사업제안서 검토에서는 제안 내용과 실제 증빙자료를 연결할 수 있습니다. 교육에서는 학생의 주장과 참고자료를 비교할 수 있고, 공공행정에서는 신청서의 필수 증빙 누락을 발견하도록 지원할 수 있습니다.

다만 각 분야의 실제 적용에는 별도의 법적·기술적 검토와 효과 검증이 필요합니다.

제가 추구하는 혁신은 사람을 판단하는 AI를 더 강력하게 만드는 것이 아니라, 사람이 잘못된 판단을 내릴 가능성을 줄이는 방향으로 AI의 역할을 설계하는 것입니다.



⑤ 다른 사람도 따라 할 수 있나요?

네. 전문적인 AI 모델을 직접 개발하지 않더라도 ChatGPT와 같은 생성형 AI를 활용해 동일한 문제 해결 원칙을 자신의 업무에 적용할 수 있습니다.

핵심은 대규모 웹서비스를 처음부터 개발하는 것이 아니라, 일상 업무에서 반복적으로 비교하고 판단해야 하는 자료를 찾는 것입니다.

1단계. 반복적으로 검토하는 업무를 선택합니다.

채용 서류, 사업제안서, 회의록, 구매 비교표, 교육 평가자료 등 여러 문서를 읽고 판단해야 하는 업무를 선택합니다.

2단계. 판단 기준을 사람이 먼저 정의합니다.

문서를 검토할 때 무엇을 확인해야 하는지 명확하게 작성합니다. 예를 들어 채용에서는 직무 관련 경력, 프로젝트 수행 경험, 필요한 기술의 활용 경험 등을 정리할 수 있습니다.

3단계. 생성형 AI에 근거 중심 분석을 요청합니다.

다음과 같은 요청문을 활용할 수 있습니다.

"다음 자료를 미리 정의한 평가 기준에 따라 검토해 주세요. 자료에서 직접 확인되는 사실과 추가 확인이 필요한 내용을 구분하고, 각 판단을 뒷받침하는 원문을 제시해 주세요. 자료에 없는 정보는 추정하지 말고 '확인 불가'로 표시해 주세요. 서로 충돌하는 내용이 있으면 별도로 정리하고, 사람이 추가로 확인할 질문을 작성해 주세요. 최종 적합·부적합 판단은 내리지 마세요."

4단계. AI 결과를 원문과 비교합니다.

AI가 원문에 없는 내용을 생성하지 않았는지, 중요한 정보를 누락하지 않았는지 직접 확인합니다.

특히 민감한 자료를 처리할 때는 이용 권한과 개인정보 보호 요건을 확인해야 합니다. 연습 단계에서는 가상의 자료나 적법하게 공개된 자료를 사용하는 것이 안전합니다.

5단계. 판단 과정과 개선점을 기록합니다.

어떤 정보가 확인되었는지, 무엇을 추가로 질문해야 하는지, AI가 어떤 실수를 했는지, 사람이 무엇을 수정했는지 기록합니다.

이를 반복하면서 자주 발생하는 오류를 줄이고, 업무에 맞는 질문과 검토 기준을 개선할 수 있습니다.

더 발전시키고 싶은 사람은 Cursor와 웹 개발 기술을 활용해 이 과정을 하나의 서비스로 구현할 수도 있습니다.

중요한 것은 특정 AI 도구의 사용법을 그대로 복제하는 것이 아닙니다. 자신의 업무에서 실제로 반복되는 문제를 발견하고, AI의 결과를 검증 가능한 형태로 바꾸는 것입니다.

저는 Decision Mirror를 개발하면서 AI 활용의 목적에 대해 다시 생각하게 되었습니다.

AI가 아무리 빠르고 정교한 답변을 생성하더라도 그 답변의 근거가 불분명하다면 중요한 결정을 그대로 맡기기 어렵습니다.

반대로 AI가 무엇을 알고 무엇을 모르는지 구분하고, 사람이 추가로 확인해야 할 질문을 찾아준다면 업무의 질을 개선할 가능성이 있습니다.

저에게 AI 활용은 인간의 판단을 없애는 자동화가 아니라, 인간이 더 나은 판단을 내릴 수 있도록 정보와 근거를 정리하는 과정입니다.

이것이 제가 Decision Mirror를 직접 기획하고 개발하면서 얻은 가장 중요한 경험이자, 다른 사람들과 공유하고 싶은 AI 활용 방법입니다.