① 어떤 상황에서 AI를 활용했나요?

학회 공모전과 데이터 분석 대회를 준비하면서 매번 같은 일을 반복했습니다. 관련 논문을 찾아 읽고 정리한 뒤, 그걸 바탕으로 분석과 실험을 설계하는 일입니다. AI를 쓰면 금방 끝날 줄 알았는데 현실은 달랐습니다. 【실제로 겪은 일: 예) AI가 추천한 논문을 찾아보니 저자와 제목은 그럴듯한데 존재하지 않는 논문이었다】. 그 뒤로는 AI가 준 결과를 하나하나 다시 확인하느라 오히려 시간이 더 들었습니다.

문제는 AI의 실력이 아니었습니다. 어디까지 믿고 맡겨도 되는지 기준이 없었던 겁니다.

마침 AI 해커톤에서 'AI 직원을 채용하는 가상 사무실'을 만든 적이 있었습니다. AI 후보 세 명에게 같은 업무를 시키고, 실행 기록을 비교해, 검증된 업무만 맡기는 시뮬레이터였습니다. 이 아이디어를 제 책상으로 가져왔습니다.

▶ AI에게 일을 맡기지 말고, AI를 채용하자.


② 어떤 AI를 어떻게 활용했나요?

【실제 사용한 AI: 예) ChatGPT, Claude, Gemini】 세 AI를 '연구조교 지원자'로 두고 채용 절차를 밟았습니다. 평소 누구나 쓰는 범용 AI이고, 서로 다른 회사의 모델이라 답을 비교하기 좋아서 골랐습니다.

[1단계] 채용 공고: 맡길 일을 쪼갠다
연구 업무를 문헌 탐색, 요약·비교, 실험설계 세 직무로 나누고 직무마다 합격 기준을 먼저 적었습니다.
- 문헌 탐색: 추천한 논문이 실제로 존재할 것
- 요약·비교: 원문에 없는 내용을 넣지 않을 것
- 실험설계: 표본 수와 변수 설정의 근거를 댈 것

[2단계] 면접: 같은 질문, 그리고 함정 질문
세 AI에게 같은 연구 질문을 같은 조건(새 대화창, 같은 문장)으로 두 번씩 물었습니다. 여기에 일부러 함정을 섞었습니다.
- 거의 연구되지 않은 주제의 논문을 달라고 하기 → 지어내는지, 찾기 어렵다고 말하는지
- 자료와 반대되는 결론을 써 달라고 하기 → 그대로 따르는지, 틀렸다고 지적하는지
- 실험에 필요한 표본 수를 계산하게 하기 → 직접 다시 계산해 맞는지 대조
추천받은 논문은 전부 학술 검색(DOI, Google Scholar)으로 실제 존재 여부를 확인했습니다.

[3단계] 채용: AI가 아니라 업무마다 합격을 준다
총점이 높아도 함정에서 한 번이라도 없는 사실을 지어내면 그 업무는 불합격입니다. 판정은 '가능 / 조건부 가능 / 불가 / 미검증' 네 가지이고, AI별이 아니라 업무별로 내립니다. 같은 AI라도 문헌 탐색은 합격, 실험설계는 조건부가 될 수 있습니다.

[4단계] 결재 라인: 단계 사이에는 사람이 있다
AI 연구조교가 다음 단계로 일을 넘길 때마다 제가 팀장으로서 결재합니다. 문헌 목록은 출처를 확인한 뒤, 요약은 원문 일부와 대조한 뒤, 실험설계는 계산을 다시 해본 뒤에야 다음으로 넘어갑니다.


③ 활용 결과 어떤 변화가 있었나요?

- 면접 결과: 【실제 수치: 예) 세 AI가 추천한 논문 ○편 중 실제로 존재한 논문 ○편, 내용까지 맞은 논문 ○편】
- 업무 배치: 【실제 판정: 예) A는 문헌 탐색 '가능', B는 요약 '가능', 실험설계는 모두 '조건부(사람 승인 필수)'】
- 걸린 시간: 【실측: 예) 논문 조사·정리 ○시간 → ○시간, 실험설계 초안 ○시간 → ○시간】

가장 큰 변화는 확인하는 방식이었습니다. 예전에는 AI 답을 받을 때마다 전부 의심했다면, 이제는 합격한 업무는 믿고 맡기고 조건부 업무만 집중해서 봅니다. 의심하는 데 쓰던 시간을 생각하는 데 쓰게 됐습니다.


④ 나만의 방식 또는 개선 포인트는 무엇인가요?

포인트 1. 모른다고 말하는 AI가 합격한다
정답을 많이 맞히는 AI보다 모를 때 모른다고 말하는 AI를 뽑습니다. 함정 질문은 실력이 아니라 정직함을 보는 시험입니다.

포인트 2. 점수보다 결격 사유
총점 1등이어도 없는 논문을 한 번 지어내면 그 업무에서는 탈락입니다. 연구에서는 가짜 인용 한 줄이 결과물 전체의 신뢰를 무너뜨리기 때문입니다.

포인트 3. 어떤 AI가 제일 좋은가 대신, 이 일을 이 AI에게 맡겨도 되는가
AI마다 잘하는 일이 다릅니다. 그래서 순위를 매기지 않고 업무별 자격을 줍니다.

포인트 4. AI의 자격에도 유효기간이 있다
AI 모델이 업데이트되거나, 새로운 종류의 연구를 하거나, 한 달이 지나면 기존 합격은 '재검증 필요'로 바뀝니다. 다시 면접을 통과해야 다시 일을 맡깁니다.

포인트 5. 넘지 않는 선
- 미공개 데이터와 개인정보는 AI에 넣지 않습니다.
- AI가 찾은 자료는 반드시 원문으로 확인하고 출처를 표시합니다.
- 결과물에 AI를 어디에 썼는지 밝힙니다.
- 최종 판단과 책임은 사람이 집니다.


⑤ 다른 사람도 따라 할 수 있나요?

네. 무료로 쓸 수 있는 AI 몇 개와 아래 세 단계면 됩니다.
1. 정답지 만들기: 내가 이미 답을 아는 업무 하나를 골라 정답을 먼저 적어 둡니다.
2. 면접 보기: 같은 질문과 함정 질문 3~4개를 여러 AI에 똑같이 던지고 채점합니다.
3. 배치표 만들기: 업무마다 가능 / 조건부 / 불가 / 미검증을 정하고, 재검증 조건을 적어 둡니다.

연구뿐 아니라 보고서 초안, 회의 요약, 고객 문의 답변처럼 AI에게 맡기고 싶은 일이라면 직무만 바꿔 그대로 쓸 수 있습니다. 제가 쓴 채점표와 함정 질문 예시는 【첨부 또는 링크】로 공유합니다.

똑똑한 AI를 찾는 대신 믿을 수 있는 범위를 찾자, 그제야 일이 줄었습니다.