저는 NVIDIA Korea Agentic AI Hackathon 2026에서 Mollet 팀의 일원으로 ‘한글동행’ 제작에 참여했습니다. 한국 문화와 역사를 궁금해하는 여행자가 사진을 보여 주고 말로 질문할 수 있는 AI 안내 서비스입니다. 이 글은 팀에서 함께 만들고 시연한 경험을 정리한 사례입니다.

목표는 낯선 장소의 이름을 몰라도 질문을 시작할 수 있게 하는 것이었습니다. 카메라로 촬영하거나 사진을 올린 뒤 질문하면 AI가 장소 후보를 제안합니다. 사용자가 후보를 확인하고 문화·역사 설명을 읽거나 들을 수 있도록 구성했습니다. 이어서 주변 음식점을 지도에서 확인하고, 안내 내용을 여행 카드로 저장하는 흐름을 연결했습니다.

사진과 질문을 함께 해석하는 데 NVIDIA Nemotron을 활용했습니다. 문화 설명에는 근거와 출처를 붙이고, 자료가 부족하면 부족하다고 안내하도록 구성했습니다. 주변 음식점은 공개지도 OpenStreetMap의 정보를 조회합니다. 사진에서 추정한 장소와 사용자가 확인한 장소를 구분하며, 음식점의 현재 영업 여부와 메뉴 등은 추가 확인이 필요합니다.

저희가 집중한 개선점은 사진 질문, 음성 안내, 지도, 카드 저장이 하나의 이용 흐름으로 이어지게 하는 것이었습니다. 카메라 미리보기는 기기에서 처리하고 선택한 정지 사진만 분석에 사용합니다. NVIDIA OpenShell을 활용해 에이전트가 접근할 수 있는 파일과 네트워크 범위도 제한했습니다.

시연에서는 경복궁을 영어로, 남산서울타워를 한국어로 안내했습니다. 한국어와 영어로 묻고 들을 수 있게 구성하면서, 출처를 함께 보여 주는 방식과 근거가 부족할 때 답변을 멈추는 처리가 필요하다는 점을 배웠습니다.

공개 저장소에는 코드, 실행 방법, 구현 범위와 검증 기록을 정리했습니다. 실행에는 모델 연결과 서버 설정이 필요합니다. 같은 방식을 활용하려는 사람은 사용 권한이 있는 사진과 확인 가능한 장소 자료를 준비하고, 사진 질문부터 안내·지도·카드 저장까지 차례로 확인할 수 있습니다.

제작: Mollet 팀 / 참여: 임주영
제작 계기: NVIDIA Korea Agentic AI Hackathon 2026
팀 저장소: https://github.com/jangjunseo05/hangul-donghaeng
개인 포크: https://github.com/mmporong/hangul-donghaeng
참여·시연 기록: https://kr.linkedin.com/posts/mmporong_nvidia-agenticai-openshell-activity-7513917907039514624-aNli