① 어떤 상황에서 AI를 활용했나요?
길을 걷다 보면 화단의 꽃 이름이나 지나가는 자동차 차종이 궁금할 때가 많습니다. 그런데 이름을 모르니 검색창에 무엇을 써야 할지조차 막막했습니다. TV나 인터넷에서 본 멋진 풍경도 "여기가 어디지?" 싶지만, 사진만으로는 장소를 찾을 방법이 없었습니다.

카메라로 찍으면 검색해 주는 서비스도 있지만, 대부분 가운데 있는 물건 하나를 검색 결과로 보여주고 끝났습니다. 저는 사진 속 여러 사물 중 궁금한 것을 골라 묻고, 왜 그런지 이유까지 듣고 싶었습니다. 그래서 이름을 몰라도 사진을 올리고 궁금한 곳을 누르면 AI가 이름과 장소를 근거와 함께 알려주는 웹 앱 '동네렌즈'를 직접 만들었습니다.

② 어떤 AI를 어떻게 활용했나요?
세 가지 AI에 역할을 나눠 맡겼습니다.

- Meta SAM 3 (내 PC에서 실행): 사진 속 사물의 윤곽을 하나하나 나눕니다. 외부 AI로 보내기 전에 얼굴과 번호판을 먼저 찾아 흐리게 처리합니다.
- OpenAI GPT-6 Luna: 흐리게 처리된 사진을 보고 "나무, 자동차, 전봇대…" 같은 사물 목록을 만듭니다. 누른 사물의 정확한 이름, 판단 근거, 관련 용어를 담은 설명 카드를 만들고, 간판·표지판·건물 모양을 단서로 촬영 지역을 추리합니다.
- Claude Code (Anthropic): 앱 설계부터 코드 작성, 테스트, 시연 화면 녹화까지 개발 전 과정을 함께했습니다.

GPT는 "무엇인지"는 잘 말하지만 윤곽을 정확히 그리지 못하고, SAM 3는 윤곽은 정확하지만 이름을 모릅니다. 그래서 "무엇인지는 GPT, 어디까지인지는 SAM 3"로 두 AI를 이어 붙였습니다.

③ 활용 결과 어떤 변화가 있었나요?

실제 사진 두 장으로 써 봤습니다.

[제주 여행 때 애월에서 직접 찍은 사진]
- 약 2분 만에 자동차, 전봇대, 간판, 건물, 나무 등 사물 28개가 나뉘었습니다.
- 회색 차를 누르니 "현대 아이오닉 5"라고 높은 확신으로 알려줬습니다. 근거로 픽셀 모양 조명과 각진 지붕선을 들었고, 다른 후보(기아 EV6 2%)도 함께 보여줬습니다.
- 전봇대를 누르니 "배전용 전주"라는 정식 이름과 '완철', '애자' 같은 부품 용어를 알려줬습니다.
- 위치는 GPS 정보 없이 건물의 '제주시' 글자와 하나로마트 간판만으로 "제주특별자치도 제주시"를 맞혔습니다. 실제로 찍은 애월읍은 제주시에 속합니다.

[핀터레스트에서 보고 어디인지 궁금했던 바닷가 건널목 사진]
- 이미지 주소만 붙여 넣었는데, 약 3분 만에 전철, 차단기, 표지판, 사람 등 사물 28개가 나뉘었습니다.
- 전철을 누르니 "에노시마 전철 1000형(1151호)"이라고 알려줬습니다.
- 표지판의 藤沢(후지사와)·江ノ島(에노시마) 글자를 근거로 "일본 가나가와현"이라는 실마리를 찾았습니다. 더 좁은 지역은 "단서가 부족하다"며 단정하지 않았습니다.
- 사진 속 기관사와 승객의 얼굴은 분석 전에 자동으로 흐리게 처리됐습니다.

이제는 이름을 몰라도 사진 한 장으로 궁금증을 바로 풀 수 있고, 한 장의 사진으로 여러 사물을 차례로 물어보며 새로운 이름과 용어를 배우게 됐습니다.

④ 나만의 방식 또는 개선 포인트는 무엇인가요?
1. 검색이 아니라 '사진 읽기'
기존 카메라 검색은 주로 물건 하나를 검색 결과로 보여주는 방식입니다. 동네렌즈는 사진 속 사물을 모두 나눠 두고, 궁금한 것을 골라 누르는 방식이라 사진 한 장으로 여러 번 물어볼 수 있습니다.

2. 결과보다 '이유'를 보여줌
모든 카드에 판단 근거, 확신 정도, 다른 후보를 함께 보여줍니다. 장소도 인터넷에서 비슷한 사진을 찾는 대신 간판 글자와 표지판을 단서로 추리하고, 어떤 단서를 봤는지 사진 위에 표시합니다. 그래서 인터넷에 없는 내 여행 사진에도 쓸 수 있습니다.

3. 모르면 모른다고 답하는 AI를 직접 골랐습니다
수종을 알 수 없는 나무 그림을 여러 모델에 보여주는 시험을 했습니다. GPT-4o는 "느티나무"라고 단정했고, GPT-6 Luna는 "잎과 수피가 보이지 않아 알 수 없다"고 답했습니다. 틀린 이름을 자신 있게 알려주지 않도록 GPT-6 Luna를 골랐고, 확신이 낮으면 "~로 보여요"처럼 단정하지 않게 했습니다. 틀린 답은 '아니에요' 버튼으로 바로잡을 수 있습니다.

4. 개인정보 보호를 AI에게 부탁하지 않고 프로그램으로 강제했습니다
얼굴과 번호판은 내 PC에서 먼저 흐리게 처리하고, 흐린 사진만 외부 AI로 보냅니다. 흐리기에 실패하면 분석을 멈춥니다. 위치는 공공장소가 아니면 시군구까지만 말하고, 사람이 크게 찍힌 사진은 시도까지만 말합니다. 지도와 좌표는 어디에도 보여주지 않습니다.

5. 배움이 남도록
설명을 초등·중등·일반 수준으로 바꿔 읽을 수 있고, 관련 용어 카드와 '내 도감'에 담아 모을 수 있습니다. 누구나 쉽게 쓰도록 화면은 동화책처럼 꾸몄습니다.

6. 비용 절약
자세한 설명은 사용자가 누른 사물에만 만들고 저장해 둡니다. 그래서 사진 한 장을 분석하고 카드 하나를 여는 데 GPT 호출은 세 번이면 충분합니다.

앞으로는 사진 속 풍경을 아름다운 말로 읽어 주는 기능(TTS)을 더해, 앞이 잘 보이지 않는 분들도 눈앞의 아름다움을 느낄 수 있게 하고 싶습니다.

⑤ 다른 사람도 따라 할 수 있나요?
네. 사용한 AI는 모두 누구나 쓸 수 있는 공개 도구입니다. 사물 윤곽을 나누는 Meta SAM 3는 무료로 내려받아 그래픽카드 없는 일반 PC에서도 돌릴 수 있고, OpenAI GPT-6 Luna는 API 키만 있으면 쓸 수 있습니다. 개발은 Claude Code와 대화하며 진행해서, 코딩이 익숙하지 않아도 같은 방식으로 만들 수 있습니다.

따라 할 때 핵심은 세 가지입니다.
- 역할 나누기: 윤곽은 SAM 3, 이름과 설명은 GPT에 맡깁니다.
- 순서 지키기: 얼굴과 번호판을 먼저 흐리게 한 뒤에만 외부 AI로 보냅니다.
- 이유 묻기: AI에게 답만 받지 말고 근거와 확신 정도를 함께 받아 화면에 보여줍니다.

사용 과정과 결과는 블로그에 움직이는 화면(GIF)과 함께 정리했습니다.
- 블로그: https://blog.naver.com/tt8977/224446492414