목록으로
생활 속 AI 활용
라벨 사진만 올리면 AI가 영양성분을 비교해 주는 장보기 스킬 '건강라벨픽'
식품 라벨 사진만으로 여러 제품의 영양성분을 동일한 기준으로 비교하고, 개인의 선택 목적에 맞는 제품을 고를 수 있도록 돕는 AI 장보기 도우미입니다.
🤖 활용 AI 도구
Claude, ChatGPT, Gemini
블로그 링크 -
https://blog.naver.com/bobhanki-/224459139114
① 어떤 상황에서 AI를 활용했나요?
장을 보다가 어묵 다섯 개 중 어느 제품을 선택해야 할지 고민했습니다. 제품마다 영양정보의 기준량이 100g당, 50g당, 30g당으로 제각각이었고, 나트륨이 적으면 포화지방이 많은 식으로 장단점도 달랐습니다.
AI에게 사진을 올리고 "뭐가 제일 건강해?"라고 물으면 질문할 때마다 추천 제품이 달라지거나 "목적에 따라 다르다"며 결론을 미루기도 했습니다.
마침 AI 디지털배움터에서 기초 교육을 받으며 AI 활용 방법을 배웠고, 배운 내용을 실제 장보기에 적용해 보기로 했습니다. 단순히 제품을 추천받는 것이 아니라, 제품마다 다른 영양정보를 같은 기준으로 비교하는 도구를 직접 만들기로 했습니다.
② 어떤 AI를 어떻게 활용했나요?
AI가 일관된 기준으로 비교하도록 지침 파일(스킬) '건강라벨픽'을 만들었습니다.
제품 라벨 사진을 올리면 모든 제품의 영양정보를 100g당으로 환산하고, 나트륨·당류·포화지방·열량·단백질 다섯 가지 항목을 비교합니다. 모든 항목에서 앞서는 제품이 있을 때만 하나를 추천하고, 그렇지 않으면 "나트륨을 줄이려면 D, 포화지방을 줄이려면 E·H"처럼 선택 목적에 따라 결과를 제시합니다.
제품별 주의사항은 비교표와 별도로 표시하고, 차이가 매우 작으면 우열을 가리지 않고 "비슷하다"고 안내하도록 설계했습니다.
실제 실행 플랫폼은 접근성을 우선해 Gemini 3 자동 모드(무료)를 선택했습니다. 구글 계정만으로 쉽게 접근할 수 있어 별도의 서비스 가입이나 유료 구독 없이도 시작하기 좋다고 판단했습니다. 핵심 규칙은 여러 AI에서 두루 쓸 수 있도록 Markdown(MD) 파일 하나에 담았습니다. MD는 서식 없는 글 파일이라 어떤 AI든 바로 읽을 수 있고, 같은 내용을 PDF나 한글 파일로 넣을 때보다 AI가 읽어야 할 분량(토큰)이 개인 경험상 적었습니다. 긴 지침을 매번 붙여 넣지 않고 파일 하나로 다시 쓰니 대화도 짧아졌습니다. 파일은 Claude에서 쓰는 스킬 형식(SKILL.md)을 따랐고, 같은 파일을 Gemini 스킬에 그대로 올려 실행했습니다.
설계와 개선에는 Claude와 ChatGPT도 함께 활용했습니다. Claude는 기준 설계와 문서 작성, ChatGPT는 교차 검토와 개선에 활용했으며, Gemini에서는 스킬을 실행하고 실제 사용성을 테스트했습니다.
③ 활용 결과 어떤 변화가 있었나요?
과자·음료·어묵·소시지·돈가스·만두·두부 등 7개 식품군의 실제 제품 라벨을 이용해 반복 테스트했습니다.
기존에는 질문할 때마다 추천이 달라지고 제품별 비교 근거도 명확하지 않았지만, 건강라벨픽을 적용한 뒤에는 기준량을 통일한 비교표와 제품별 장단점을 함께 확인할 수 있게 되었습니다. 무엇을 줄이고 싶은지에 따라 선택할 수 있다는 점도 달라졌습니다.
처음에는 HSR(Health Star Rating), Nutri-Score, 수학적 모델링 등을 적용해 보다 정교한 평가 체계를 만들려고 했습니다. 하지만 테스트 과정에서 Gemini가 해당 기준을 실제로 확인하거나 계산하지 않고 결과를 출력하는 문제가 발견됐습니다. 복잡한 평가 체계를 무리하게 적용하기보다, 실제로 작동하고 검증할 수 있는 가장 간단한 비교 방식부터 스킬로 구현하기로 방향을 바꿨습니다. 또 국내 라벨에는 계산에 필요한 식이섬유·과일채소 비율이 대부분 없었습니다.
테스트 과정에서는 같은 스킬도 실행할 때마다 결과가 달라졌고, 30g당과 100g당 영양정보가 함께 표시된 라벨을 잘못 읽는 경우도 있었습니다. 이를 개선하기 위해 결론과 함께 비교표를 반드시 출력하도록 하고, 탄수화물·단백질·지방으로 열량을 다시 계산해 표시값과 10% 넘게 다르면 다시 읽도록 했으며, 최종 숫자는 원본 라벨과 대조하도록 안내했습니다.
소시지 8종은 제가 라벨을 직접 읽어 정답표를 만들고 AI 결과와 대조해 오류를 확인했습니다.
④ 나만의 방식 또는 개선 포인트는 무엇인가요?
세 가지 방법으로 만들고 개선했습니다.
1. 직접 테스트 — 실제 사용하면서 불편한 점을 제거했습니다.
직접 장을 보며 사용하고 불편했던 부분을 하나씩 개선했습니다.
시작 전 가족 정보 질문이 길었음 → 사진만 올리면 바로 비교하도록 변경
원재료·알레르기 문구를 자주 잘못 읽음 → 영양정보 사진만 사용하는 방식으로 범위 제한
매번 지침을 붙여 넣어야 했음 → 스킬 파일로 등록
답변이 길어 읽기 어려웠음 → 결론 한 줄과 비교표 중심으로 변경
'4번 제품'이 어느 사진인지 헷갈렸음 → 제품명으로 구분
백분율과 순위만으로 이해하기 어려웠음 → 실제 g·mg 수치 표시
억지로 1위를 정했음 → 선택 목적별로 제품 안내
별도 비교 앱이 필요했음 → 기존에 사용하는 AI에서 실행하도록 개선
불필요한 설명과 중복 규칙을 정리하면서 지침 분량도 약 40% 줄였습니다.
2. 교차 검증 — 여러 회사의 AI 모델을 목적에 따라 활용했습니다.
기본 테스트는 무료로 접근할 수 있는 Gemini 3 자동 모드를 중심으로 진행했습니다. 누구나 쉽게 접근할 수 있는 환경에서 실제로 스킬이 작동하는지 확인하는 것이 목적이었습니다.
테스트 중 오류가 발견되면 Claude와 ChatGPT의 여러 모델을 활용해 원인을 검토하고, 오류마다 원인이 된 문장 하나만 원문과 수정본을 나란히 놓고 고쳤습니다. 서로 다른 회사의 모델에 같은 결과를 검토하게 하고, 각 모델의 답변을 비교하면서 한 모델이 놓친 문제를 다른 모델로 확인했습니다.
이 과정에서 단백질 함량이 더 적은 제품을 우수하다고 평가한 오류도 발견했습니다. 모델의 검토 결과를 그대로 받아들이지 않고 최종적으로 제가 원본 라벨과 직접 대조했습니다.
3. 버전 관리 — 문제가 생기면 이전 버전으로 되돌렸습니다.
개발자가 Git으로 코드를 관리하듯 지침 파일에 v0.7, v0.8, v0.9처럼 버전을 붙여 저장했습니다. 기능을 지나치게 추가한 버전에서 오류가 늘어나자 이전 버전으로 되돌렸습니다. 별도의 개발 도구 없이 파일 이름만으로 변경 이력을 관리한 것입니다.
⑤ 다른 사람도 따라 할 수 있나요?
네. 별도의 서버나 앱 개발 없이 스킬 MD 파일 하나로 시작할 수 있습니다. Gemini에서 시작하더라도 핵심 규칙이 MD 파일에 담겨 있어 ChatGPT나 Claude 등 다른 LLM에서도 활용할 수 있습니다.
스킬은 쓰면서 계속 고칠 수 있습니다. 기본은 사진만 올리면 바로 비교하지만, Gemini에 "살 빼는 중이니 열량을 먼저 보여 주게 이 스킬을 고쳐 줘"처럼 말하면 스킬이 그 방식으로 바뀌고 다음부터 계속 그렇게 답합니다. 가족 조건이나 체중 감량 같은 개인 조건을 넣어 수십 번 고쳐 보며 확인했습니다. MD 파일을 직접 고쳐 비교 기준을 바꿀 수도 있어, 같은 스킬도 쓰는 사람에 맞춰 달라집니다.
저도 AI 디지털배움터에서 기초를 배우고, 경기도서관 AI 스튜디오에서 여러 AI 모델을 써 보며 만들었습니다. 유료 구독이나 프로그래밍 지식 없이도 충분히 가능했습니다. 배운 것을 건강라벨픽을 만드는 데 써 보며, AI에게 답을 묻는 데서 나아가 AI가 일하는 방식을 직접 정하고 고쳐 가는 법을 익혔습니다. 만든 순서는 다음과 같습니다.
1. 문제 정하기 — "뭐가 건강해?"라고 물으면 답이 매번 달라지는 문제 확인 (Gemini 3 자동 모드)
2. 규칙 쓰기 — 비교 기준을 MD 파일로 정리 (Claude)
3. 실행 — 실제 라벨 사진으로 반복 테스트 (Gemini 3 자동 모드)
4. 틀린 곳 찾기 — 직접 만든 정답표와 AI 결과 대조
5. 한 문장씩 고치기 — 원인이 된 문장만 원문과 나란히 놓고 수정 (Claude·ChatGPT 교차 검토)
6. 버전 저장 — v0.7, v0.8, v0.9로 저장하고 나빠지면 되돌리기
건강라벨픽 하나로 시작했지만, 매번 같은 기준이 필요한 다른 일에도 같은 순서로 나만의 스킬을 만들 수 있습니다.
따라 하실 때 꼭 알아 두실 점이 있습니다. 이 도구는 제품 간 영양성분의 상대적 비교를 돕는 것으로 의료적 진단이나 건강 상담을 제공하지 않습니다. 알레르기는 반드시 원재료명과 알레르기 유발물질 표시를 직접 확인해야 합니다. 실험에는 실제 가족 정보를 입력하지 않았으며, 스킬도 이름이나 병명을 요구하지 않습니다.
누구나 같은 기준으로 다시 만들거나 고칠 수 있도록 근거를 밝혀 둡니다. 비교 기준의 근거는 식약처 「식품등의 표시기준」과 식품안전나라의 영양표시 안내 등 공식 자료를 활용했습니다. 열량 환산계수와 1일 영양성분 기준치, 표시 허용오차 등은 공식 기준을 따르고, 제품 간 차이가 비슷한지를 판단하는 비교 폭 등은 자체적으로 정한 규칙입니다.
https://blog.naver.com/bobhanki-/224459139114
① 어떤 상황에서 AI를 활용했나요?
장을 보다가 어묵 다섯 개 중 어느 제품을 선택해야 할지 고민했습니다. 제품마다 영양정보의 기준량이 100g당, 50g당, 30g당으로 제각각이었고, 나트륨이 적으면 포화지방이 많은 식으로 장단점도 달랐습니다.
AI에게 사진을 올리고 "뭐가 제일 건강해?"라고 물으면 질문할 때마다 추천 제품이 달라지거나 "목적에 따라 다르다"며 결론을 미루기도 했습니다.
마침 AI 디지털배움터에서 기초 교육을 받으며 AI 활용 방법을 배웠고, 배운 내용을 실제 장보기에 적용해 보기로 했습니다. 단순히 제품을 추천받는 것이 아니라, 제품마다 다른 영양정보를 같은 기준으로 비교하는 도구를 직접 만들기로 했습니다.
② 어떤 AI를 어떻게 활용했나요?
AI가 일관된 기준으로 비교하도록 지침 파일(스킬) '건강라벨픽'을 만들었습니다.
제품 라벨 사진을 올리면 모든 제품의 영양정보를 100g당으로 환산하고, 나트륨·당류·포화지방·열량·단백질 다섯 가지 항목을 비교합니다. 모든 항목에서 앞서는 제품이 있을 때만 하나를 추천하고, 그렇지 않으면 "나트륨을 줄이려면 D, 포화지방을 줄이려면 E·H"처럼 선택 목적에 따라 결과를 제시합니다.
제품별 주의사항은 비교표와 별도로 표시하고, 차이가 매우 작으면 우열을 가리지 않고 "비슷하다"고 안내하도록 설계했습니다.
실제 실행 플랫폼은 접근성을 우선해 Gemini 3 자동 모드(무료)를 선택했습니다. 구글 계정만으로 쉽게 접근할 수 있어 별도의 서비스 가입이나 유료 구독 없이도 시작하기 좋다고 판단했습니다. 핵심 규칙은 여러 AI에서 두루 쓸 수 있도록 Markdown(MD) 파일 하나에 담았습니다. MD는 서식 없는 글 파일이라 어떤 AI든 바로 읽을 수 있고, 같은 내용을 PDF나 한글 파일로 넣을 때보다 AI가 읽어야 할 분량(토큰)이 개인 경험상 적었습니다. 긴 지침을 매번 붙여 넣지 않고 파일 하나로 다시 쓰니 대화도 짧아졌습니다. 파일은 Claude에서 쓰는 스킬 형식(SKILL.md)을 따랐고, 같은 파일을 Gemini 스킬에 그대로 올려 실행했습니다.
설계와 개선에는 Claude와 ChatGPT도 함께 활용했습니다. Claude는 기준 설계와 문서 작성, ChatGPT는 교차 검토와 개선에 활용했으며, Gemini에서는 스킬을 실행하고 실제 사용성을 테스트했습니다.
③ 활용 결과 어떤 변화가 있었나요?
과자·음료·어묵·소시지·돈가스·만두·두부 등 7개 식품군의 실제 제품 라벨을 이용해 반복 테스트했습니다.
기존에는 질문할 때마다 추천이 달라지고 제품별 비교 근거도 명확하지 않았지만, 건강라벨픽을 적용한 뒤에는 기준량을 통일한 비교표와 제품별 장단점을 함께 확인할 수 있게 되었습니다. 무엇을 줄이고 싶은지에 따라 선택할 수 있다는 점도 달라졌습니다.
처음에는 HSR(Health Star Rating), Nutri-Score, 수학적 모델링 등을 적용해 보다 정교한 평가 체계를 만들려고 했습니다. 하지만 테스트 과정에서 Gemini가 해당 기준을 실제로 확인하거나 계산하지 않고 결과를 출력하는 문제가 발견됐습니다. 복잡한 평가 체계를 무리하게 적용하기보다, 실제로 작동하고 검증할 수 있는 가장 간단한 비교 방식부터 스킬로 구현하기로 방향을 바꿨습니다. 또 국내 라벨에는 계산에 필요한 식이섬유·과일채소 비율이 대부분 없었습니다.
테스트 과정에서는 같은 스킬도 실행할 때마다 결과가 달라졌고, 30g당과 100g당 영양정보가 함께 표시된 라벨을 잘못 읽는 경우도 있었습니다. 이를 개선하기 위해 결론과 함께 비교표를 반드시 출력하도록 하고, 탄수화물·단백질·지방으로 열량을 다시 계산해 표시값과 10% 넘게 다르면 다시 읽도록 했으며, 최종 숫자는 원본 라벨과 대조하도록 안내했습니다.
소시지 8종은 제가 라벨을 직접 읽어 정답표를 만들고 AI 결과와 대조해 오류를 확인했습니다.
④ 나만의 방식 또는 개선 포인트는 무엇인가요?
세 가지 방법으로 만들고 개선했습니다.
1. 직접 테스트 — 실제 사용하면서 불편한 점을 제거했습니다.
직접 장을 보며 사용하고 불편했던 부분을 하나씩 개선했습니다.
시작 전 가족 정보 질문이 길었음 → 사진만 올리면 바로 비교하도록 변경
원재료·알레르기 문구를 자주 잘못 읽음 → 영양정보 사진만 사용하는 방식으로 범위 제한
매번 지침을 붙여 넣어야 했음 → 스킬 파일로 등록
답변이 길어 읽기 어려웠음 → 결론 한 줄과 비교표 중심으로 변경
'4번 제품'이 어느 사진인지 헷갈렸음 → 제품명으로 구분
백분율과 순위만으로 이해하기 어려웠음 → 실제 g·mg 수치 표시
억지로 1위를 정했음 → 선택 목적별로 제품 안내
별도 비교 앱이 필요했음 → 기존에 사용하는 AI에서 실행하도록 개선
불필요한 설명과 중복 규칙을 정리하면서 지침 분량도 약 40% 줄였습니다.
2. 교차 검증 — 여러 회사의 AI 모델을 목적에 따라 활용했습니다.
기본 테스트는 무료로 접근할 수 있는 Gemini 3 자동 모드를 중심으로 진행했습니다. 누구나 쉽게 접근할 수 있는 환경에서 실제로 스킬이 작동하는지 확인하는 것이 목적이었습니다.
테스트 중 오류가 발견되면 Claude와 ChatGPT의 여러 모델을 활용해 원인을 검토하고, 오류마다 원인이 된 문장 하나만 원문과 수정본을 나란히 놓고 고쳤습니다. 서로 다른 회사의 모델에 같은 결과를 검토하게 하고, 각 모델의 답변을 비교하면서 한 모델이 놓친 문제를 다른 모델로 확인했습니다.
이 과정에서 단백질 함량이 더 적은 제품을 우수하다고 평가한 오류도 발견했습니다. 모델의 검토 결과를 그대로 받아들이지 않고 최종적으로 제가 원본 라벨과 직접 대조했습니다.
3. 버전 관리 — 문제가 생기면 이전 버전으로 되돌렸습니다.
개발자가 Git으로 코드를 관리하듯 지침 파일에 v0.7, v0.8, v0.9처럼 버전을 붙여 저장했습니다. 기능을 지나치게 추가한 버전에서 오류가 늘어나자 이전 버전으로 되돌렸습니다. 별도의 개발 도구 없이 파일 이름만으로 변경 이력을 관리한 것입니다.
⑤ 다른 사람도 따라 할 수 있나요?
네. 별도의 서버나 앱 개발 없이 스킬 MD 파일 하나로 시작할 수 있습니다. Gemini에서 시작하더라도 핵심 규칙이 MD 파일에 담겨 있어 ChatGPT나 Claude 등 다른 LLM에서도 활용할 수 있습니다.
스킬은 쓰면서 계속 고칠 수 있습니다. 기본은 사진만 올리면 바로 비교하지만, Gemini에 "살 빼는 중이니 열량을 먼저 보여 주게 이 스킬을 고쳐 줘"처럼 말하면 스킬이 그 방식으로 바뀌고 다음부터 계속 그렇게 답합니다. 가족 조건이나 체중 감량 같은 개인 조건을 넣어 수십 번 고쳐 보며 확인했습니다. MD 파일을 직접 고쳐 비교 기준을 바꿀 수도 있어, 같은 스킬도 쓰는 사람에 맞춰 달라집니다.
저도 AI 디지털배움터에서 기초를 배우고, 경기도서관 AI 스튜디오에서 여러 AI 모델을 써 보며 만들었습니다. 유료 구독이나 프로그래밍 지식 없이도 충분히 가능했습니다. 배운 것을 건강라벨픽을 만드는 데 써 보며, AI에게 답을 묻는 데서 나아가 AI가 일하는 방식을 직접 정하고 고쳐 가는 법을 익혔습니다. 만든 순서는 다음과 같습니다.
1. 문제 정하기 — "뭐가 건강해?"라고 물으면 답이 매번 달라지는 문제 확인 (Gemini 3 자동 모드)
2. 규칙 쓰기 — 비교 기준을 MD 파일로 정리 (Claude)
3. 실행 — 실제 라벨 사진으로 반복 테스트 (Gemini 3 자동 모드)
4. 틀린 곳 찾기 — 직접 만든 정답표와 AI 결과 대조
5. 한 문장씩 고치기 — 원인이 된 문장만 원문과 나란히 놓고 수정 (Claude·ChatGPT 교차 검토)
6. 버전 저장 — v0.7, v0.8, v0.9로 저장하고 나빠지면 되돌리기
건강라벨픽 하나로 시작했지만, 매번 같은 기준이 필요한 다른 일에도 같은 순서로 나만의 스킬을 만들 수 있습니다.
따라 하실 때 꼭 알아 두실 점이 있습니다. 이 도구는 제품 간 영양성분의 상대적 비교를 돕는 것으로 의료적 진단이나 건강 상담을 제공하지 않습니다. 알레르기는 반드시 원재료명과 알레르기 유발물질 표시를 직접 확인해야 합니다. 실험에는 실제 가족 정보를 입력하지 않았으며, 스킬도 이름이나 병명을 요구하지 않습니다.
누구나 같은 기준으로 다시 만들거나 고칠 수 있도록 근거를 밝혀 둡니다. 비교 기준의 근거는 식약처 「식품등의 표시기준」과 식품안전나라의 영양표시 안내 등 공식 자료를 활용했습니다. 열량 환산계수와 1일 영양성분 기준치, 표시 허용오차 등은 공식 기준을 따르고, 제품 간 차이가 비슷한지를 판단하는 비교 폭 등은 자체적으로 정한 규칙입니다.
