목록으로
교육·학습을 위한 AI 활용
리얼 공부 모니터링
AI와 VLM 융합 실시간 학습 모니터링: 공부시간·졸음·자리비움 종합 인식
🤖 활용 AI 도구
Yolo, ollama, 라즈베리파이5
### 1. 어떤 상황에서 AI를 활용했나요?
실제로 운영 중인 관리형 스터디카페에서 학생들의 공부 시간을 보다 정확하게 기록하기 위해 Vision AI와 vLLM AI를 활용했습니다.
기존의 ‘스터디타이머’와 같은 방식은 사용자가 타이머를 켠 시간을 공부 시간으로 기록합니다. 하지만 타이머가 켜져 있어도 실제로는 자리를 비우거나 졸고 있을 수 있기 때문에, 기록된 시간과 실제 공부 시간이 다를 수 있다는 문제가 있었습니다.
그래서 단순히 타이머가 작동한 시간을 측정하는 것이 아니라, **학생이 실제로 자리에 앉아 공부하고 있는지를 AI가 판단하여 공부 시간을 기록하는 것**을 목표로 시스템을 개발했고, 현재 관리형 스터디카페에서 실제로 활용하고 있습니다.
### 2. 어떤 AI를 어떻게 활용했나요?
객체 인식을 위해 YOLO 기반 Vision AI를 사용하고, 이미지의 상황을 한 번 더 판단하기 위해 Ollama에서 실행되는 Moondream VLM을 활용했습니다.
YOLO는 카메라 화면을 빠르게 분석하여 사람의 존재 여부와 움직임을 확인하는 역할을 담당합니다. 이후 단순 객체 인식만으로 판단하기 어려운 상황이 발생하면 Moondream에 해당 화면을 전달하여 상태를 다시 확인하도록 구성했습니다.
Moondream의 답변은 복잡한 문장이 아니라 `sleep`, `away`, `person` 중 하나만 반환하도록 프롬프트를 단순화했습니다. 이를 통해 AI의 결과를 프로그램에서 바로 처리할 수 있도록 했습니다.
### 3. 활용 결과 어떤 변화가 있었나요?
기존에는 타이머가 켜져 있는 시간이 곧 공부 시간으로 기록되기 때문에 실제 착석 여부와 관계없이 시간이 누적될 수 있었습니다.
AI를 활용하면서 단순히 ‘타이머가 얼마나 오래 켜져 있었는가’가 아니라, **실제로 사람이 자리에 있는지와 학습 상태가 어떠한지를 반영한 공부 시간**을 기록할 수 있게 되었습니다.
이러한 기록은 학생이 자신의 실제 공부 시간을 확인하고 목표 시간을 설정하는 데 활용할 수 있습니다. 힘들게 공부한 시간이 단순히 흘러간 시간이 아니라 숫자로 남는 기록이 되면서, 목표 시간을 달성했을 때 성취감과 만족감을 느낄 수 있도록 하는 데에도 도움이 되었습니다.
특히 이 시스템은 단순한 실험이나 시연으로 끝난 것이 아니라, 현재 실제 관리형 스터디카페의 학습 관리 과정에서 활용하고 있다는 점에서 의미가 있습니다.
### 4. 나만의 방식 또는 개선 포인트는 무엇인가요?
처음부터 하나의 AI가 모든 상황을 판단하도록 하지 않고, **각 AI가 잘하는 역할을 나누어 단계적으로 판단하도록 구성한 것**이 가장 큰 특징입니다.
먼저 카메라를 웹캠처럼 사용할 수 있도록 구성하고, 동일한 영상 화면을 여러 AI와 기능에서 동시에 활용할 수 있도록 모듈화했습니다.
1차 판단은 YOLO 기반 Vision AI가 담당합니다. YOLO를 통해 사람을 인식한 뒤에는 계속해서 움직임을 확인합니다. 사람이 있는 상태에서 일정 시간 동안 움직임이 없으면 바로 ‘졸고 있다’고 판단하지 않고 카운트다운을 시작합니다.
카운트다운 이후에도 움직임이 없다면 해당 영상 화면을 Ollama의 Moondream으로 보내 현재 상태가 `sleep`, `away`, `person` 중 무엇인지 다시 판단하도록 했습니다.
반대로 YOLO가 사람을 제대로 인식하지 못해 `away`로 판단되는 경우에도 바로 자리 비움으로 확정하지 않았습니다. 실제로 사람이 없는 상황인지 VLM AI에 다시 한 번 판단을 요청하여 최종 결과를 결정하도록 했습니다.
또 하나 중요하게 생각한 부분은 **AI를 무조건 많이 사용하는 것이 아니라 필요한 순간에만 사용하는 것**이었습니다.
Moondream에 판단을 요청하고 있는 중이라도 카메라에서 사람의 움직임이 다시 감지되면 해당 요청을 즉시 취소하도록 만들었습니다. 이미 사람이 움직이고 있다면 추가적인 AI 판단이 필요하지 않기 때문입니다.
이를 통해 불필요한 AI 연산을 줄이고 시스템 자원과 에너지의 낭비도 줄일 수 있도록 했습니다.
결과적으로 YOLO는 빠른 실시간 감지를 담당하고, 판단이 애매한 경우에만 VLM이 다시 확인하는 구조를 만들었습니다. 하나의 AI 결과를 그대로 믿기보다 서로 다른 AI의 장점을 이용해 한 번 더 확인하도록 한 것이 이 시스템의 핵심적인 개선점입니다.
### 5. 다른 사람도 따라 할 수 있나요?
기본적인 AI 활용 방법과 프로그래밍을 조금 익힌다면 전체적인 구조는 누구나 따라 해볼 수 있다고 생각합니다.
물론 Vision AI의 인식 정확도를 높이거나 실제 환경에 맞게 세부 조건을 조정하는 과정에서는 개인의 경험이나 기술 수준에 따라 차이가 있을 수 있습니다.
하지만 중요한 것은 특정 AI 모델 자체보다 **“빠른 AI가 먼저 판단하고, 애매한 경우에만 다른 AI에게 다시 확인을 요청한다”는 활용 방식**입니다.
YOLO와 VLM을 각각 따로 사용하는 것에서 끝나는 것이 아니라, 각각의 장점을 연결하여 하나의 판단 시스템으로 만드는 방식은 스터디카페뿐 아니라 사람이 있는지 확인해야 하는 여러 환경에서도 비슷하게 활용할 수 있다고 생각합니다.
이번 경험을 통해 AI는 단순히 질문에 답하거나 이미지를 분석하는 도구가 아니라, 실제 현장에서 발생하는 문제를 해결하기 위해 여러 AI를 역할에 맞게 연결하고 활용할 수 있는 도구라는 것을 알게 되었습니다.
실제로 운영 중인 관리형 스터디카페에서 학생들의 공부 시간을 보다 정확하게 기록하기 위해 Vision AI와 vLLM AI를 활용했습니다.
기존의 ‘스터디타이머’와 같은 방식은 사용자가 타이머를 켠 시간을 공부 시간으로 기록합니다. 하지만 타이머가 켜져 있어도 실제로는 자리를 비우거나 졸고 있을 수 있기 때문에, 기록된 시간과 실제 공부 시간이 다를 수 있다는 문제가 있었습니다.
그래서 단순히 타이머가 작동한 시간을 측정하는 것이 아니라, **학생이 실제로 자리에 앉아 공부하고 있는지를 AI가 판단하여 공부 시간을 기록하는 것**을 목표로 시스템을 개발했고, 현재 관리형 스터디카페에서 실제로 활용하고 있습니다.
### 2. 어떤 AI를 어떻게 활용했나요?
객체 인식을 위해 YOLO 기반 Vision AI를 사용하고, 이미지의 상황을 한 번 더 판단하기 위해 Ollama에서 실행되는 Moondream VLM을 활용했습니다.
YOLO는 카메라 화면을 빠르게 분석하여 사람의 존재 여부와 움직임을 확인하는 역할을 담당합니다. 이후 단순 객체 인식만으로 판단하기 어려운 상황이 발생하면 Moondream에 해당 화면을 전달하여 상태를 다시 확인하도록 구성했습니다.
Moondream의 답변은 복잡한 문장이 아니라 `sleep`, `away`, `person` 중 하나만 반환하도록 프롬프트를 단순화했습니다. 이를 통해 AI의 결과를 프로그램에서 바로 처리할 수 있도록 했습니다.
### 3. 활용 결과 어떤 변화가 있었나요?
기존에는 타이머가 켜져 있는 시간이 곧 공부 시간으로 기록되기 때문에 실제 착석 여부와 관계없이 시간이 누적될 수 있었습니다.
AI를 활용하면서 단순히 ‘타이머가 얼마나 오래 켜져 있었는가’가 아니라, **실제로 사람이 자리에 있는지와 학습 상태가 어떠한지를 반영한 공부 시간**을 기록할 수 있게 되었습니다.
이러한 기록은 학생이 자신의 실제 공부 시간을 확인하고 목표 시간을 설정하는 데 활용할 수 있습니다. 힘들게 공부한 시간이 단순히 흘러간 시간이 아니라 숫자로 남는 기록이 되면서, 목표 시간을 달성했을 때 성취감과 만족감을 느낄 수 있도록 하는 데에도 도움이 되었습니다.
특히 이 시스템은 단순한 실험이나 시연으로 끝난 것이 아니라, 현재 실제 관리형 스터디카페의 학습 관리 과정에서 활용하고 있다는 점에서 의미가 있습니다.
### 4. 나만의 방식 또는 개선 포인트는 무엇인가요?
처음부터 하나의 AI가 모든 상황을 판단하도록 하지 않고, **각 AI가 잘하는 역할을 나누어 단계적으로 판단하도록 구성한 것**이 가장 큰 특징입니다.
먼저 카메라를 웹캠처럼 사용할 수 있도록 구성하고, 동일한 영상 화면을 여러 AI와 기능에서 동시에 활용할 수 있도록 모듈화했습니다.
1차 판단은 YOLO 기반 Vision AI가 담당합니다. YOLO를 통해 사람을 인식한 뒤에는 계속해서 움직임을 확인합니다. 사람이 있는 상태에서 일정 시간 동안 움직임이 없으면 바로 ‘졸고 있다’고 판단하지 않고 카운트다운을 시작합니다.
카운트다운 이후에도 움직임이 없다면 해당 영상 화면을 Ollama의 Moondream으로 보내 현재 상태가 `sleep`, `away`, `person` 중 무엇인지 다시 판단하도록 했습니다.
반대로 YOLO가 사람을 제대로 인식하지 못해 `away`로 판단되는 경우에도 바로 자리 비움으로 확정하지 않았습니다. 실제로 사람이 없는 상황인지 VLM AI에 다시 한 번 판단을 요청하여 최종 결과를 결정하도록 했습니다.
또 하나 중요하게 생각한 부분은 **AI를 무조건 많이 사용하는 것이 아니라 필요한 순간에만 사용하는 것**이었습니다.
Moondream에 판단을 요청하고 있는 중이라도 카메라에서 사람의 움직임이 다시 감지되면 해당 요청을 즉시 취소하도록 만들었습니다. 이미 사람이 움직이고 있다면 추가적인 AI 판단이 필요하지 않기 때문입니다.
이를 통해 불필요한 AI 연산을 줄이고 시스템 자원과 에너지의 낭비도 줄일 수 있도록 했습니다.
결과적으로 YOLO는 빠른 실시간 감지를 담당하고, 판단이 애매한 경우에만 VLM이 다시 확인하는 구조를 만들었습니다. 하나의 AI 결과를 그대로 믿기보다 서로 다른 AI의 장점을 이용해 한 번 더 확인하도록 한 것이 이 시스템의 핵심적인 개선점입니다.
### 5. 다른 사람도 따라 할 수 있나요?
기본적인 AI 활용 방법과 프로그래밍을 조금 익힌다면 전체적인 구조는 누구나 따라 해볼 수 있다고 생각합니다.
물론 Vision AI의 인식 정확도를 높이거나 실제 환경에 맞게 세부 조건을 조정하는 과정에서는 개인의 경험이나 기술 수준에 따라 차이가 있을 수 있습니다.
하지만 중요한 것은 특정 AI 모델 자체보다 **“빠른 AI가 먼저 판단하고, 애매한 경우에만 다른 AI에게 다시 확인을 요청한다”는 활용 방식**입니다.
YOLO와 VLM을 각각 따로 사용하는 것에서 끝나는 것이 아니라, 각각의 장점을 연결하여 하나의 판단 시스템으로 만드는 방식은 스터디카페뿐 아니라 사람이 있는지 확인해야 하는 여러 환경에서도 비슷하게 활용할 수 있다고 생각합니다.
이번 경험을 통해 AI는 단순히 질문에 답하거나 이미지를 분석하는 도구가 아니라, 실제 현장에서 발생하는 문제를 해결하기 위해 여러 AI를 역할에 맞게 연결하고 활용할 수 있는 도구라는 것을 알게 되었습니다.
