① 어떤 상황에서 AI를 활용했나요?

평소 좋아하는 영화, 드라마, 애니메이션 등 내가 보고 싶은 외국어 영상을 활용해 자연스럽게 외국어를 공부하고 싶다는 문제에서 AI를 활용했습니다.

기존에는 영상을 보다가 모르는 표현이나 단어가 나오면 영상을 멈추고 별도의 번역기나 사전을 찾아야 했기 때문에 학습 흐름이 끊기는 불편함이 있었습니다.

이를 해결하기 위해 영상을 시청하다가 모르는 장면에서 일시정지하면, 해당 장면의 대사를 AI가 자동으로 분석해 바로 학습할 수 있도록 하는 AI 외국어 튜터를 만들었습니다.

② 어떤 AI를 어떻게 활용했나요?

영상의 오디오를 AI가 분석하여 음성 → 텍스트 → 번역 및 학습 콘텐츠 → 음성으로 이어지는 학습 과정을 자동화했습니다.

먼저 Whisper 기반 STT를 활용해 영상 속 외국어 대사를 텍스트로 변환하고, LLM을 활용해 문맥에 맞는 자연스러운 한국어 번역과 핵심 어휘·문법을 분석하도록 했습니다.

분석된 결과는 영상 위에 학습 카드 형태로 표시하고, 모르는 단어는 개인 단어장에 저장할 수 있도록 구성했습니다.

또한 TTS를 활용해 원어민 발음을 제공하고, 대사의 발음과 자막이 실제 음성의 진행에 맞춰 표시되는 기능까지 구현했습니다.

③ 활용 결과 어떤 변화가 있었나요?

가장 큰 변화는 “공부하기 위해 영상을 보는 것”이 아니라 “보고 싶은 영상을 보면서 자연스럽게 공부하는 방식”을 만들었다는 점입니다.

별도의 교재나 학습 콘텐츠를 준비하지 않아도 기존 영상 속 대사가 즉시 외국어 학습 자료로 변환됩니다.

특히

영상 속 대사 자동 인식
문맥을 고려한 한국어 번역
핵심 어휘 및 문법 분석
원어민 발음 듣기
개인 단어장 저장
대사와 음성을 활용한 따라 말하기

등을 하나의 흐름으로 연결해 영상 시청과 외국어 학습 사이의 장벽을 낮출 수 있었습니다.

또한 실제 Android 기반 영상 재생 환경에서 동작하는 PoC까지 구현하여 아이디어에 그치지 않고 실제 사용 가능한 형태로 검증했습니다.

④ 나만의 방식 또는 개선 포인트는 무엇인가요?

가장 중요하게 생각한 것은 “AI가 만들어준 학습 콘텐츠를 사용자가 직접 찾아가는 것이 아니라, 보고 있는 영상에서 필요한 순간에 AI가 학습을 제공한다”는 점입니다.

특히 일반적인 AI 번역처럼 문장만 번역하는 것이 아니라, 영상의 제목·장르와 대화의 문맥을 함께 AI에게 제공해 작품에 등장하는 고유명사나 표현의 의미를 보다 자연스럽게 이해하도록 했습니다.

또한 TV 환경에서는 키보드나 터치스크린을 사용하기 어렵다는 점을 고려해 리모컨의 간단한 버튼 조작만으로 학습을 시작하고 단어를 저장할 수 있도록 UX를 설계했습니다.

결과적으로 복잡한 학습 과정을 최소화하고,

“보고 싶은 영상 → 일시정지 → AI 분석 → 바로 학습”

이라는 단순한 경험을 만드는 데 집중했습니다.

⑤ 다른 사람도 따라 할 수 있나요?

네. 오픈소스 AI 기술과 일반적인 개발 환경을 활용하면 유사한 형태의 서비스를 구현할 수 있습니다.

Whisper 계열 STT 모델로 영상의 음성을 텍스트로 변환하고, LLM을 이용해 번역·어휘·문법을 분석한 뒤 TTS로 발음을 생성하는 구조이기 때문에 특정 콘텐츠나 플랫폼에 종속되지 않고 다양한 영상 서비스에 적용할 수 있습니다.

또한 영화·드라마뿐만 아니라 유튜브, 온라인 강의, 애니메이션, 뉴스, 교육 콘텐츠 등 사용자가 원하는 다양한 영상으로 확장할 수 있습니다.

궁극적으로는 사용자가 별도의 교재를 찾는 것이 아니라,

“내가 보고 싶은 모든 영상이 나만의 외국어 교재가 되는 것”

을 목표로 하고 있습니다.