① 어떤 상황에서 AI를 활용했나요? 저는 이공계 특성화 대학에서 14년째 교양 음악 수업을 담당하고 있습니다. 입시 교육에 치여 살던 이공계 학생들의 음악 교육을 담당하며, 음치부터 대학 오케스트라 악장까지 수준이 천차만별인 수강생들을 한 학급에서 가르쳐야 하는 어려움에 직면해왔습니다.
외국어 교육에서 문법, 듣기, 말하기, 글쓰기를 배우듯 음악 교육도 이론, 감상, 연주, 작곡이 함께 맞물려 돌아가야 합니다. 하지만 악보를 전혀 못 읽는 학생들에게 화성학은 오선지의 '줄과 칸'의 수나 세는 산수 문제나 다름없었습니다. 연주나 창작 교육은 엄두도 못 내고, 음악사 위주의 이론과 감상 수업에 머무를 수밖에 없었습니다.
AI를 활용하면 쉽게 코스웨어를 개발할 수 있으리라는 희망을 가지고, 2025년 에듀테크 소프트랩 고등교육 실증 사업에 참여하여 에듀테크 기업과 멀티모달 코스웨어 개발을 시도했습니다. 그런데 음악 도메인 지식이 없는 외주 개발사와의 협업 구조에서는 현장 강의실에 꼭 맞는 디테일을 구현하기 어려웠을 뿐만 아니라, 수업 현장의 즉각적인 피드백과 수정 반영이 불가능하다는 구조적 한계가 있었습니다.
결국 "외주 포항-서울을 오가며 개발사와 소통하느라 시간을 허비하는 대신, 수업 현장의 필요를 가장 잘 아는 내가 쓸 시스템은 내가 직접 개발한다"라는 결단으로, AI를 파트너 삼아 2025년 10월부터 개발을 시작했습니다. 특히 2026년 여름 방학에 Claude 토큰 한계까지 매일 집중적으로 바이브 코딩에 몰입하며 제 손으로 코스웨어를 직접 구축해 나갔습니다.

② 어떤 AI를 어떻게 활용했나요?
첫째, 기존 해외 앱의 한계를 분석해 멀티모달 인터랙션 구조를 착안했습니다. 영국과 미국 등의 대표 앱들은 청음과 화성법이 따로 구분되어 있어 비전공자가 직관적으로 이해하기 어려웠고 가격도 비쌌습니다. 이를 극복하고자 google chrome music lab의 오픈소스 웹 오디오 기술 구조를 분석해 시청각이 즉각 연동되는 반응형 인터페이스를 설계하고, 왕초보도 포기하지 않고 음이름 배우기부터 단계별로 도전할 수 있는 라운드·레벨 학습 플로우를 기획했습니다.
둘째, Claude Code와 Gemini(Antigravity 연동)로 튜터 에이전트를 자체 개발하고 실시간 디버깅했습니다. 전체 프로젝트 구조를 제어하고 대규모 코드를 생성·수정하는 주력 도구로 Claude Code를 활용했으며, Gemini와 Antigravity를 연동하여 전담 개발 파트너 체계를 구축했습니다. 이를 통해 브라우저에 오선보를 렌더링하는 VexFlow, 실시간 화음과 음정을 합성·제어하는 Tone.js 연동 코드, 음악 이론 계산 알고리즘을 직접 구축했습니다.
셋째, 데이터 관리 및 분석 체계를 완성했습니다. 포스텍 뮤지컬 동아리 학생들을 지도하던 중, 로그인과 인증 시스템의 개발에 대한 고민을 털어놓자, 산업경영학과 조해인 학생이 "교수님, 제가 도와드릴까요?"라며 선뜻 손을 내밀어 주었습니다. 덕분에 학습 진도와 정·오답 데이터를 체계적으로 관리하고 분석할 수 있는 백엔드 인프라까지 성공적으로 구축할 수 있었습니다.

③ 활용 결과 어떤 변화가 있었나요?
첫째, 1:1 레슨 수준의 훈련과 데이터 기반 맞춤형 학습이 실현되었습니다. 피아노를 칠 줄 모르는 비전공 학생들도 개인 기기에서 소리를 들어보고 건반이 자동으로 연주되는 것을 보며 문제를 풀 수 있게 되었습니다. 구축된 데이터베이스로 오답 데이터를 수집해 공통 취약 구간을 파악하고 난이도를 재배치했으며, 자동 채점과 즉각적인 피드백으로 진도가 늦은 학생도 포기하지 않고 실력을 쌓았습니다.
둘째, 음향학적 시각화를 통해 화성학 개념 이해를 혁신했습니다. 오선 칠판, 피아노, 컴퓨터를 오가며 설명해도 학생들이 어려워하던 화성학을 한 화면에서 해결했습니다. 오실레이터와 하모닉 콤 시각화를 통해 화음이 물리적인 배음 원리에 기초한다는 사실을 보고 들으며 체득했습니다.
셋째, '백문이 불여일작'의 이론 기반 창작 수업을 실현했습니다. 12음 기법, 중세 교회 선법, 이소리듬 등 엄밀한 이론적 뼈대를 학생들이 웹 인터페이스에서 직접 조작하며 역사적 작곡 기법을 실습했습니다. 나아가 생성형 AI(Suno)에 학생이 직접 창작한 멜로디를 입력하여 자신만의 완성도 높은 곡을 만드는 심화 창작까지 이어졌습니다.
넷째, 국내외 유수 대학 도입 및 글로벌 테크 기업 전시에 선정되었습니다. 직접 개발한 공감각적 AI 음악 튜터 에이전트는 포스텍 교양 음악 수업에 전면 도입되었을 뿐만 아니라, 카이스트와 미국 캔자스 대학교의 실제 음악 강의 교구로도 채택되었습니다. 아울러 포스텍 개교 40주년 기념 행사(2026 AI:Q The First Question)에서 Microsoft, Apple 디벨로퍼 아카데미, LG 지능형 캠퍼스, 뉴로메카 등 글로벌 기업들과 나란히 AI-Native University Zone의 단독 전시 부스로 선정되어 시연 및 전시를 앞두고 있습니다.
다섯째, CES 혁신상 수상 스타트업 'MIXROOM'에서 제가 개발한 공감각적 에이전트의 UI를 참고하여 K-Pop 교육용 라이브러리 및 템플릿 개발에 착수했습니다.

④ 나만의 방식 또는 개선 포인트는 무엇인가요?
첫째, 음치부터 오케스트라 악장까지 아우르는 수준별 자기주도 학습 환경을 구축했습니다. 악보를 전혀 못 읽는 학생도 줄과 칸의 수를 세는 대신 소리와 시각 건반을 보며 스스로 소리를 익히고, 숙련된 학생은 심화 화성과 작곡 실습까지 각자의 호흡에 맞춰 학습할 수 있도록 난이도와 피드백 체계를 맞춤형으로 개선했습니다.
둘째, 주입식 음악사와 음악 감상 위주의 수업을 이론, 감상, 연주, 창작이 통합된 이론/ 실습 통합 교육으로 전환했습니다. 악보에 적힌 음을 즉각 소리로 확인하는 멀티모달 인터랙션을 통해 청음과 화성학을 동시에 익히게 하고, 나아가 12음 기법이나 이소리듬을 직접 조작해 보는 능동적 창작 수업으로 수업의 지평을 넓혔습니다.
셋째, 외주 개발의 소통 병목과 현장 괴리를 극복한 초고속 즉시 개선 체계입니다. 도메인 지식이 없는 외주사에 의존하며 발생하던 시간 낭비와 UI , UX 의 디테일 설계의 한계를 없애고, 강의실에서 학생들의 막히는 반응이나 보완점을 확인한 즉시 코드를 수정해 바로 다음 주차 강의에 배포했습니다.
넷째, 공감각적 인터랙션 설계입니다. 기초 이론부터 음향 탐구, 역사적 작곡 실습에 이르는 전 모듈에 소리(Tone.js), 악보(VexFlow), 인터랙티브 건반, 그리고 스케일의 색채 매핑을 유기적으로 결합했습니다. 이를 통해 모든 단계에서 시각과 청각이 실시간으로 맞물려 작동하며 직관적으로 음악 원리를 체득하도록 구현했습니다.
다섯째, 학습 목적에 따른 체계적인 4단계 에이전트 모듈 구축입니다. 1단계 기초 음악 훈련(HarmoniaX)에서는 3화음 연습, 리듬 연습, 음이름 맞추기, 음정 디코딩, 조표, 7화음, 주요 3화음 반주 만들기, 대리화음 채우기를 단계별로 수행합니다. 2단계 화음과 음계의 과학적 원리(Harmonic Science Lab)에서는 실제 악기 배음을 켜고 끄며 파형과 스펙트럼으로 음색을 비교하고, 배음렬에서 화음이 파생되는 원리와 순정률·평균율의 차이를 탐구합니다. 3단계 중세~현대 작곡 기법을 사용한 창작에서는 중세 교회 선법, 이소리듬, 12음 기법을 실습하고 생성형 AI를 연동해 심화 창작을 진행합니다. 4단계 단계별 학습과 성취도 관리에서는 학생이 레벨 구조로 성취도를 확인하고, 교수자는 대시보드로 정·오답 데이터를 분석해 취약 문항 난이도를 최적화합니다.

⑤ 다른 사람도 따라 할 수 있나요?
"코딩 지식이 전혀 없어도, 교육적 의도와 도메인 지식만 명확하다면 누구나 가능합니다."
첫째, 저 역시 컴퓨터공학 비전공자입니다. 자연어로 명확하게 체계적으로 설명하는 것만으로 완성도 높은 인터랙티브 코스웨어를 구현할 수 있습니다.
둘째, 단계별 접근 노하우입니다. 1단계로 가능하다면 현존하는 검증된 레퍼런스를 AI에게 레퍼런스로 제공하고, 2단계로 단위 기능별로 나누어 점진적으로 완성하며, 3단계로 오류나 개선 의견을 반영해 개선된 버젼을 수정·배포하는 것입니다.
셋째, 교수자의 역할 전환과 수업 도구 창작의 확산입니다. 제가 축적한 노하우를 타 대학 및 타 전공 교수법 워크숍을 통해 얼마든지 공유하고 확산할 수 있습니다.

[코스웨어 시연 동영상]
게시판 용량 제한으로 인해 실제 구동 시연 화면 캡쳐 영상을 외부 링크로 공유합니다.
👉 시연 영상 링크:
https://drive.google.com/file/d/1HXTNL99ONQi5JwdtiZpZwJ897AcuNE-Y/view?usp=sharing