발달장애 아동을 위한 AI 기반 감정·사회성 학습 플랫폼

발달장애 아동이 하루 목표 3편씩 AI가 생성한 이야기를 따라가며 친구의 감정을 읽고, 자신의 표정과 동작으로 그 감정을 표현해 보는 웹 서비스입니다.
표정·동작 인식은 브라우저 내에서 수행되며, 판정 기준은 표준 얼굴이 아닌 아이 본인이 직접 등록한 감정별 표정으로 잡습니다.

발달장애 아동의 사회성 발달은 타인의 감정을 알아보는 데서 출발하며, 현행 지원은 치료사가 아동 곁에서 반복해 주는 대면 중재 위주로 구성되어 있습니다.
그러나 회기 수와 치료사 인력에 의존하는 구조상, 아동이 실제로 감정을 마주하는 일상 대부분의 시간은 보호자가 혼자 감당하고 있습니다.
끄덕은 아동이 매일 겪는 "이야기와 표정"이라는 가장 일상적인 요소를 활용해 가정에서도 매일 반복 가능한 사회성 학습 수단을 제공하고자 합니다.

• 표정 개인화 등록 : 아동이 촬영한 표정을 MediaPipe Face Landmarker로 분석해 감정별 판정 기준선으로 저장
• 얼굴 표정 인식 : 등록된 기준선을 바탕으로 아동의 표정 변화를 실시간 분석해 감정 매칭
• 손동작 인식 : MediaPipe Gesture Recognizer로 손 모양·움직임을 인식해 동작 미션 판정
• 음성 인식 : 아동의 음성 반응을 인식해 음성 미션 수행에 활용
• 로드맵 자동 생성 : 발달 체크리스트 응답을 바탕으로 Gemini가 아동 맞춤 12주 로드맵 생성
• 학습 스토리 생성 : 해당 주차 로드맵 목표와 아동이 입력한 일상 기록을 반영해 이야기 생성
• 주간 성장 리포트 : 최근 14일 학습 이력을 이번 주·지난주로 비교한 리포트 제공

심이진(팀장, PM 및 백엔드/AI 연동), 박성현(프론트엔드 및 백엔드 개발), 최대성(백엔드 개발)