실시간 대화 분석과 햅틱 피드백을 결합한 AI 서비스 기반 커뮤니케이션 코칭 시스템
HaptiTalk은 발표, 면접 등 실제 대면 상황에서 스마트워치를 통한 은밀한 햅틱 피드백으로 즉각적인 대화 코칭을 제공하는 시스템입니다. HaptiTalk은 기존 커뮤니케이션 코칭 도구의 한계를 뛰어넘는 실시간 솔루션을 제시합니다.
- 실시간 대화 분석: WhisperX 기반 고성능 STT 및 음성 분석
- 은밀한 햅틱(진동) 피드백: 상대방 모르게 받는 자연스러운 실시간 코칭
- 세그먼트 기반 분석: 기존 방식 대비 85% 향상된 말하기 속도 측정 정확도
- 시나리오별 맞춤화: 발표/면접 상황별 특화된 분석 및 피드백
개발 기간: 2025년 3월 4일 ~ 6월 12일 (총 14주)
| 역할 | 이름 | 전문 분야 | 연락처 |
|---|---|---|---|
| 팀장 & 풀스택 | 최태산 | 시스템 설계/통합, DevOps | xotks7524@gmail.com |
| AI/ML | 정연균 | 음성처리, 감정분석 | jungyk411@sunmoon.ac.kr |
| 프론트엔드 | 이은범 | Flutter, 모바일 개발 | bum17822@naver.com |
| 영상 종류 | 썸네일 및 링크 |
|---|---|
| 소개 영상 |  |
| 시연 영상 |  |
- STT Engine: WhisperX v3.3.4 기반 실시간 음성 인식
- Emotion Analysis: Wav2Vec2-XLSR 모델로 7가지 감정 분류
- Speaker Diarization: pyannote.audio 3.1 다중 화자 식별
- AI Report: Google Gemini API 기반 맞춤형 분석 보고서
| 로그인 화면 | 회원가입 화면 | 메인 화면 | 프로필 화면 |
|---|---|---|---|
 |
 |
 |
 |
| 새 세션 시작 화면 | 실시간 분석 화면 | 햅틱 패턴 연습 화면 | 설정 화면 |
|---|---|---|---|
 |
 |
 |
 |
| 분석 요약 화면 | 타임라인 화면 | 말하기 패턴 화면 | 대화 주제 화면 |
|---|---|---|---|
 |
 |
 |
 |
| 메인 화면 | 세션 화면 | 설정 화면 |
|---|---|---|
 |
 |
 |
| 말하기 속도 조절 | 필러워드 감지 | 자신감 상승 | 자신감 하락 |
|---|---|---|---|
 |
 |
 |
 |
Flutter 3.x │ 크로스 플랫폼 모바일 앱
├── Provider │ 상태 관리
├── WebSocket │ 실시간 통신
├── Watch Connectivity│ 스마트워치 연동
└── Material Design 3│ 현대적 UI/UX
Node.js + Express │ 마이크로서비스 프레임워크
├── auth-service │ JWT 기반 인증 및 권한 관리
├── session-service │ 세션 생명주기 관리
├── feedback-service │ 햅틱 피드백 생성 및 전송
├── user-service │ 사용자 프로필 및 설정 관리
├── realtime-service │ WebSocket 실시간 통신
├── report-service │ AI 보고서 생성 및 관리
└── notification-service │ 푸시 알림 및 이벤트 처리
Python + FastAPI │ AI 마이크로서비스
├── STT Service │ WhisperX v3.3.4 음성 인식
├── Emotion Analysis │ Wav2Vec2-XLSR 감정 분석
└── Speaker Diarization │ pyannote.audio 화자 분리
Docker + Compose │ 컨테이너 오케스트레이션
├── Kong │ API Gateway 및 인증
├── PostgreSQL │ 사용자/세션 관계형 데이터
├── MongoDB │ 비정형 분석 결과 저장
├── Redis │ 캐싱 및 세션 관리
└── Kafka │ 비동기 메시징 시스템
Observability Stack │ 통합 관찰성 시스템
├── Prometheus │ 메트릭 수집 및 저장
├── Grafana │ 통합 관찰성 플랫폼 (메트릭/로그/트레이스)
├── ELK Stack │ 로그 수집, 처리 및 검색
├── Jaeger │ 분산 트레이싱 및 성능 분석
└── OpenTelemetry │ 트레이스 수집 및 전처리
기존 전체 시간 기반 WPM 계산의 한계를 극복한 혁신적 알고리즘:
# 기존 방식 (부정확)
traditional_wpm = total_words / total_time * 60 # pause 시간 포함
# HaptiTalk 세그먼트 방식 (85% 향상)
segment_wpm = (words_in_segment / segment_duration) * 60
average_wpm = sum(segment_wpms) / len(segments) # 순수 발화 시간만 계산- staccato: 끊어 말하기 패턴 감지
- continuous: 연속적 발화 패턴
- very_sparse: 매우 띄엄띄엄 말하기
- steady: 일정한 속도 유지
- variable: 속도 변화가 큰 패턴
- normal: 일반적인 대화 패턴
| 시나리오 | VAD 임계값 | 침묵 허용 | 감정 가중치 | 분석 초점 |
|---|---|---|---|---|
| 면접 | 0.7 | 1000ms | 중립(1.3x) | 자신감, 명확성 |
| 발표 | 0.75 | 800ms | 안정감 중심 | 전달력, 설득력 |
- STT 정확도: 95% 이상 (한국어 기준)
- 감정 분석 정확도: 87% (7가지 감정 분류)
- 평균 처리 지연: 150ms 이하 (GPU 환경)
- 동시 세션 처리: 4개 (Jetson Orin Nano 기준)
- 모바일 네트워크 지연: 200ms 이하
- 배터리 최적화: 1시간 연속 사용 시 15% 이하 소모
- NVIDIA Jetson Orin Nano 8GB: ARM64 아키텍처 네이티브 최적화
- CUDA 12.6: GPU 가속 처리로 95% 효율성 달성
- 메모리 사용량: 전체 시스템 6GB 이하 유지
- 기능: 메트릭, 로그, 트레이스 통합 시각화 및 분석
- 통합 기능: 트레이스→로그 연결, 메트릭→트레이스 드릴다운
- 모니터링 항목: API 응답시간, 메모리 사용량, 처리 성공률, 에러율
- 기능: 시계열 메트릭 수집 및 저장
- 수집 대상: 시스템 리소스, 애플리케이션 성능, 데이터베이스 상태
- Exporters: Node, PostgreSQL, Redis, MongoDB, Elasticsearch 메트릭
- 기능: 중앙화된 로그 수집, 처리 및 검색
- 구성: Filebeat → Logstash → Elasticsearch → Kibana
- 활용: 에러 추적, 사용자 행동 분석, 성능 병목 식별
- 기능: 마이크로서비스 간 요청 추적 및 성능 분석
- 수집: OpenTelemetry Collector를 통한 트레이스 데이터 수집
- 활용: End-to-end 성능 분석, 병목 지점 탐지, 서비스 의존성 분석
- 세계 최초 실시간 대화분석+햅틱피드백 결합 시스템
- 85% 향상된 세그먼트 기반 말하기 속도 측정 정확도
- 95% 달성한 한국어 STT 인식 정확도
- 150ms 이하 실시간 처리 지연시간
- SW중심대학협의회 SW중심대학 우수작품경진대회 후원기업상 (2025)
- 선문대학교 SW중심대학 창업 아이디어 경진대회 최우수상 (2025)
- 선문대학교 SW중심대학 기업연계 프로젝트 우수팀 경진대회 대상 (2025)
- 한국디지털콘텐츠학회 하계종합학술대회 대학생 논문경진대회 대상 (2025)
- 제 8회 대학생 창의력 경진대회 우수상 (2025)
- 특허 출원(완)
- GitHub Issues: 기술적 문의 및 버그 리포트
- 이메일: xotks7524@gmail.com (프로젝트 총괄)
- 연구실: 선문대학교 컴퓨터공학부
기업 협력, 연구 참여, 기술 이전 등의 제안은 최태산(xotks7524@gmail.com)에게 직접 연락주시기 바랍니다.
HaptiTalk - Revolutionizing Communication with AI and Haptic Technology
Made with ❤️ by Sunmoon University SW Development Team