🔊 VIBRIS — Adaptive Context-Aware Assistive Hearing Intelligence

Official Repository for VIBRIS Assistive Intelligence Platform
Developed by Team LOWCORTISOL — MAN 2 Kota Malang

---

Deskripsi & Latar Belakang (Overview)

Penyandang tunarungu dan hard-of-hearing sering menghadapi tantangan keselamatan di ruang publik karena tidak dapat mendengar sinyal audio akustik kritis (seperti klakson kendaraan, sirene ambulans, atau alarm kebakaran). Aplikasi pendeteksi suara konvensional umumnya hanya mengklasifikasikan audio tanpa memahami konteks, sehingga sering menghasilkan notifikasi palsu (false alarm) yang memicu kelelahan notifikasi (notification fatigue).

VIBRIS (Adaptive Context-Aware Assistive Hearing Intelligence) hadir sebagai sistem Decision Intelligence pendamping cerdas real-time berbasis wearable device (Smartphone/Smartwatch/WearOS). Sistem ini tidak hanya mengenali suara, tetapi juga menentukan keandalan sinyal, memahami konteks lingkungan pengguna, memprioritaskan tingkat ancaman keselamatan, dan memberikan respon getaran haptik yang intuitif.

---

✨ Fitur Utama (Key Features)

• Continuous Audio Streaming & Sliding Window: Memproses sampel audio lingkungan secara kontinu setiap 250ms (window 0.975 detik) tanpa menghambat kinerja perangkat.
• AWTC Temporal Consistency Filter: Algoritma penyaring konsistensi temporal bawaan untuk mengeliminasi false positive akibat kebisingan sesaat.
• Dual-AI Architecture (YAMNet + ML Reliability Model):
  1. YAMNet TFLite: AI tingkat pertama untuk ekstraksi fitur dan prediksi kategori audio.
  2. Random Forest / LightGBM Classifier: AI tingkat kedua yang mempelajari kapan prediksi YAMNet benar-benar dapat dipercaya berdasarkan karakteristik sinyal (Confidence, AWTC score, SNR, RMS).
• Adaptive Context Engine: Mengatur prioritas deteksi secara otomatis berdasarkan aktivitas pengguna (Mode Jalan Raya, Mode Sekolah, Mode Rumah, Mode Olahraga).
• Adaptive Haptic Generator: Mengonversi sinyal bahaya menjadi pola getaran (Pattern, Intensity, Duration) yang berfungsi sebagai "bahasa haptik" intuitif.
• Real-Time Telemetry & Performance Logger: Pencatatan performa end-to-end secara otomatis (Latensi AI, Total Latensi, FPS, Penggunaan CPU & RAM).
• WebSocket Communication Bridge: Menyiarkan data event haptik secara real-time ke aplikasi Android / WearOS melalui koneksi jaringan berlatensi rendah (< 10 ms).

---

🏗️ Arsitektur Sistem (System Architecture)

               [ Environment Audio Microphone ]
                              │ (Mono 16kHz)
                              ▼
                    [ Circular Audio Buffer ]
                              │ (Sliding Window 0.975s)
                              ▼
                  [ YAMNet TFLite Model ]
                              │ (Log Mel-Spectrogram)
                              ▼
            [ AWTC Temporal Consistency Filter ]
                              │
                              ▼
             [ Dual-AI Reliability Engine ]
              (ML Random Forest / LightGBM)
                              │
                              ▼
            [ Priority & Context Engine ]
         (Mode: Jalan Raya / Sekolah / Rumah)
                              │
                              ▼
               [ Decision Intelligence Engine ]
                              │
                              ▼
          [ Adaptive Haptic Pattern Generator ]
                              │
                              ▼
          [ WebSocket Bridge (Port 8765) ] ──► [ Android / WearOS ]