Généré le 27/10/2026 19:05

🎙️ Voice Activity Detection (VAD) : Principes, Fonctionnement & Rôle dans Jarvis


1. Définition et Concept Fondamental

La Voice Activity Detection (VAD), ou Détection d'Activité Vocale, est un ensemble d'algorithmes et de techniques de traitement numérique du signal (DSP) et d'intelligence artificielle dont l'objectif est de déterminer en temps réel si un signal audio contient de la voix humaine ou s'il s'agit de silence ou de bruit ambiant.

Dans un flux audio continu (comme le flux d'un microphone de smartphone ou d'ordinateur), la VAD agit comme un portier intelligent : elle détecte l'instant exact où une personne commence à parler (Speech Start) et l'instant où elle s'arrête (Speech End), sans nécessiter d'action mécanique (zéro appui sur un bouton Push-to-Talk).


2. Principes de Fonctionnement

Une VAD moderne repose généralement sur une chaîne de traitement articulée en quatre maillons :

flowchart LR
    A["Flux Audio Micro<br/>(PCM continu)"] --> B["1. Pré-filtrage DSP<br/>(Isolation spectrale)"]
    B --> C["2. Extraction Métriques<br/>(RMS, ZCR, Spectrogramme)"]
    C --> D["3. Machine à États<br/>(Seuils adaptatifs + Hystérésis)"]
    D --> E["4. Décision & Déclenchement<br/>(Start / Stop Tour de Parole)"]

A. Le Pré-filtrage Fréquentiel (DSP)

La voix humaine utile (fondamentale et harmoniques principales) est concentrée dans une bande de fréquences spécifique (typiquement entre 85 Hz et 4 500 Hz). Le pré-filtrage élimine :
- Les infrasons et basses fréquences (< 85 Hz) : bruits de pas, grondements de moteurs, souffle du vent, ronronnement de ventilateurs ou compresseurs de climatisation.
- Les très hautes fréquences (> 4 500 - 8 000 Hz) : sifflements électroniques, bruits d'insectes, bruits métalliques ou parasites ambiants.

B. L'Extraction de Métriques Acoustiques

Plusieurs méthodes permettent d'évaluer la présence vocale :
1. Énergie RMS (Root Mean Square) : Mesure de la puissance moyenne du signal sur une fenêtre temporelle (ex: 20 à 128 ms).
2. Zero-Crossing Rate (ZCR) : Fréquence à laquelle le signal traverse le zéro, utile pour distinguer les consonnes fricatives non voisées ("s", "f", "ch") du bruit blanc.
3. Distribution Spectrale & Formants : Calcul du ratio d'énergie concentré dans la bande vocale (300 Hz - 3 400 Hz) par rapport à l'énergie totale du spectre via Transformée de Fourier Rapide (FFT).
4. Modèles Neuronaux (Deep Learning VAD) : Réseaux de neurones légers (ex: Silero VAD, WebRTC VAD, RNN/LSTM) entraînés sur des milliers d'heures de voix et de bruits pour prédire une probabilité de parole entre 0.0 et 1.0.

C. Le Seuil Dynamique et l'Hystérésis

Un seuil fixe est inefficace car le niveau sonore change selon l'environnement (chambre calme vs voiture roulante).
- Plancher de bruit adaptatif (Noise Floor) : La VAD mesure le niveau d'énergie moyen pendant les silences et ajuste le seuil d'activation en conséquence.
- Hystérésis & Temporisation (Hangover Time) : Lorsqu'un locuteur marque une pause naturelle pour respirer ou hésite (100 à 400 ms), la VAD ne doit pas couper la phrase. Elle applique un compte à rebours de sécurité (souvent entre 800 et 1 800 ms) avant de prononcer la fin du tour de parole.


3. Utilité et Implémentation Concrète dans Jarvis pour Raphaël

Dans le système d'assistance vocale autonome de Raphaël, la VAD ne relève pas d'une simple commodité : c'est la clef de voûte de l'interaction naturelle en temps réel.

graph TD
    Micro["Microphone Smartphone (PWA)"] --> Splitter["Séparation en 2 Branches (app.js)"]

    subgraph "Branche 1 : Analyse VAD & Découpage"
        Splitter --> Biquad["BiquadFilterNode (85 Hz - 4500 Hz)"]
        Biquad --> Analyser["AnalyserNode (FFT 256)"]
        Analyser --> Spectral["Signature Spectrale Différentielle<br/>(Delta bande vocale / bruit de fond)"]
        Spectral --> StateMachine["State Machine VAD<br/>(Pause 1800ms / Hangover)"]
    end

    subgraph "Branche 2 : Signal Vocal Haute Fidélité"
        Splitter --> BufferRaw["Buffer Audio Brut PCM 16kHz (Intact)"]
    end

    StateMachine -- "Fin de parole confirmée" --> Send["Envoi paquet audio brut vers STT / Gemini Live"]
    BufferRaw --> Send

1. Mains-libres Intégral en Mobilité

Raphaël pilote Jarvis depuis son smartphone en marchant ou en conduisant. La VAD permet une conversation bilatérale fluide sans avoir à regarder l'écran ni manipuler un bouton tactile.

2. Adaptation Spécifique au Climat Acoustique de Guadeloupe

L'environnement local présente des particularités acoustiques marquées :
- Climatisation et ventilateurs permanents : Filtrés efficacement par la coupure basse à 85 Hz.
- Faune nocturne tropicale (grillons, grenouilles/hylodes) : Ces bruits émettent entre 5 000 Hz et 8 000 Hz. La coupure haute du pré-filtrage VAD de Jarvis a été calibrée précisément à 4 500 Hz (optimisation validée le 22/09/2026). Ce compromis technique laisse passer l'énergie des consonnes sifflantes et fricatives françaises ("s", "f", "ch", "tasse", "brosse") pour éviter les coupures de fin de mot, tout en atténuant le bruit des grillons de plus de -18 dB (> 98 % en puissance).

3. Architecture Découplée (Double Branche)

Dans JARVIS_LIVE_VOICE/public/app.js :
- La branche VAD est filtrée et analysée via Web Audio API pour le calcul de l'énergie et de la présence spectrale.
- La branche d'enregistrement conserve l'audio brut pleine bande 16 kHz non dégradé, assurant une fidélité maximale pour le moteur de transcription (ElevenLabs Scribe v2 ou Google Live).

4. Signature Spectrale Différentielle (Amélioration Octobre 2026)

Pour éviter de couper la parole lorsque Raphaël parle d'une voix monocorde ou calme avec un bruit de fond continu (ventilateur) :
- L'algorithme calcule le ratio d'énergie dans la bande vocale (300–3 400 Hz) comparé à l'énergie totale.
- Il soustrait dynamiquement la signature du bruit ambiant mémorisée pendant le silence (speechBandDelta).
- Si le signal paraît plat en amplitude RMS mais conserve une forte signature spectrale humaine (delta > 0.15), Jarvis maintient l'écoute active et ne coupe plus le tour de parole à tort.

5. Optimisation des Coûts, de la Latence et des Quotas API

Sans VAD, le système devrait envoyer un flux audio ininterrompu 24h/24 aux API cloud (Gemini Multimodal Live ou ElevenLabs), entraînant :
- Une consommation exorbitante de data mobile et de quotas tokens.
- Une charge serveur inutile.
- Des hallucinations des modèles IA qui tentent de transcrire le bruit ambiant.
Grâce à la VAD, seuls les segments utiles contenant une intention vocale formulée sont transmis, maintenant la latence d'aller-retour sous la barre des 350 ms.