Généré le 16/10/2026 17:46

Analyse de faisabilité — Distinguer la voix humaine des bruits ambiants (voiture, clim, frottements) pour réduire la latence perçue

Date : 16/10/2026
Commanditaire : Raphaël (mission autonome Jarvis)
Portée : flux audio entrant du mode vocal conversationnel (live_tour, production actuelle), pas le wake word Android (déjà traité par des études antérieures, voir section 6).


1. Résumé exécutif

L'écosystème dispose déjà de deux détecteurs de parole distincts dans la chaîne live_tour : un seuil d'énergie RMS maison côté serveur (is_pcm_speech_active, server.py:8060) qui décide d'accumuler ou non un bloc audio, et la VAD neuronale native de Gemini Live (AutomaticActivityDetection, server.py:9856) qui décide in fine de la fin de tour. Aucun des deux ne fait de discrimination spectrale : le seuil RMS confond toute énergie acoustique (voix, ronflement moteur, bourdonnement clim, frottement de vêtement) dès qu'elle dépasse un volume donné.

Deux constats structurants ressortent de l'audit du code et des diagnostics déjà produits :

Verdict de faisabilité : OUI, techniquement faisable, effort faible à moyen, sans dépendance lourde. Le gain attendu n'est pas sur le temps de traitement brut (déjà négligeable) mais sur deux choses mesurables : moins de tours gaspillés sur du bruit, et une possibilité de resserrer silence_duration_ms en toute sécurité une fois qu'un classifieur local plus fin confirme qu'un silence est un "vrai" silence et pas juste un creux dans un bruit de fond stationnaire.


2. Pipeline actuel — état des lieux vérifié dans le code

2.1 Qui décide "parlé" vs "bruit/silence" aujourd'hui

Étage Fichier / ligne Mécanisme Nature
Accumulation serveur (mode live_tour, production) server.py:10093-10119 is_pcm_speech_active(pcm, min_rms=240.0) sur fenêtres de 100ms Seuil d'énergie RMS fixe, pas de spectre
Décision finale de fin de tour server.py:9856-9878 (AutomaticActivityDetection) VAD neuronale propriétaire Google Boîte noire, mais robuste (entraînée sur bruit réel)
VAD adaptative au bruit ambiant app.js:2562-2600 (_onAudioProcessRobuste) Seuil qui suit un noiseFloor lissé (EMA) Existe déjà, mais uniquement en mode robuste, pas en mode live_tour (celui en production)
Diagnostic post-mortem pcm_peak_rms() (server.py:8082-8104) Renvoie le RMS brut sans seuil Outil de debug, ajouté le 16/10

Aucune librairie de VAD établie (webrtcvad, silero-vad) n'est présente dans le repo. Le filtrage repose entièrement sur un seuil d'amplitude.

2.2 Pourquoi un seuil RMS ne distingue pas voix et bruit ambiant

Un ronflement de moteur de voiture, un bourdonnement de climatisation ou un frottement de vêtement contre le micro peuvent tous dépasser 240-340 unités RMS (le seuil actuel) sans contenir une seule syllabe. Le RMS mesure une énergie globale, pas une structure temporelle ou fréquentielle :
- Bruit moteur / clim : énergie stationnaire, concentrée en basses fréquences (<500 Hz), peu de variation d'enveloppe.
- Frottement de tissu : énergie impulsive et large bande, très différente spectralement de la voix mais peut dépasser le seuil RMS sur une fenêtre de 100ms.
- Voix humaine : énergie harmonique et modulée (formants, variations de hauteur), avec alternance rapide voisé/non-voisé.

Deux descripteurs simples, déjà calculables sur les mêmes blocs de 1600 échantillons que is_pcm_speech_active, capturent une bonne partie de cette différence sans aucune dépendance ML :
- Taux de passage par zéro (Zero-Crossing Rate, ZCR) : très stable sur un bruit moteur/clim stationnaire, beaucoup plus variable sur de la voix (alternance de phonèmes voisés/non-voisés).
- Platitude spectrale (spectral flatness), via une FFT légère sur la même fenêtre : un bruit stationnaire a un spectre plat ou étroitement localisé ; la voix a un spectre à pics harmoniques marqués.

2.3 Ce qui a déjà été fait (à ne pas refaire)

artifacts/ANALYSE_FILTRES_AUDIO_DSP_SMARTPHONE_20261009.md (09/10/2026) a déjà traité une partie du sujet côté client (compresseur recalibré, notch optionnel, seuil adaptatif du mode robuste) — vérifié présent dans app.js actuel. Restent non faits, selon ce même document : ducking partiel au lieu du mute total en anti-écho, seuil biométrique abaissé en "mode voiture", et activation de l'AGC matériel Android. Ces trois points sont hors du périmètre strict de cette mission (ils concernent la qualité de captation, pas la discrimination voix/bruit pour la latence) mais recoupent le même terrain — à garder en tête pour ne pas dupliquer le travail.

Le test A/B déjà présent dans JARVIS_LIVE_VOICE/tests/vad_ab_test/resultats_ab_test.json donne des chiffres réels exploitables immédiatement (voir section 4) : il compare deux coupures de filtre passe-bas (3400Hz vs 4500Hz) et mesure le délai entre la fin réelle de la phrase et l'instant où le flux envoyé à Gemini s'arrête — c'est exactement la mesure de "combien de millisecondes de bruit résiduel partent inutilement après la voix".


3. Où se trouve réellement la latence (et où elle ne se trouve pas)

D'après artifacts/DIAGNOSTIC_LATENCE_PIPELINE_AUDIO_WEB_GEMINI_LIVE_TOUR_20261016.md : la capture, la compression et la transmission côté client représentent environ 43ms par bloc — négligeable. Le diagnostic conclut explicitement que l'essentiel du délai mesuré ce jour-là venait du traitement côté Google (file d'attente / inférence), pas du pipeline local.

L'incident des 89,6 secondes du 16/10 (artifacts/DIAGNOSTIC_LATENCE_LIVE_TOUR_COUPURE_GEMINI_RECONNEXION_20261016.md) est une coupure de session WebSocket (code 1008) suivie d'un silence anormal après reconnexion — un problème réseau/session, aucun rapport avec la classification voix/bruit.

Le vrai point d'entrée pour cette mission est documenté noir sur blanc dans les commentaires de server.py:297-313 : VAD_SILENCE_DURATION_MS a été abaissé de 1500ms à 900ms le 15/10/2026, mais la sensibilité de fin de parole a dû être mise à LOW en compensation pour ne pas couper sur une respiration — un compromis parce que le système ne peut pas distinguer "vrai silence" de "pause + souffle résiduel". Un meilleur rejet du bruit non-vocal en amont (local, avant même d'arriver à la VAD Gemini) donnerait de la marge pour resserrer encore ce paramètre sans reproduire l'incident du 15/10 ("Jarvis parle tout seul").


4. Données chiffrées réelles déjà disponibles dans le repo

Issues de JARVIS_LIVE_VOICE/tests/vad_ab_test/resultats_ab_test.json (test déjà exécuté, pas une estimation) :

Phrase test Fin réelle de parole (ground truth) Fin détectée (filtre actuel) Rab ajouté après la voix
"As-tu vu ma brosse ?" sample 45952 sample 63488 1096 ms
"Le café est encore chaud dans la tasse." sample 57472 sample 75776 1144 ms

Ce "rab" de ~1,1 seconde par tour est composé du prefix_padding_ms (200ms), du silence_duration_ms (900ms) et des arrondis de bufferisation — il est envoyé et traité à chaque fin de phrase, qu'il y ait du bruit ambiant ou non. C'est une latence structurelle, pas liée au bruit lui-même, mais c'est exactement la marge que la VAD doit garder par prudence faute de pouvoir confirmer vite qu'un silence est réel. Une discrimination locale plus fine est le levier qui permettrait de réduire cette marge sans risque.


5. Recommandation (par ordre d'effort croissant)

  1. Court terme, zéro nouvelle dépendance : enrichir is_pcm_speech_active() (server.py:8060) d'un second critère — ZCR + platitude spectrale sur la même fenêtre de 100ms — pour rejeter les blocs à haute énergie mais spectralement plats/stationnaires (moteur, clim) avant de les compter comme "parole" et de déclencher un tour live_tour complet. Coût de calcul négligeable (une FFT sur 1600 échantillons prend un temps imperceptible), aucun paquet Python supplémentaire.
  2. Moyen terme : remplacer le seuil RMS maison par webrtcvad (bibliothèque mature, utilisée en téléphonie, décision binaire voix/non-voix par trame de 10-30ms, CPU négligeable) comme première passe avant d'atteindre la VAD Gemini — plus robuste par construction contre l'énergie non-vocale que n'importe quel seuil fait main.
  3. Optionnel, si 1 et 2 s'avèrent insuffisants sur bruit impulsif (frottement de tissu, choc) : évaluer Silero VAD (modèle ONNX léger, quelques ms par trame sur CPU) — dépendance plus lourde (onnxruntime), à ne considérer qu'après avoir mesuré que les deux premières options ne suffisent pas sur des échantillons réels de bruit de voiture/clim enregistrés dans des conditions réelles.

Avant tout déploiement : valider sur le harnais de test déjà existant (JARVIS_LIVE_VOICE/tests/vad_ab_test/), enrichi avec de vrais enregistrements de bruit de voiture et de climatisation, pas sur un seul cas — cohérent avec la règle déjà actée après une précédente mésaventure de validation hâtive sur un test unique.


6. Hors périmètre (déjà traité ailleurs, à ne pas refaire)

Rien n'a été codé ou modifié dans cette mission : c'est une analyse de faisabilité uniquement, conformément à la demande.