Date : 16/10/2026
Commanditaire : Raphaël (mission autonome Jarvis)
Portée : flux audio entrant du mode vocal conversationnel (live_tour, production actuelle), pas le wake word Android (déjà traité par des études antérieures, voir section 6).
L'écosystème dispose déjà de deux détecteurs de parole distincts dans la chaîne live_tour : un seuil d'énergie RMS maison côté serveur (is_pcm_speech_active, server.py:8060) qui décide d'accumuler ou non un bloc audio, et la VAD neuronale native de Gemini Live (AutomaticActivityDetection, server.py:9856) qui décide in fine de la fin de tour. Aucun des deux ne fait de discrimination spectrale : le seuil RMS confond toute énergie acoustique (voix, ronflement moteur, bourdonnement clim, frottement de vêtement) dès qu'elle dépasse un volume donné.
Deux constats structurants ressortent de l'audit du code et des diagnostics déjà produits :
VAD_SILENCE_DURATION_MS) + ~200-300ms de padding, qui ajoute environ 1,1 à 1,2 seconde de silence/bruit résiduel envoyé après chaque fin de phrase réelle (mesuré dans le test A/B existant du repo, pas une estimation).Verdict de faisabilité : OUI, techniquement faisable, effort faible à moyen, sans dépendance lourde. Le gain attendu n'est pas sur le temps de traitement brut (déjà négligeable) mais sur deux choses mesurables : moins de tours gaspillés sur du bruit, et une possibilité de resserrer silence_duration_ms en toute sécurité une fois qu'un classifieur local plus fin confirme qu'un silence est un "vrai" silence et pas juste un creux dans un bruit de fond stationnaire.
| Étage | Fichier / ligne | Mécanisme | Nature |
|---|---|---|---|
Accumulation serveur (mode live_tour, production) |
server.py:10093-10119 |
is_pcm_speech_active(pcm, min_rms=240.0) sur fenêtres de 100ms |
Seuil d'énergie RMS fixe, pas de spectre |
| Décision finale de fin de tour | server.py:9856-9878 (AutomaticActivityDetection) |
VAD neuronale propriétaire Google | Boîte noire, mais robuste (entraînée sur bruit réel) |
| VAD adaptative au bruit ambiant | app.js:2562-2600 (_onAudioProcessRobuste) |
Seuil qui suit un noiseFloor lissé (EMA) |
Existe déjà, mais uniquement en mode robuste, pas en mode live_tour (celui en production) |
| Diagnostic post-mortem | pcm_peak_rms() (server.py:8082-8104) |
Renvoie le RMS brut sans seuil | Outil de debug, ajouté le 16/10 |
Aucune librairie de VAD établie (webrtcvad, silero-vad) n'est présente dans le repo. Le filtrage repose entièrement sur un seuil d'amplitude.
Un ronflement de moteur de voiture, un bourdonnement de climatisation ou un frottement de vêtement contre le micro peuvent tous dépasser 240-340 unités RMS (le seuil actuel) sans contenir une seule syllabe. Le RMS mesure une énergie globale, pas une structure temporelle ou fréquentielle :
- Bruit moteur / clim : énergie stationnaire, concentrée en basses fréquences (<500 Hz), peu de variation d'enveloppe.
- Frottement de tissu : énergie impulsive et large bande, très différente spectralement de la voix mais peut dépasser le seuil RMS sur une fenêtre de 100ms.
- Voix humaine : énergie harmonique et modulée (formants, variations de hauteur), avec alternance rapide voisé/non-voisé.
Deux descripteurs simples, déjà calculables sur les mêmes blocs de 1600 échantillons que is_pcm_speech_active, capturent une bonne partie de cette différence sans aucune dépendance ML :
- Taux de passage par zéro (Zero-Crossing Rate, ZCR) : très stable sur un bruit moteur/clim stationnaire, beaucoup plus variable sur de la voix (alternance de phonèmes voisés/non-voisés).
- Platitude spectrale (spectral flatness), via une FFT légère sur la même fenêtre : un bruit stationnaire a un spectre plat ou étroitement localisé ; la voix a un spectre à pics harmoniques marqués.
artifacts/ANALYSE_FILTRES_AUDIO_DSP_SMARTPHONE_20261009.md (09/10/2026) a déjà traité une partie du sujet côté client (compresseur recalibré, notch optionnel, seuil adaptatif du mode robuste) — vérifié présent dans app.js actuel. Restent non faits, selon ce même document : ducking partiel au lieu du mute total en anti-écho, seuil biométrique abaissé en "mode voiture", et activation de l'AGC matériel Android. Ces trois points sont hors du périmètre strict de cette mission (ils concernent la qualité de captation, pas la discrimination voix/bruit pour la latence) mais recoupent le même terrain — à garder en tête pour ne pas dupliquer le travail.
Le test A/B déjà présent dans JARVIS_LIVE_VOICE/tests/vad_ab_test/resultats_ab_test.json donne des chiffres réels exploitables immédiatement (voir section 4) : il compare deux coupures de filtre passe-bas (3400Hz vs 4500Hz) et mesure le délai entre la fin réelle de la phrase et l'instant où le flux envoyé à Gemini s'arrête — c'est exactement la mesure de "combien de millisecondes de bruit résiduel partent inutilement après la voix".
D'après artifacts/DIAGNOSTIC_LATENCE_PIPELINE_AUDIO_WEB_GEMINI_LIVE_TOUR_20261016.md : la capture, la compression et la transmission côté client représentent environ 43ms par bloc — négligeable. Le diagnostic conclut explicitement que l'essentiel du délai mesuré ce jour-là venait du traitement côté Google (file d'attente / inférence), pas du pipeline local.
L'incident des 89,6 secondes du 16/10 (artifacts/DIAGNOSTIC_LATENCE_LIVE_TOUR_COUPURE_GEMINI_RECONNEXION_20261016.md) est une coupure de session WebSocket (code 1008) suivie d'un silence anormal après reconnexion — un problème réseau/session, aucun rapport avec la classification voix/bruit.
Le vrai point d'entrée pour cette mission est documenté noir sur blanc dans les commentaires de server.py:297-313 : VAD_SILENCE_DURATION_MS a été abaissé de 1500ms à 900ms le 15/10/2026, mais la sensibilité de fin de parole a dû être mise à LOW en compensation pour ne pas couper sur une respiration — un compromis parce que le système ne peut pas distinguer "vrai silence" de "pause + souffle résiduel". Un meilleur rejet du bruit non-vocal en amont (local, avant même d'arriver à la VAD Gemini) donnerait de la marge pour resserrer encore ce paramètre sans reproduire l'incident du 15/10 ("Jarvis parle tout seul").
Issues de JARVIS_LIVE_VOICE/tests/vad_ab_test/resultats_ab_test.json (test déjà exécuté, pas une estimation) :
| Phrase test | Fin réelle de parole (ground truth) | Fin détectée (filtre actuel) | Rab ajouté après la voix |
|---|---|---|---|
| "As-tu vu ma brosse ?" | sample 45952 | sample 63488 | 1096 ms |
| "Le café est encore chaud dans la tasse." | sample 57472 | sample 75776 | 1144 ms |
Ce "rab" de ~1,1 seconde par tour est composé du prefix_padding_ms (200ms), du silence_duration_ms (900ms) et des arrondis de bufferisation — il est envoyé et traité à chaque fin de phrase, qu'il y ait du bruit ambiant ou non. C'est une latence structurelle, pas liée au bruit lui-même, mais c'est exactement la marge que la VAD doit garder par prudence faute de pouvoir confirmer vite qu'un silence est réel. Une discrimination locale plus fine est le levier qui permettrait de réduire cette marge sans risque.
is_pcm_speech_active() (server.py:8060) d'un second critère — ZCR + platitude spectrale sur la même fenêtre de 100ms — pour rejeter les blocs à haute énergie mais spectralement plats/stationnaires (moteur, clim) avant de les compter comme "parole" et de déclencher un tour live_tour complet. Coût de calcul négligeable (une FFT sur 1600 échantillons prend un temps imperceptible), aucun paquet Python supplémentaire.webrtcvad (bibliothèque mature, utilisée en téléphonie, décision binaire voix/non-voix par trame de 10-30ms, CPU négligeable) comme première passe avant d'atteindre la VAD Gemini — plus robuste par construction contre l'énergie non-vocale que n'importe quel seuil fait main.onnxruntime), à ne considérer qu'après avoir mesuré que les deux premières options ne suffisent pas sur des échantillons réels de bruit de voiture/clim enregistrés dans des conditions réelles.Avant tout déploiement : valider sur le harnais de test déjà existant (JARVIS_LIVE_VOICE/tests/vad_ab_test/), enrichi avec de vrais enregistrements de bruit de voiture et de climatisation, pas sur un seul cas — cohérent avec la règle déjà actée après une précédente mésaventure de validation hâtive sur un test unique.
ANALYSE_FAISABILITE_LATENCE_WAKE_WORD_ANDROID_RETARD_20261012.md.ANALYSE_FAISABILITE_SENSIBILITE_DETECTION_MOTCLE_JARVIS_20261012.md.artifacts/ANALYSE_FILTRES_AUDIO_DSP_SMARTPHONE_20261009.md.artifacts/DIAGNOSTIC_LATENCE_LIVE_TOUR_COUPURE_GEMINI_RECONNEXION_20261016.md — sujet distinct, déjà en mémoire projet.Rien n'a été codé ou modifié dans cette mission : c'est une analyse de faisabilité uniquement, conformément à la demande.