Généré le 14/10/2026 10:01

Analyse & Correctif — Latence et retard du réveil vocal (wake word) JARVIS Android

Date : 12/10/2026
Demande de Raphaël : améliorer la détection par mot-clé (réveil vocal) de Jarvis, réduire la latence, corriger le retard constaté.
Périmètre identifié : le seul système de détection locale du mot-clé « Jarvis » de l'écosystème est le moteur Kotlin embarqué dans JARVIS_ANDROID (wakeword/JarvisWakeWordEngine.kt, JarvisWakeWordManager.kt, JarvisWakeWordService.kt). Il n'existe pas de wake word séparé côté PC/navigateur — public_jarvis/app.js ne fait que relayer l'état de ce moteur natif via le pont window.AndroidJarvis.


1. Chaîne complète « dire Jarvis → Jarvis répond » et où le temps se perd

Micro (frame 30ms) → VAD → Spotter acoustique "JAR-VIS" → onWakeWordDetected()
   → JarvisWakeWordManager.onWakeWordTriggered() → carillon + réveil écran + startActivity(MainActivity)
   → MainActivity (onCreate/onNewIntent) → attend que la WebView + le JS app (jarvisOrchestrateur) soient prêts
   → startSession() JS → connexion WebSocket serveur → 1ère réponse vocale

Deux familles de causes de retard distinctes, à ne pas confondre :

A. Latence intrinsèque du spotter acoustique (~300-800 ms, normale et déjà optimisée)

Le moteur n'utilise pas un réseau de neurones (Porcupine/openWakeWord) mais un spotter syllabique maison (RMS + ZCR sur fenêtres de 30 ms) :
- il lui faut au moins 10 frames (300 ms) d'historique avant de pouvoir tenter une validation ;
- il valide la syllabe finale sibilante « -vis » sur 1 à 3 frames de silence après la voix (30-90 ms supplémentaires) ;
- fenêtre d'analyse bornée à 44 frames (1,32 s) — dire « Jarvis » plus lentement ne matche pas.

C'est une latence de détection acoustique intrinsèque à l'approche choisie, cohérente avec les benchmarks du marché (cf. ETUDE_FAISABILITE_WAKE_WORD_LOCAL_ANDROID.md, 45-90 ms pour des moteurs neuronaux dédiés). Elle n'explique pas, à elle seule, un « retard » perceptible et agaçant au point d'être signalé — ce genre de délai est sous le seuil de perception humaine gênante une fois le mot fini d'être prononcé.

B. Bug réel trouvé et corrigé : pari temporel aveugle après détection (cause la plus probable du « retard »)

Avant correctif, dans MainActivity.kt, deux endroits déclenchaient startSession() côté JS après un délai fixe et non vérifié :
- Réveil à chaud (app déjà ouverte, onNewIntent) : délai fixe de 300 ms, puis un seul appel evaluateJavascript(...).
- Réveil à froid (app relancée, onPageFinished) : délai fixe de 600 ms après la fin du chargement de la page, puis un seul appel.

Le problème : ce délai est un pari sur le temps que prendra le contexte JS de la WebView (window.jarvisOrchestrateur) à être réellement opérationnel. Ce temps varie fortement selon l'état du téléphone au moment du réveil :
- WebView sortant d'une longue mise en veille / Thread.sleep (le "Hot Audio Engine" la maintient vivante mais pas instantanément réactive),
- téléphone sous charge CPU (autre app, température, throttling),
- cold start de l'Activity (chargement APK, inflate Compose, init WebView).

Si le délai fixe s'écoule avant que jarvisOrchestrateur existe, l'unique tentative evaluateJavascript ne fait rien (la condition JS est fausse) — aucune erreur, aucun retry, silence total. Résultat perçu par Raphaël : il dit « Jarvis », l'écran s'allume, mais la session ne démarre pas tout de suite (ou pas du tout) → il doit répéter le mot-clé ou taper l'écran. C'est un vrai « retard » non borné (de quelques centaines de ms à l'échec complet), pas une lenteur constante.


2. Correctif appliqué (implémenté et compilé avec succès)

Fichier modifié : JARVIS_ANDROID/app/src/main/java/com/example/jarvis/MainActivity.kt.

Remplacement des deux déclenchements à délai fixe par une fonction unique attemptWakeWordSessionStart(webView, attempt) :
- Première tentative immédiate (délai 0) — si la page est déjà prête (cas majoritaire quand le téléphone était actif), le démarrage est désormais plus rapide qu'avant (zéro attente artificielle au lieu de 300/600 ms systématiques).
- Le JS injecté renvoie désormais un statut explicite (started / already_active / not_ready / error:...) au lieu d'un if muet.
- Si not_ready, retry automatique toutes les 120 ms, jusqu'à 25 tentatives (~3 secondes de tolérance), au lieu d'abandonner silencieusement après un seul essai.
- Abandon loggé explicitement (Log.w) après 3 s si la page n'a vraiment jamais démarré — rend le problème diagnosticable au lieu d'invisible.

Build vérifié : gradlew compileDebugKotlin → BUILD SUCCESSFUL (seul avertissement préexistant sans rapport : API databaseEnabled dépréciée, ligne 525, non touchée par ce correctif).

Gain attendu :
- Cas nominal (téléphone déjà actif, WebView chaude) : latence de démarrage de session réduite d'environ 300-600 ms à quasi 0.
- Cas dégradé (sortie de veille profonde, cold start lent) : la session démarre dès que la page est réellement prête au lieu d'échouer silencieusement — élimine la classe de bugs « j'ai dit Jarvis mais rien ne s'est passé ».


3. Pistes identifiées mais non implémentées (nécessitent arbitrage ou plus de travail)

Piste Gain potentiel Pourquoi non faite dans cette mission
Remplacer le spotter maison par un moteur neuronal dédié (Porcupine / openWakeWord TFLite) Détection plus robuste à distance/bruit, latence brute comparable (~45-90ms) mais meilleur rappel Chantier de plusieurs jours déjà cadré dans ETUDE_FAISABILITE_WAKE_WORD_LOCAL_ANDROID.md (Jalons 1-3), nécessite intégration SDK tiers + entraînement/choix de clé modèle — à valider avec Raphaël avant de se lancer (changement d'architecture, pas juste un fix de latence)
Abaisser le seuil d'énergie minimal (avgSyl1Energy >= 340f) pour mieux capter une voix lointaine/faible Réduirait les échecs de détection perçus comme un retard ("il faut que je parle fort/près") Risque direct d'augmenter les faux positifs (déclenchements sur bruit ambiant) — changement de tuning acoustique à valider avec des tests réels sur plusieurs sessions avant de modifier en production, pas un simple correctif de code
Pré-chauffer la WebView/JS dès la détection du mot-clé plutôt qu'après startActivity Gagnerait quelques centaines de ms supplémentaires Le correctif ci-dessus couvre déjà le symptôme (attente bornée + retry) ; pré-chauffage plus intrusif (nécessiterait garder une WebView vivante même app fermée) à évaluer séparément si le gain mesuré en usage réel reste insuffisant

4. Synthèse

Cause racine du retard constaté : un délai fixe non vérifié (300 ms à chaud / 600 ms à froid) entre la détection du mot-clé et le démarrage de la session vocale côté WebView — pari qui échouait silencieusement dès que le téléphone était un peu plus lent que prévu à ce moment précis.
Correctif : démarrage immédiat dès que la page est prête + retry toutes les 120 ms jusqu'à 3 s, avec statut explicite et log d'abandon. Compilé avec succès.
Reste à faire (optionnel, nécessite décision de Raphaël) : passage à un moteur de spotting neuronal dédié si la fiabilité acoustique elle-même (distance, bruit) reste insuffisante après ce correctif.