Date : 28 Octobre 2026
Auteur : Jarvis Mission Agent
Cible : Système de reconnaissance vocale Android & Web (JARVIS_ANDROID & JARVIS_LIVE_VOICE)
Statut : Diagnostic validé & Plan d'actuation autonome prêt
En mode premier plan, la communication vocale bidirectionnelle fonctionne parfaitement via la WebView Chromium (navigator.mediaDevices.getUserMedia). Cependant, dès que l'application ou l'appel bascule en arrière-plan (mise en veille de l'écran, passage sur une autre application ou retour à l'écran d'accueil), Jarvis devient totalement sourd.
Raphaël a découvert empiriquement qu'en ouvrant le tiroir de notifications Android et en cliquant sur le bouton « Réactiver micro » de la notification du service Jarvis Wake Word, puis en disant « Jarvis », l'écoute se réactive immédiatement et la communication refonctionne.
L'autopsie du code source a permis d'isoler la cause exacte : un verrouillage asymétrique de mise en veille exclusive du micro. Lors de chaque session vocale au premier plan, le moteur Wake Word est mis en veille forcée (isStandby = true) pour éviter les conflits audio avec Chromium. Lorsque l'application passe en arrière-plan, Android coupe silencieusement le micro de la WebView, mais aucun mécanisme ne venait sortir automatiquement le service Wake Word de sa veille. Le service restait donc endormi, attendant indéfiniment un clic manuel sur la notification.
flowchart TD
subgraph PremierPlan ["1. Premier Plan (Actif)"]
A["Session Vocale Lancée"] --> B["Chromium WebView capte le micro"]
A --> C["Wake Word forcé en Standby (isStandby = true)"]
C --> D["Micro Hardware libéré par Wake Word"]
end
subgraph BasculeBg ["2. Bascule en Arrière-Plan (Rupture)"]
E["App / Écran en arrière-plan"] --> F["Android AudioFlinger coupe le micro WebView"]
E --> G["Wake Word RESTE en Standby indéfiniment"]
F & G --> H["⚡ JARVIS EST 100% SOURD"]
end
subgraph SolutionRaphael ["3. Déblocage Manuel (Constat Raphaël)"]
I["Clic 'Réactiver micro' sur notification"] --> J["ACTION_RESUME réveille AudioRecord natif"]
J --> K["Mot-clé 'Jarvis' détecté"]
K --> L["fullScreenIntent réveille l'appli et relance l'écoute"]
end
PremierPlan --> BasculeBg
BasculeBg -. "Intervention Manuelle" .-> SolutionRaphael
Dans JARVIS_LIVE_VOICE/public_jarvis/app.js (l. 2730-2735) et JarvisVoiceService.kt (l. 315-321) :
// app.js (l. 2730)
if (window.AndroidJarvis && typeof window.AndroidJarvis.setWakeWordStandby === 'function') {
window.AndroidJarvis.setWakeWordStandby(true);
console.log('[NativeBridge] Wake Word mis en veille pendant l\'appel actif.');
}
Pour éviter un conflit matériel d'AudioRecord entre Android natif et le moteur WebAudio de Chromium, le démarrage de la session vocale force isStandby = true, coupe l'écoute matérielle du Wake Word et persiste cet état dans SharedPreferences (KEY_IS_STANDBY). La notification bascule alors en mode veille :
🌙 En veille (Micro 100% coupé — Appel vocal actif) avec le bouton d'action [Réactiver micro].
Sous Android 10, 11, 12, 13, 14 et 15, les politiques de sécurité du système d'exploitation (AudioFlinger et AppOpsManager) interdisent strictement aux composants web d'une Activity (WebView) d'accéder au microphone lorsqu'elle n'est plus au premier plan visible.
Bien que JarvisVoiceService tourne en ForegroundService, son indicateur isNativeVoIP est configuré à false (Mode Bouclier Vocal où le micro est délégué à la WebView). Chromium reçoit donc des trames de zéros (silence total).
Dans MainActivity.kt (l. 1444-1458) :
override fun onPause() {
super.onPause()
jarvisWebView?.resumeTimers()
}
override fun onStop() {
super.onStop()
jarvisWebView?.resumeTimers()
jarvisWebView?.evaluateJavascript(...)
}
Lors de l'appel de onStop() (quand l'activité passe sous le verrouillage de l'écran ou derrière une autre application), il n'existe aucune instruction pour réarmer le Wake Word.
Le Wake Word reste verrouillé à l'état isStandby = true.
Dans app.js (l. 5774-5789), la seule routine prévue pour lever la mise en veille est située à l'intérieur de stopSession(), après un setTimeout de 7 secondes :
- stopSession() n'est jamais appelé lors d'une simple mise en arrière-plan (la session reste déclarée active pour maintenir le flux ouvert) ;
- Même lors d'une mise en veille d'inactivité (_closeSocketForIdle() après 60s), app.js ne lève pas la mise en veille du Wake Word natif ;
- De surcroît, Chromium gèle ou bride agressivement les timers JS setTimeout en tâche de fond, empêchant toute exécution fiable.
Lorsque Raphaël appuie sur « Réactiver micro » dans la notification :
1. L'action ACTION_RESUME est envoyée directement à JarvisWakeWordService ;
2. Le service exécute resumeEngine(), passe isStandby = false, acquiert un WakeLock partiel et initialise immédiatement son propre AudioRecord natif 16 kHz ;
3. Étant un ForegroundService déclaré avec foregroundServiceType="microphone" et exempté d'optimisation batterie, Android lui accorde l'accès prioritaire au micro physique en arrière-plan ;
4. La notification passe à : 🟢 Écoute active : Dites 'Jarvis' pour réveiller ;
5. Lorsque Raphaël prononce « Jarvis », le spotter acoustique JarvisWakeWordEngine valide la signature phonétique, joue le carillon et déclenche triggerFullScreenWake() et startActivity(MainActivity) ;
6. L'activité revient au premier plan, attemptWakeWordSessionStart() lance la session WebRTC/WebSocket, et la communication reprend instantanément.
Pour que ce basculement devienne 100 % automatique et invisible, sans jamais nécessiter d'ouvrir le volet de notifications, 3 ajustements synchronisés sont requis :
MainActivity.kt)Dès que l'Activity passe en arrière-plan (onStop()), si le Wake Word est activé par les réglages (wakeWordManager.isEnabled), le système réarme automatiquement l'écoute native d'arrière-plan.
override fun onStop() {
super.onStop()
jarvisWebView?.resumeTimers()
// Handoff d'écoute autonome en tâche de fond :
// Si l'utilisateur quitte l'application ou éteint l'écran, le micro WebView
// est coupé par Android -> Réarmer automatiquement le Wake Word natif
val wwManager = JarvisWakeWordManager.getInstance(this)
if (wwManager.isEnabled) {
wwManager.isStandby = false
JarvisWakeWordService.resumeStandby(this)
Log.i("MainActivity", "🔄 Handoff automatique arrière-plan : Wake Word réarmé pour écoute mot-clé.")
}
}
app.js)Dans public_jarvis/app.js, lorsque le WebSocket se ferme pour inactivité de 60 secondes (_closeSocketForIdle) :
_closeSocketForIdle() {
if (!this.ws || this.ws.readyState !== WebSocket.OPEN) return;
console.log('[Idle Close] 60s sans parole -- fermeture du transport Live.');
this.idleSocketClosed = true;
try { this.ws.close(1000, 'idle_auto_hangup'); } catch (e) {}
// Sortie de veille immédiate du Wake Word natif dès que la liaison est inactive
if (window.AndroidJarvis && typeof window.AndroidJarvis.setWakeWordStandby === 'function') {
try {
window.AndroidJarvis.setWakeWordStandby(false);
console.log('[NativeBridge] Wake Word réarmé automatiquement suite inactivité.');
} catch (e) {}
}
}
JarvisWakeWordService.kt)Dans JarvisWakeWordService, s'assurer que si isStandby est actif mais qu'aucun service vocal (JarvisVoiceService.isServiceRunning == false) ni Activity au premier plan ne consomme le micro, le service repasse automatiquement en écoute active après un bref délai de grâce.
| Scénario | État Antérieur (Dysfonctionnement) | Nouvel État Autonome (Corrigé) |
|---|---|---|
| App au premier plan en appel | Micro WebView actif, Wake Word en veille | Micro WebView actif, Wake Word en veille (identique) |
| App bascule en arrière-plan | Micro WebView coupé, Wake Word bloqué en veille (Sourd) | Wake Word réarmé automatiquement (ACTION_RESUME) |
| Téléphone dans la poche / Écran éteint | Nécessite déverrouillage + clic notif | Dire « Jarvis » réveille l'écran et démarre l'échange |
| Fin de phrase / Silence 60s | Wake Word reste en veille indéfiniment | Wake Word réactivé immédiatement par _closeSocketForIdle |
| Reprise de l'appel par mot-clé | OK (après manipulation manuelle) | 100% autonome et immédiat |