Date : 27 octobre 2026
Document de Référence : RAPPORT_AUDIT_MODIFICATIONS_TECHNIQUES_JARVIS_20261027.md
Auteur : Antigravity (Agent d'Exécution Jarvis)
Cible : Raphaël — Déploiement en production
L'audit technique du 27 octobre 2026 a mis en évidence deux blocages structurels majeurs qui dégradent l'expérience utilisateur de Jarvis en situation de mobilité (mains-libres, écran verrouillé, navigation GPS ou multitâche) :
navigator.mediaDevices.getUserMedia au sein du moteur Chromium de la WebView. Dès que l'application quitte le premier plan ou que l'écran s'éteint, Android 14/15/16 gèle immédiatement l'exécution JavaScript et révoque l'accès microphone de la WebView, malgré la présence d'un ForegroundService natif.voice_profile_raphael.json, seuil cosinus à 0.80) est cantonné à un rôle de gardien de sécurité pour autoriser ou refuser l'exécution des outils sensibles et missions de fond dans server.py. Les bruits ambiants, voix d'arrière-plan et bruits de route continuent donc d'ouvrir le micro et de saturer le modèle Gemini Live.Cette feuille de route définit les 4 chantiers opérationnels précis, chronologiques et testables pour résoudre définitivement ces blocages.
flowchart TD
subgraph Android_Native ["📱 Application Android (Natif Kotlin)"]
AR["AudioRecord Natif<br/>(16kHz mono PCM16)"] --> N_BUF["RingBuffer 300ms<br/>+ VAD Matériel"]
N_BUF --> WS_NAT["JarvisWebSocketClient (OkHttp)<br/>Socket binaire direct"]
WS_NAT --> AT["AudioTrack Natif<br/>(Restitution audio direct)"]
SRV["JarvisVoiceService<br/>(ForegroundService type: microphone|mediaPlayback)"] -.-> AR
SRV -.-> WS_NAT
SRV -.-> AT
end
subgraph Network ["🌐 Tunnel Souverain"]
WS_NAT <== "WebSocket Binaire (Tunnel WireGuard 10.10.20.2:8000)" ==> S_WS["FastAPI /ws/jarvis_live"]
end
subgraph Server_Live ["🖥️ Serveur Jarvis Live Voice (Python)"]
S_WS --> DSP["Étage 1 : Filtre DSP Bandpass<br/>(Formants 110-3200 Hz, -18 dB bruit)"]
DSP --> BIO["Étage 2 : Filtre Biométrique Voix<br/>(Rolling MFCC vs voice_profile_raphael.json)"]
BIO -- "Voix Raphaël (Score >= 0.80)" --> LIVE["Gemini Live Multimodal API"]
BIO -- "Bruit / Voix Tierce (< 0.80)" --> DROP["Drop silencieux (Zéro interruption)"]
LIVE --> S_TTS["Audio Synthèse / PCM retour"]
S_TTS --> S_WS
end
subgraph UI_Sync ["💻 Interface WebView (Affichage Miroir Optionnel)"]
SRV -- "LocalBroadcast / JS Event" --> WV["MainActivity / WebView<br/>(Miroir UI passif)"]
end
gantt
title Déploiement des Correctifs Techniques
dateFormat YYYY-MM-DD
section Chantier 1 : Audio Natif
Implémentation AudioRecord & AudioTrack dans JarvisVoiceService :active, c1_1, 2026-10-27, 1d
Branchement direct OkHttp WebSocket (Binaire PCM16) :active, c1_2, 2026-10-28, 1d
section Chantier 2 : Découplage WebView
Refactorisation app.js (Mode headless / Miroir passif) :c2_1, 2026-10-28, 1d
Enregistrement BroadcastReceiver MainActivity :c2_2, 2026-10-29, 1d
section Chantier 3 : Filtre Biométrique DSP
Filtre IIR Bandpass adaptatif sur le flux entrant :c3_1, 2026-10-29, 1d
Vérification glissante MFCC pré-Gemini :c3_2, 2026-10-30, 1d
section Chantier 4 : Validation Terrain
Compilation APK v1.7.0 & Test verrouillé/fond :c4_1, 2026-10-30, 1d
Test conditions bruitées (voiture, extérieur) :c4_2, 2026-10-31, 1d
getUserMedia de la WebView et faire fonctionner Jarvis comme une véritable application VoIP (WhatsApp, Telegram Audio).C:\ASSISTANT_IA\JARVIS_ANDROID\app\src\main\java\com\example\jarvis\service\JarvisVoiceService.ktC:\ASSISTANT_IA\JARVIS_ANDROID\app\src\main\java\com\example\jarvis\websocket\JarvisWebSocketClient.ktAudioRecord) :AudioRecord dans JarvisVoiceService configuré en AudioSource.VOICE_COMMUNICATION (pour bénéficier de la réduction d'écho matérielle Acoustic Echo Canceler / AEC d'Android).16000 Hz, ChannelConfig.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT.AudioTrack) :<audio> par une instance AudioTrack native dans JarvisVoiceService (USAGE_VOICE_COMMUNICATION, STREAM_VOICE_CALL).JarvisWebSocketClient et écriture directe dans le buffer AudioTrack.write().AudioRecord vers websocketClient.sendAudioFrame(byteArray) sans conversion Base64 ni transit par JavaScript.C:\ASSISTANT_IA\JARVIS_ANDROID\app\src\main\java\com\example\jarvis\MainActivity.ktC:\ASSISTANT_IA\JARVIS_LIVE_VOICE\public_jarvis\app.jsapp.js :if (window.AndroidJarvis && window.AndroidJarvis.isNativeAudioSupported()).true, désactiver l'ouverture du WebSocket interne JS et désactiver la capture Web Audio (navigator.mediaDevices.getUserMedia).BroadcastReceiver dynamique dans MainActivity.kt pour les actions ACTION_WS_TEXT_MESSAGE, ACTION_AUDIO_STATE_CHANGED, et ACTION_MISSION_UPDATE.evaluateJavascript("window.jarvisSync(...)") uniquement quand l'Activity est au premier plan (isResumed).onStop ou écran verrouillé), ignorer l'UI JavaScript : le service natif continue de converser oralement sans saccade.C:\ASSISTANT_IA\JARVIS_LIVE_VOICE\server.pyC:\ASSISTANT_IA\JARVIS_LIVE_VOICE\voice_id.pyvoice_profile_raphael.json avec la fonction cosine_similarity().similarité >= 0.80 : le flux audio est transmis en temps réel à l'API Gemini Live.similarité < 0.80 (bruit ambiant, radio, collègue, télévision) : l'audio est rejeté sans solliciter le modèle, maintenant Jarvis dans un silence parfait.C:\ASSISTANT_IA\JARVIS_ANDROID\app\src\main\java\com\example\jarvis\service\JarvisVoiceService.ktC:\ASSISTANT_IA\tools\fast_check_daemons.py?reconnect=1&session_id=... est transmis par le client natif OkHttp pour reprendre la session sans réinitialiser le dialogue.REQUEST_IGNORE_BATTERY_OPTIMIZATIONS.| Risque Identifié | Impact | Mesure d'Atténuation / Solution |
|---|---|---|
| Écho acoustique (Larsen) | Haut | Activation obligatoire de AcousticEchoCanceler sur l'instance AudioRecord et maintien du USAGE_VOICE_COMMUNICATION. |
| Latence induite par le calcul MFCC | Moyen | Exécution du filtre biométrique dans un worker thread asynchrone ; transmission dès que le premier segment de 1.2s est validé. |
| Tuerie de processus par Android 15/16 | Critique | Service typé explicitement microphone et mediaPlayback dans le Manifeste avec réveil automatique via AlarmManager / WakeLock. |
| Bouton micro désynchronisé sur l'UI | Faible | Émission d'un broadcast d'état dès que AudioRecord s'arrête pour rafraîchir l'interface lors du retour au premier plan. |