Généré le 27/10/2026 11:38

🚀 Feuille de Route Opérationnelle : Corrections Techniques Jarvis Live Voice & Android

Date : 27 octobre 2026
Document de Référence : RAPPORT_AUDIT_MODIFICATIONS_TECHNIQUES_JARVIS_20261027.md
Auteur : Antigravity (Agent d'Exécution Jarvis)
Cible : Raphaël — Déploiement en production


🎯 Diagnostic & Enjeux Clés

L'audit technique du 27 octobre 2026 a mis en évidence deux blocages structurels majeurs qui dégradent l'expérience utilisateur de Jarvis en situation de mobilité (mains-libres, écran verrouillé, navigation GPS ou multitâche) :

  1. La capture micro en arrière-plan est coupée par Android : La voix en direct repose actuellement sur l'API HTML5 navigator.mediaDevices.getUserMedia au sein du moteur Chromium de la WebView. Dès que l'application quitte le premier plan ou que l'écran s'éteint, Android 14/15/16 gèle immédiatement l'exécution JavaScript et révoque l'accès microphone de la WebView, malgré la présence d'un ForegroundService natif.
  2. Le filtre biométrique n'opère pas en réjecteur temps réel : Le profil d'empreinte vocale de Raphaël (voice_profile_raphael.json, seuil cosinus à 0.80) est cantonné à un rôle de gardien de sécurité pour autoriser ou refuser l'exécution des outils sensibles et missions de fond dans server.py. Les bruits ambiants, voix d'arrière-plan et bruits de route continuent donc d'ouvrir le micro et de saturer le modèle Gemini Live.

Cette feuille de route définit les 4 chantiers opérationnels précis, chronologiques et testables pour résoudre définitivement ces blocages.


🏗️ Architecture Cible : Le Pipeline Vocal Natif "VoIP"

flowchart TD
    subgraph Android_Native ["📱 Application Android (Natif Kotlin)"]
        AR["AudioRecord Natif<br/>(16kHz mono PCM16)"] --> N_BUF["RingBuffer 300ms<br/>+ VAD Matériel"]
        N_BUF --> WS_NAT["JarvisWebSocketClient (OkHttp)<br/>Socket binaire direct"]
        WS_NAT --> AT["AudioTrack Natif<br/>(Restitution audio direct)"]

        SRV["JarvisVoiceService<br/>(ForegroundService type: microphone|mediaPlayback)"] -.-> AR
        SRV -.-> WS_NAT
        SRV -.-> AT
    end

    subgraph Network ["🌐 Tunnel Souverain"]
        WS_NAT <== "WebSocket Binaire (Tunnel WireGuard 10.10.20.2:8000)" ==> S_WS["FastAPI /ws/jarvis_live"]
    end

    subgraph Server_Live ["🖥️ Serveur Jarvis Live Voice (Python)"]
        S_WS --> DSP["Étage 1 : Filtre DSP Bandpass<br/>(Formants 110-3200 Hz, -18 dB bruit)"]
        DSP --> BIO["Étage 2 : Filtre Biométrique Voix<br/>(Rolling MFCC vs voice_profile_raphael.json)"]
        BIO -- "Voix Raphaël (Score >= 0.80)" --> LIVE["Gemini Live Multimodal API"]
        BIO -- "Bruit / Voix Tierce (< 0.80)" --> DROP["Drop silencieux (Zéro interruption)"]
        LIVE --> S_TTS["Audio Synthèse / PCM retour"]
        S_TTS --> S_WS
    end

    subgraph UI_Sync ["💻 Interface WebView (Affichage Miroir Optionnel)"]
        SRV -- "LocalBroadcast / JS Event" --> WV["MainActivity / WebView<br/>(Miroir UI passif)"]
    end

📅 Planning Opérationnel par Chantier

gantt
    title Déploiement des Correctifs Techniques
    dateFormat  YYYY-MM-DD
    section Chantier 1 : Audio Natif
    Implémentation AudioRecord & AudioTrack dans JarvisVoiceService :active, c1_1, 2026-10-27, 1d
    Branchement direct OkHttp WebSocket (Binaire PCM16)           :active, c1_2, 2026-10-28, 1d
    section Chantier 2 : Découplage WebView
    Refactorisation app.js (Mode headless / Miroir passif)         :c2_1, 2026-10-28, 1d
    Enregistrement BroadcastReceiver MainActivity                  :c2_2, 2026-10-29, 1d
    section Chantier 3 : Filtre Biométrique DSP
    Filtre IIR Bandpass adaptatif sur le flux entrant              :c3_1, 2026-10-29, 1d
    Vérification glissante MFCC pré-Gemini                         :c3_2, 2026-10-30, 1d
    section Chantier 4 : Validation Terrain
    Compilation APK v1.7.0 & Test verrouillé/fond                  :c4_1, 2026-10-30, 1d
    Test conditions bruitées (voiture, extérieur)                  :c4_2, 2026-10-31, 1d

🛠️ Spécifications Détaillées des 4 Chantiers

🔹 CHANTIER 1 : Migration Complète vers la Capture & Lecture Audio Native (Android)


🔹 CHANTIER 2 : Raccordement du Pont WebView & Mode Arrière-Plan


🔹 CHANTIER 3 : Injection du Filtre Biométrique & Débruitage Spectral DSP (Serveur)


🔹 CHANTIER 4 : Robustesse Réseau & Persistance Système


📊 Matrice des Risques & Points de Contrôle

Risque Identifié Impact Mesure d'Atténuation / Solution
Écho acoustique (Larsen) Haut Activation obligatoire de AcousticEchoCanceler sur l'instance AudioRecord et maintien du USAGE_VOICE_COMMUNICATION.
Latence induite par le calcul MFCC Moyen Exécution du filtre biométrique dans un worker thread asynchrone ; transmission dès que le premier segment de 1.2s est validé.
Tuerie de processus par Android 15/16 Critique Service typé explicitement microphone et mediaPlayback dans le Manifeste avec réveil automatique via AlarmManager / WakeLock.
Bouton micro désynchronisé sur l'UI Faible Émission d'un broadcast d'état dès que AudioRecord s'arrête pour rafraîchir l'interface lors du retour au premier plan.

✅ Critères de Succès & Recette Finale

  1. Test Verrouillé / Fond : Démarrer un appel vocal avec Jarvis, verrouiller l'écran du smartphone, poser une question en marchant -> Jarvis doit répondre instantanément par le haut-parleur sans aucune coupure.
  2. Test Multitâche : Lancer Google Maps ou un navigateur web en premier plan pendant que Jarvis écoute -> la conversation continue sans interruption.
  3. Test Filtrage Bruit : Mettre une radio ou une vidéo en fond sonore -> Jarvis ne doit pas s'interrompre ni prendre la parole pour du bruit non émis par Raphaël (similarité < 0.80).