Généré le 27/10/2026 11:25

🛠️ Rapport d'Audit Technique : Modifications Récentes Jarvis Live Voice & Android

Date : 27 octobre 2026
Auteur : Antigravity (Agent d'Exécution Jarvis)
Destinataire : Raphaël
Périmètre audité : Application Android v1.6.0, Code WebSocket, Filtres biométriques, Mémoire tampon audio, Serveur Jarvis Live Voice (server.py).


🎯 Synthèse Exécutive

Suite à l'audit complet des fichiers sources, des journaux d'exécution (live_session.log, supervisor.log, conversation_relay.json) et du code Kotlin/JavaScript, voici le diagnostic objectif et sans détour :

  1. Fonctionnement en Arrière-Plan Android (KO avéré) : L'application ne peut techniquement pas fonctionner en arrière-plan dans son état actuel. Bien que le client WebSocket natif (JarvisWebSocketClient.kt) et le service d'arrière-plan (JarvisVoiceService.kt) aient été créés en Kotlin, le pont avec le JavaScript (app.js) n'a pas été raccordé. De plus, l'audio du flux en direct est capturé par la WebView HTML5 (getUserMedia) et non en natif, ce qu'Android 14/15/16 coupe immédiatement dès le passage en arrière-plan.
  2. Code Socket Natif (Partiel / Non Câblé) : La classe JarvisWebSocketClient.kt (OkHttp avec ping 30s et reconnexion exponentielle) est instanciée dans JarvisVoiceService, mais app.js continue d'ouvrir son propre WebSocket WebView dans son coin sans utiliser le pont. Les messages reçus par le socket natif ne sont par ailleurs pas renvoyés à l'interface (aucun receiver dans MainActivity).
  3. Filtres Biométriques (Actif en Sécurité, Pas en Débruitage) : Le filtre biométrique (voice_profile_raphael.json, seuil cosinus 0.80) est opérationnel dans server.py pour valider ou rejeter les missions et ordres sensibles. En revanche, son utilisation comme réjecteur spectral de bruit ambiant en temps réel pour libérer le micro n'est pas encore codée dans la boucle DSP temps réel. L'ajustement temporaire a été fait côté VAD client (threshold >= noiseFloor * 1.15 + 0.002 et coupure plateau à 2 200 ms).
  4. Mémoire Tampon Audio (Validé à 100%) : Le buffer matériel natif de capture dans JarvisWakeWordEngine.kt a été officiellement porté de 120 ms à 300 ms (maxOf(minBufferSize, frameSize * 10 * 2)), l'AudioWorklet web est calibré à 2 048 échantillons (~128 ms), et le tampon audio de transition sur le serveur est désormais purgé à chaque reconnexion pour éliminer les boucles d'écho.

🔍 Audit Détaillé par Composant

1. Application Android & Fonctionnement en Arrière-Plan

Constat sur le terrain

Raphaël a constaté et signalé à 11:18 et 11:19 :

"On tient ma fille toujours pas en tâche de fond. Dès que je sors sur l'appli du premier plan, ça me coupe."
"Alors je te signale que le fonctionnement en arrière-plan ne fonctionne toujours pas... Est-ce que tu constates que véritablement, dans l'état actuel, ça ne peut pas marcher ? Et pourquoi ?"

Preuve technique & Causes racines formelles

L'analyse de MainActivity.kt et app.js confirme à 100% l'impossibilité technique de fonctionner en tâche de fond pour l'instant :

  1. La capture micro est dans la WebView : Pour un appel vocal en tâche de fond, Android exige que le microphone soit lu par AudioRecord dans un ForegroundService natif avec la permission foregroundServiceType="microphone". Actuellement, AudioRecord n'est actif que pour l'écoute du Wake Word ("Jarvis"). Dès que la conversation Live démarre, la capture bascule sur l'API Web Audio de Chromium, que l'OS neutralise en arrière-plan.
  2. Le JavaScript ignore le socket natif : Les méthodes @JavascriptInterface sendWebSocketMessage et sendWebSocketAudio ont été créées dans MainActivity.kt, mais app.js ne les appelle jamais. app.js utilise son code historique this.ws = new WebSocket(...).
  3. Absence de routage retour : Dans JarvisVoiceService.kt, le service diffuse les messages entrants via sendBroadcast(ACTION_WS_TEXT_MESSAGE). Aucun BroadcastReceiver n'a été enregistré dans MainActivity pour intercepter ces messages et les injecter dans la WebView via evaluateJavascript.

2. Code Socket Natif (JarvisWebSocketClient.kt)


3. Filtres Biométriques Vocaux (Voice ID)


4. Mémoire Tampon Audio (Audio Buffer)


📋 Feuille de Route Recommandée

  1. Migration Audio Native Complète : Déplacer la capture AudioRecord et la lecture AudioTrack à 100% dans JarvisVoiceService (exactement comme une application VoIP type WhatsApp).
  2. Câblage Socket Natif : Envoyer les paquets PCM16 directement via JarvisWebSocketClient sans passer par la WebView.
  3. Filtre Biométrique Temps Réel : Implémenter un filtre passe-bande IIR adaptatif centré sur le spectre vocal de Raphaël sur le flux entrant pour atténuer de 18 dB les bruits hors-bande.