Date d'élaboration : 28 Octobre 2026 — 09:35 AST (Guadeloupe UTC-4)
Auteur : Antigravity (Architecte Systèmes Mobiles, Audio & IA Autonome)
Destinataire : Raphaël
Périmètre : Moteur Android Natif (JarvisVoiceService), Passerelle WebSocket Temps Réel, Orchestrateur FastAPI (server.py), Double-Boucle Cognitive (Gemini Live & Agent Autonome Antigravity).
Statut : Livrable de Référence Opérationnel
L'interaction vocale continue avec Jarvis lorsque le smartphone est en arrière-plan (écran verrouillé dans la poche ou autre application au premier plan) repose sur une chaîne cinématique en 6 étapes synchronisées.
┌────────────────────────────────────────────────────────────────────────────────────────┐
│ CHAÎNE CINÉMATIQUE VOCALE EN ARRIÈRE-PLAN │
└────────────────────────────────────────────────────────────────────────────────────────┘
[ 1. CAPTURE & OS ] [ 2. TRANSPORT RÉSEAU ] [ 3. INGESTION & SÉCURITÉ ]
Smartphone Android Tunnel Chiffré WSS Serveur PC (server.py)
┌───────────────────┐ ┌────────────────────┐ ┌────────────────────────┐
│ Micro / Bluetooth │ │ OkHttp WebSocket │ │ FastAPI Async Loop │
│ AudioRecord 16kHz ├──────►│ Trames PCM 20ms ├──────►│ Biométrie Vocale │
│ ForegroundService │ │ KeepAlive Heartbeat│ │ VAD & Détection Coupure│
│ WakeLock & Wi-Fi │ └────────────────────┘ └───────────┬────────────┘
└───────────────────┘ │
▼
[ 6. RESTITUTION ] [ 5. SYNTHÈSE AUDIO ] [ 4. DOUBLE-BOUCLE COGNITIVE ]
Android AudioTrack Streaming TTS / Tokens Gemini Live + Antigravity
┌───────────────────┐ ┌────────────────────┐ ┌────────────────────────┐
│ AudioTrack 24kHz │ │ Stream Audio PCM │ │ Boucle A : Gemini Live │
│ Écouteurs / VoIP │◄──────┤ Edge-TTS / Gemini │◄──────┤ (Dialogue < 350 ms) │
│ Blackout OLED │ │ Chunking dynamique │ │ Boucle B : Antigravity │
│ Notification OS │ └────────────────────┘ │ (Exécution autonome) │
└───────────────────┘ └────────────────────────┘
JarvisVoiceService)Le principal défi sur mobile réside dans les mécanismes agressifs d'économie d'énergie d'Android 14, 15 et 16 (Doze Mode, App Standby, Throttling Chromium).
JarvisVoiceService est déclaré avec les types stricts foregroundServiceType="microphone|connectedDevice|mediaPlayback". Une notification permanente avec PendingIntent interdit au système de tuer le processus pour libérer de la mémoire RAM.PARTIAL_WAKE_LOCK : Empêche le processeur (SoC) de passer en sommeil profond (Deep Sleep), garantissant la cadence du thread de capture audio.WIFI_MODE_FULL_LOW_LATENCY : Force la puce Wi-Fi à désactiver ses cycles d'économie pour éliminer le jitter réseau.AudioRecord en 16 000 Hz, 16-bit Mono PCM. Des processeurs matériels (AcousticEchoCanceler et NoiseSuppressor) sont injectés directement sur l'AudioSession ID pour filtrer l'écho et les bruits extérieurs.JarvisWebSocketClient)setInterval) de 3s à plus de 60s, causant la rupture du lien WebSocket. Jarvis résout ce blocage via un client WebSocket natif OkHttp en Kotlin, insensible aux restrictions de la WebView.sessionId) :Dès que les trames atteignent server.py sur le serveur local :
spectral_biometric_gate.py / voice_id.py) :STOP_AUDIO). Le smartphone interrompt le haut-parleur en moins de 50 ms pour écouter l'utilisateur.L'interaction vocale en arrière-plan orchestre deux cerveaux en parallèle :
┌───────────────────────────────────────────────┐
│ ROUTEUR COGNITIF SERVER.PY │
└───────────────────────┬───────────────────────┘
│
┌───────────────────────────┴───────────────────────────┐
▼ ▼
┌───────────────────────┐ ┌───────────────────────┐
│ BOUCLE A │ │ BOUCLE B │
│ GEMINI LIVE API │ │ AGENT D'EXÉCUTION │
│ (Conversation Directe)│ │ (Missions Autonomes) │
├───────────────────────┤ ├───────────────────────┤
│ • Échange bidirectionnel│ │ • Déclenché sur ordre │
│ en flux continu. │ │ complexe ou plan. │
│ • Tokens audio natifs.│ │ • Lecture de SOPs. │
│ • Latence < 350 ms. │ │ • Écriture d'artefacts│
│ • "Oui Raphaël..." │ │ • Livrables concrets. │
└───────────────────────┘ └───────────────────────┘
jarvis_missions.db et passe la main à l'agent autonome d'arrière-plan. C'est exactement ce processus qui s'exécute lors de la commande actuelle.AudioTrack :JarvisVoiceService reçoit les paquets binaires et les injecte directement dans un AudioTrack configuré en mode communication (STREAM_VOICE_CALL ou USAGE_VOICE_COMMUNICATION).| Composant | Rôle Technique | Spécification / Valeur | Tolérance Panne / Sécurité |
|---|---|---|---|
| Échantillonnage Entrant | Capture Micro | 16 000 Hz, 16-bit Mono (PCM) | Filtrage AEC + NS matériel |
| Latence Trame Réseau | Découpage paquets | 20 ms à 40 ms (640 à 1280 octets) | Buffer circulaire anti-jitter |
| Transport Socket | Connexion duplex | WebSocket natif OkHttp (WSS) | Pings natifs 3s, réarmement auto |
| Filtrage Biométrique | Authentification Raphaël | Analyse spectrale F0 / Formants | Rejet automatique bruits ambiants |
| Gestion Barge-In | Interruption en cours | Détection locale / ordre STOP serveur | Coupure audio < 50 ms |
| Échantillonnage Sortant | Restitution Audio | 24 000 Hz, 16-bit PCM streaming | Routage SCO / VoIP prioritaire |
| Supervision Système | Résilience OS | Foreground Service + Partial WakeLock | Auto-restart sur crash (Backoff) |
Ce dispositif hybride garantit que l'interaction vocale reste continue, réactive et indestructible :
- Le smartphone se comporte comme un terminal audio léger et durci, protégé contre le gel imposé par Android aux applications en arrière-plan.
- Le serveur local assure l'intelligence computationnelle lourde et le relais vers les grands modèles multimodaux sans consommer la batterie du téléphone.
- La séparation entre dialogue temps réel (Boucle A) et exécution autonome (Boucle B) permet à Raphaël de piloter des opérations informatiques complexes par la voix, les mains totalement libres.