Généré le 27/10/2026 19:05
🎙️ Spécification Technique : JARVIS Live Voice (Mobile Web PWA)
Date : 17 Septembre 2026
Architecte : Antigravity & Claude Code
Cible : Interface vocale mains-libres temps réel (WebSockets / Gemini Multimodal Live & Agent local)
1. Objectif & Expérience Utilisateur
- Format : Progressive Web App (PWA) ultra-légère accessible sur smartphone (iOS Safari / Android Chrome).
- Mode : Mains-libres total (Voice Activity Detection - VAD). Zéro bouton à presser pendant la marche ou en voiture.
- Latence cible : < 350 ms aller-retour.
- Intégration locale : Branché directement sur les outils du PC (
C:\ASSISTANT_IA, Shopify, Calendar, fichiers, SOPs).
2. Architecture Technique
[ Smartphone (PWA Audio Worklet) ]
│ ▲
│ │ WebSockets (Audio PCM 16kHz bidirectionnel)
▼ │
[ Serveur Local FastAPI (server.py) ] ───( Tool-Calling )───► [ Outils PC / Fichiers ]
│ ▲
│ │ Google GenAI Live SDK (Gemini 3.8 Live)
▼ │
[ Google DeepMind Backend ]
3. Découpage du Chantier & Jalons
- Étape 1 : Architecture & Spécifications (Antigravity) -> Terminé.
- Étape 2 : Revue & Backend WebSocket (Claude Code via
claude -p challenge et génération du serveur FastAPI).
- Étape 3 : Frontend PWA Audio (Antigravity : HTML5 Web Audio API, capture PCM continue, player audio streaming, design Dark Mode).
- Étape 4 : Validation croisée & Lanceur 1-clic (Claude & Antigravity :
lancer_jarvis.bat + documentation).
4. Règle Permanente : Détection des Auto-Reconnexions & Fluidité d'Échange (24/09/2026)
- Problème résolu : Les micro-coupures de réseau mobile (4G/Wi-Fi), les bascules d'onglets, les reconnexions WebSocket et les rotations internes de session (10 min Google Live ou rotation de clé) entraînaient la réinitialisation de l'accueil de Gemini Live. L'assistant répétait alors des formules convenues ("Bonjour Raphaël, comment ça va aujourd'hui ?"), brisant l'immersion d'un appel téléphonique fluide et continu.
- Mécanisme d'identification :
1. Côté client (PWA) : Maintien d'un identifiant de session unique (sessionId) par appel continu. Lors d'une reconnexion de transport (attemptTransportReconnect), le client transmet explicitement son sessionId et le marqueur is_reconnect=true dans l'URL WebSocket et via le message session_init.
2. Côté serveur (server.py) : Registre persistant _live_sessions indexé par session_id et par adresse IP (fenêtre glissante de 5 minutes). Si une connexion provient d'une session connue ou d'une IP récemment active, elle est automatiquement qualifiée d'auto-reconnexion (is_reconnect=True).
- Verrouillage comportemental :
1. Prompt dynamique : Injection d'une consigne prioritaire stricte interdisant formellement toute salutation formelle ("Bonjour", "Salut", "Comment ça va", "En quoi puis-je t'aider").
2. Accusé de présence sobre : Si Raphaël vérifie la ligne ("Allô", "Tu es là ?", "Tu m'entends ?"), réponse ultra-courte ("Oui Raphaël, je t'écoute", "Je suis là ", "Oui").
3. Filtre programmatique : Nettoyage automatique des salutations répétitives résiduelles en tête de réponse avant synthèse ou affichage.
5. Règle Permanente : Localisation, Fuseau Horaire & Météo de Raphaël (25/09/2026)
- Fichier persistant sur disque :
C:\ASSISTANT_IA\LOCALISATION_RAPHAEL.txt (et miroir JARVIS_LIVE_VOICE\LOCALISATION_RAPHAEL.txt), chargé à chaque initialisation/démarrage de server.py et accessible via /api/localisation.
- Localisation de référence : Guadeloupe (Antilles françaises).
- Fuseau horaire : UTC-4 / GMT-4 (
America/Guadeloupe / AST). Strictement stable toute l'année, aucun changement d'heure été/hiver.
- Heure en temps réel : Dès que Raphaël demande l'heure ou qu'une référence temporelle intervient, se caler obligatoirement sur l'heure locale de Guadeloupe (UTC-4).
- Météo en direct : Dès que la météo ou le climat est demandé ("quel temps fait-il ?", "météo", "température"), fournir obligatoirement la météo de la Guadeloupe (Pointe-à -Pitre / Basse-Terre / Guadeloupe), sauf si Raphaël spécifie expressément une autre localisation.
- Injection contextuelle : Le serveur injecte l'heure locale exacte de Guadeloupe et la date du jour lors de l'initialisation de chaque session Live.