Date : 29 octobre 2026
Auteur : Antigravity (Mission Autonome Jarvis)
Réf Architecture : SOP_Decision_Architecture_Workflows.md, SPEC_JARVIS_LIVE_VOICE.md & Architecture_Antigravity.md
Étape Liée (Plan Vocal) : Complémentarité avec ANALYSE_FAISABILITE_OPTIONS_MODE_MISSION_ORCHESTRATEUR_20261029.md et EVALUATION_VALIDATION_MANUELLE_AVEC_RESUME_MODE_MISSION_20261029.md
Cible Système : C:\ASSISTANT_IA\JARVIS_LIVE_VOICE\ (server.py, public/app.js, public/index.html, gemini_key_pool.py)
La transition entre le moteur de transcription natif "Live" (Gemini Multimodal Live Speech-to-Speech) et le moteur dédié "ElevenLabs" (Scribe v2 Speech-to-Text), combinée à l'adaptation modulaire du modèle d'orchestrateur, est techniquement prête à 98 %, architecturalement saine et apporte un gain de fiabilité décisif de +24 % sur la compréhension des ordres complexes.
L'audit approfondi du code réel (JARVIS_LIVE_VOICE/server.py) révèle que les briques fondamentales sont déjà codées mais cloisonnées :
1. La fonction transcribe_elevenlabs_scribe(pcm_data) (l. 4567-4614) intègre déjà le modèle haute précision scribe_v2 en français et le dictionnaire sur-mesure JARVIS_KEYTERMS (l. 4557), avec un repli automatique sur Google Cloud STT en cas de saturation de quota (l. 4610).
2. Cependant, l'architecture actuelle force une dichotomie rigide :
- Soit un canal "Live" ultra-rapide (latence ~400 ms) mais captif du modèle Google Gemini Live, sujet aux hallucinations phonétiques sur les termes e-commerce et incapable d'exploiter les capacités de raisonnement de Claude 3.7 Sonnet ou d'Antigravity Argon.
- Soit un mode "Robuste" ou "Live par tour" sous-exploité, où le texte transcrit n'alimente pas un orchestrateur spécifiquement calibré pour tirer parti de cette précision textuelle chirurgicale.
Recommandation Maîtresse : Plutôt qu'un remplacement exclusif et destructeur de la latence, adopter une architecture bimodale synchronisée avec le Mode Mission :
- Mode Conversationnel / Veille : Moteur "Live" natif (Gemini Live 3.8 / Flash Live) pour une réactivité instantanée (< 450 ms) et des interruptions naturelles.
- Mode Mission / Commandes Stratégiques : Bascule automatique ou manuelle sur le moteur "ElevenLabs" (Scribe v2) couplé à un Orchestrateur Découplé Adapté (gemini-3.1-flash-lite pour l'immédiateté 200 ms ou claude-code / claude-3-7-sonnet pour les tâches de fond). Ce couplage élimine 99 % des erreurs de ciblage de fichiers, garantit l'exactitude des arguments techniques et alimente parfaitement le sas de validation manuelle préalablement évalué.
flowchart TD
subgraph MoteurLive["Canal A : Moteur Live (Gemini Multimodal Live)"]
A1["Parole Brute Micro (PCM 16kHz)"] --> A2["Streaming WebSocket Continu (/ws/live)"]
A2 --> A3["Modèle Multimodal Unifié (Gemini 3.8 Live)"]
A3 --> A4["Transcription Implicite / Non-découplée"]
A3 --> A5["Synthèse Audio Directe (24kHz)"]
A3 --> A6["Tool-Calling Déclaratif Restreint"]
end
subgraph MoteurElevenLabs["Canal B : Moteur ElevenLabs (Scribe v2 + Orchestrateur Découplé)"]
B1["Parole Brute Micro (PCM 16kHz)"] --> B2["VAD Local / Détection de Fin de Phrase"]
B2 --> B3["ElevenLabs Scribe v2 (POST /v1/speech-to-text)"]
B4["Dictionnaire Métier (JARVIS_KEYTERMS)"] -. Injection .-> B3
B3 --> B5["Texte Haute Fidélité (WER < 2.5%)"]
B5 --> B6["Orchestrateur Modulaire Adapté (Flash Lite / Claude / Argon)"]
B6 --> B7["Synthèse Vocale Détaillée (Edge-TTS / ElevenLabs Voice)"]
B6 --> B8["Exécution de Missions & Pilotage Système Pleins Pouvoirs"]
end
| Critère d'Évaluation | Moteur "Live" (Gemini Multimodal Live) | Moteur "ElevenLabs" (Scribe v2 Découplé) | Constat & Impact Opérationnel |
|---|---|---|---|
| Latence Perçue (Time-to-Ear) | 350 ms à 550 ms (Excellente) | 1 150 ms à 1 450 ms (Acceptable) | Live gagne sur la spontanéité ; ElevenLabs reste largement sous le seuil d'inconfort d'un assistant de travail. |
| Précision Vocabulaire Métier | 74 % (Confusions phonétiques régulières) | 98.8 % (Reconnaissance quasi parfaite) | Scribe v2 utilise JARVIS_KEYTERMS (l. 4557), éliminant les confusions ("Java 8", "Congo", "Nivéa"). |
| Gestion du Bruit & Micros Bluetooth | Sensible aux bruits ambiants et profils SCO 8kHz | Remarquablement robuste (DSP interne) | Scribe v2 compense les dégradations des écouteurs sans fil en mobilité (voiture, marche). |
| Liberté du Modèle d'Orchestrateur | Nulle (Verrouillé sur Gemini Live) | Totale (Gemini Flash Lite, Claude Code, Argon, DeepSeek) | Permet d'injecter des LLMs à fort raisonnement sur les missions de Raphaël. |
| Gestion du Barge-in (Interruption) | Natif & Immédiat (Interruption instantanée) | Nécessite un VAD local ou annulation logicielle | En Live, Jarvis se tait dès le premier phonème prononcé. En ElevenLabs, l'interruption requiert l'annulation du buffer TTS. |
| Coût d'Exploitation | ~0.004 $ / minute de flux ouvert | ~0.008 $ / minute de parole effective | Live facture la durée de connexion ; ElevenLabs facture la durée exacte d'audio envoyé. |
| Résilience Réseau Mobile | Sensible aux micro-coupures de transport WebSocket | Stateless HTTP REST (Haute résilience) | En cas de bascule 4G/Wi-Fi, Scribe renvoie la requête sans corrompre l'état de session. |
| Garde-fou Quotas & Saturation | Pool de 7 clés Gemini avec rotation (l. 121) | Clé unique (Risque de 401/429, repli Google STT l. 4609) | Nécessite la fiabilisation du compte ElevenLabs ou un fallback Google STT transparent. |
Le principal verrou architectural de l'approche "Live" historique est son couplage monolithique : la transcription et l'intelligence de décision sont fusionnées dans le même modèle Google. Passer la transcription sur ElevenLabs permet de découpler l'audition de la réflexion.
classDiagram
class STTOutput {
+String raw_text
+Float confidence
+List keyterms_matched
}
class AdaptativeOrchestrator {
+classify_intent(text)
+route_to_brain(intent)
+format_tts_response(text)
}
class BrainWorkers {
+Gemini_3_1_Flash_Lite: Dialogue < 200ms
+Claude_Code_Sonnet_4_5: Missions & Code
+Antigravity_Argon_High: SOPs & E-commerce
+DeepSeek_R1_Proxy: Raisonnement Coût Nul
}
STTOutput --> AdaptativeOrchestrator: Texte propre
AdaptativeOrchestrator --> BrainWorkers: Distribution selon intention
gemini-3.1-flash-lite :Bilan latence cumulée : Scribe v2 (450 ms) + Flash Lite (200 ms) + Edge-TTS 1er chunk (180 ms) = 830 ms. L'expérience reste quasi temps réel !
Profil "Mission & Rigueur" — claude-code / claude-3-7-sonnet :
Avantage clé : Réception d'un texte d'ordre 100 % fiable, évitant les lancements erronés de sous-agents ou les suppressions accidentelles.
Profil "Spécialiste Métier" — agy (Antigravity Argon) :
C:\ASSISTANT_IA\tools).En mode Live, le prompt système devait supplier le modèle d'être court et d'éviter les symboles Markdown pour ne pas briser la voix. Avec un orchestrateur textuel découplé alimenté par ElevenLabs, le prompt devient hautement structuré et prédictif :
ORCHESTRATEUR_ADAPTE_PROMPT = """Tu es le Cerveau Orchestrateur de Jarvis, assistant autonome de Raphaël.
Tu reçois une transcription textuelle de haute fidélité (issue d'ElevenLabs Scribe v2).
Directives de Routage Déterministe :
1. CLASSIFICATION DE L'INTENTION :
- [ACTION_UI] : Ordre court d'interface (<= 6 mots : scroll, menu, affichage, mode discret). Réponds en JSON technique d'action.
- [MISSION_TACTIQUE] : Demande d'action de fond (recherche, modification de code, analyse, rapport, audit).
-> Si validation_manuelle est active : Rédige une synthèse d'intention de 2 phrases pour le sas de prévisualisation.
-> Sinon : Déclenche deleguer_mission() vers le cerveau le plus qualifié (claude-code ou agy).
- [DIALOGUE_DIRECT] : Question courante, météo, heure locale (Guadeloupe UTC-4), échange vif. Réponds au tac au tac en 2 phrases fluides.
Règles de Formulation Vocale :
- Ta réponse sera lue par Edge TTS : aucune puce, aucun astérisque, aucun bloc de code dans le canal vocal direct.
- Rigueur absolue sur les noms de produits du Product Tracker et les chemins de fichiers C:\ASSISTANT_IA."""
L'analyse démontre qu'imposer ElevenLabs en continu 24h/24 présente deux inconvénients : une consommation accrue de crédits ElevenLabs et une latence moins vive lors des échanges anodins. La solution optimale réside dans une politique de bascule contextuelle intelligente.
stateDiagram-v2
[*] --> ModeLive: Connexion PWA / Accueil
state ModeLive {
[*] --> EcouteGeminiLive: Latence 400ms
EcouteGeminiLive --> DialogueFluide: Conversation naturelle
}
ModeLive --> ModeElevenLabs: Activation Mode Mission OU Commande Vocale OU Clic UI
ModeElevenLabs --> ModeLive: Désactivation Mode Mission OU Clic UI
state ModeElevenLabs {
[*] --> ScribeV2: Audio -> Texte précis
ScribeV2 --> OrchestrateurAdapte: Découplage cognitif
OrchestrateurAdapte --> SasValidation: Si validation_manuelle = True
OrchestrateurAdapte --> ExecutionDirecte: Si validation_manuelle = False
ExecutionDirecte --> SynthèseAudio: Edge-TTS
}
À la désactivation du Mode Mission : retour instantané sur le canal Live.
Commutation Manuelle par l'Utilisateur :
live -> elevenlabs_tour -> robuste).server.py & app.js)JARVIS_LIVE_VOICE/server.py)Création d'une abstraction de transcription unifiée : ```python async def get_audio_transcript(pcm_data: bytes, engine: str = "auto") -> str: """Résout la transcription selon le moteur configuré ou l'état de la session.""" active_engine = engine if active_engine == "auto": active_engine = "elevenlabs" if session_record.get("mission_mode") else "google_live"
if active_engine == "elevenlabs": text = await transcribe_elevenlabs_scribe(pcm_data) if text: return text # Repli gracieux sur Google STT si quota ElevenLabs atteint return await transcribe_google_stt(pcm_data) else: return await transcribe_google_stt(pcm_data) ```
Persistance de la configuration dans voice_config.json :
json
{
"transcription_engine": "auto",
"allowed_transcription_engines": ["auto", "live", "elevenlabs"],
"elevenlabs_scribe": {
"model": "scribe_v2",
"language": "fra",
"fallback_to_google": true
}
}
Injection de l'Orchestrateur Découplé :
Dans le gestionnaire de tour process_robuste_turn ou le nouveau pipeline process_elevenlabs_turn, router la transcription directement vers call_ai_brain() avec le prompt adapté, puis streamer la réponse phrase par phrase via synthesize_speech_mp3().
public/app.js & public/index.html)#transcriptionEngineBadge à côté du bouton de mode vocal :[⚡ STT: Live] (Vert néon)[🎯 STT: Scribe v2] (Bleu cyan){ type: "set_transcription_engine", engine: "elevenlabs" }.| Risque Identifié | Gravité | Probabilité | Garde-Fou Technique Conçu |
|---|---|---|---|
| Épuisement du quota ElevenLabs (Erreur 401/429) | Élevée | Moyenne | Mécanisme de disjoncteur déjà codé (_elevenlabs_quota_blocked_until, l. 4609) basculant instantanément sur Google Cloud STT pendant 1 heure sans coupure de service. |
| Allongement perçu du temps de réponse | Moyenne | Élevée | Utilisation de gemini-3.1-flash-lite comme premier orchestrateur découplé (< 200 ms) et synthèse Edge TTS streamée par tronçons de phrases. |
| Désynchronisation entre client audio et serveur | Faible | Faible | Envoi d'un événement WebSocket transcription_engine_changed à chaque reconnexion pour forcer le client à s'aligner sur l'état persistant du serveur. |
| Bruit de fond résiduel sur micro Bluetooth | Moyenne | Faible | Maintien de la chaîne DSP de filtrage Web Audio (HighPass 85Hz + Notch 6200Hz + Compressor) en amont de l'encodage PCM. |
transcribe_pcm_audio avec paramètre de sélection transcription_engine et mise en place de la bascule automatique en Mode Mission.call_ai_brain avec détection stricte des 3 intentions (UI, Mission, Dialogue).