Date : 16 octobre 2026 (21h47 UTC-4 — Guadeloupe)
Fichiers audités et corrigés :
- C:\ASSISTANT_IA\JARVIS_LIVE_VOICE\server.py
- C:\ASSISTANT_IA\JARVIS_LIVE_VOICE\public_jarvis\app.js
- C:\ASSISTANT_IA\JARVIS_LIVE_VOICE\public\app.js
- Base de données C:\ASSISTANT_IA\JARVIS_MEMORY_VAULT\jarvis_memory.db (conversations_history, entrées #13740 à #13942)
- Journaux temps réel C:\ASSISTANT_IA\JARVIS_LIVE_VOICE\live_session.log et uvicorn_supervisor.log
Suite au retour de Raphaël concernant l'impossibilité aléatoire de sortir vocalement du Mode Discret et les bascules intempestives (activations ou désactivations non demandées), l'analyse croisée du code serveur/client et des 26 enregistrements vocaux réels capturés dans Audio Vault entre 21h14 et 21h31 a mis en évidence 6 causes techniques cumulées (dont un conflit direct entre le verrouillage de non-réponse et le pipeline de détection de sortie).
| # | Cause racine identifiée | Preuve dans les logs / Audio Vault | Impact observé par Raphaël | Statut |
|---|---|---|---|---|
| 1 | Troncature du tampon audio et seuil RMS trop élevé en Mode Discret (min_rms=240 + coupe à 0,6s) |
live_session.log (21:20:08) : pic RMS=229 (seuil VAD=240) ; Audio Vault #13868 : "le mode discret." ("Désactive" tronqué) |
Quand Raphaël parlait sous 240 RMS (alors que la VAD client déclenchait dès ~196 RMS), le serveur effaçait le tampon à chaque trame jusqu'aux 0,6 dernières secondes avant silence_detected. |
Corrigé (min_rms=110, pré-roll 3,0s, process_discret_turn à min_rms=100) |
| 2 | Conflit entre le drapeau turn_in_progress / anti-écho et l'ordre de sortie dans process_discret_turn() |
server.py L9151 : if jarvis_is_speaking or turn_in_progress or time.time() < _playback_ends_at + 0.85: return |
Lors du passage en Mode Discret en plein tour Gemini Live, turn_in_progress restait True ou la fenêtre anti-écho (0,85s) bloquait en silence toute commande de sortie immédiate. |
Corrigé (reset de turn_in_progress + priorité absolue à is_discret_exit_command avant le filtre anti-écho) |
| 3 | Déformations phonétiques STT d'ElevenLabs Scribe v2 (JARVIS_KEYTERMS commentés) |
Audio Vault #13873 & #13900 : "Désactive le mode display", #13763 : "sortir du mode disque", #13861 : "en mode Discord", #13872 : "Sans du mode discret" |
Les ordres explicites de sortie étaient transcrits avec "display", "disque", "Discord" ou "Sans du" et ignorés en silence par DISCRET_EXIT_PATTERNS. |
Corrigé (JARVIS_KEYTERMS réactivés avec "mode discret" + cible phonétique _DISCRET_PHONETIC_TARGET) |
| 4 | Formulations naturelles de reprise non couvertes par DISCRET_NATURAL_EXIT_PATTERNS |
Audio Vault #13867 : "Désactivation du mode discret", #13864 : "C'est bon, on peut discuter", #13866 : "On peut ouvrir la discussion", #13862 : "Pourquoi tu ne me réponds pas ?" |
La regex n'acceptait que les verbes reprendre\|continuer et non discuter\|parler\|ouvrir la discussion, ni le substantif désactivation. |
Corrigé (toutes ces tournures naturelles ajoutées et testées) |
| 5 | Faux positif d'activation sur le mot "mode discret" employé dans une phrase explicative |
live_session.log (21:23:26) : "Parce que effectivement, en mode discret, tu écoutes, mais tu ne dois pas répondre" -> Mode Discret -> ACTIF |
DISCRET_ENTER_PATTERNS contenait un motif non ancré r"\bmode\s+discret\b". Dès que Raphaël parlait du mode discret pour l'expliquer, le serveur le réactivait de force ! |
Corrigé (ancrage strict des commandes + filtre DISCRET_META_DISCUSSION_PATTERNS) |
| 6 | Hallucinations de configurer_interface('mode_discret') par Gemini Live + boucle d'écho WS/HTTP |
Audio Vault #13743 ("Oui. Je sais comment ça fonctionne") & live_session.log (21:26:34 sur bruit ambiant) + triple log Mode Discret -> INACTIF |
Contrairement à gerer_appel et lancer_musique, configurer_interface('mode_discret') n'avait aucun garde-fou sur user_turn_text, et l'envoi simultané de discret_mode_changed + ui_command provoquait un aller-retour toggleDiscretMode() client -> serveur. |
Corrigé (garde-fou d'intention strict sur user_turn_text + suppression du doublon ui_command) |
En mode normal (voice_mode = "live"), le navigateur envoie un flux PCM continu à Gemini Live. Dès que discret_mode = True est activé :
1. Côté client (app.js L2573) : onaudioprocess bascule immédiatement sur _onAudioProcessRobuste(e) (VAD locale). Le client ne transmet donc des trames PCM au serveur que pendant que this.isUserSpeaking == true, puis envoie { type: "silence_detected" }.
2. Côté serveur (server.py L10537) : la boucle WebSocket intercepte les trames PCM avant Gemini Live (if discret_mode: ... continue).
3. Le piège du double seuil VAD (app.js vs server.py) :
- La VAD locale de app.js ouvre le segment de parole dès que le RMS dépasse ~0.006 (soit ~196 en PCM 16-bit).
- Or, la boucle if discret_mode: de server.py exigeait is_pcm_speech_active(pcm, min_rms=240.0) et, pour toute trame sous 240.0, exécutait del robuste_audio_buffer[:-19200] (ne gardant que 0,6 seconde d'audio) !
- Lorsque Raphaël prononçait "Désactive le mode discret" à voix normale (ex. pic RMS=229 enregistré à 21:20:08 dans live_session.log), le serveur rejetait chaque trame comme non-voix, tronquait le début de la phrase ("Désactive" disparaissait, ne laissant que "le mode discret." comme dans l'enregistrement #13868 d'Audio Vault), ou rejetait tout le bloc dans process_discret_turn (min_rms=200.0).
4. Le verrouillage par turn_in_progress et _playback_ends_at :
- Lorsque is_discret_enter_command s'activait sur la transcription entrante de Gemini Live (L10018), turn_in_progress venait d'être mis à True (L10015), mais le flux audio vers Gemini était immédiatement coupé (L10537). Tant que Gemini n'avait pas clôturé son tour, process_discret_turn refusait d'analyser l'audio (if jarvis_is_speaking or turn_in_progress ...: return).
jarvis_memory.db)Voici les enregistrements réels capturés pendant l'essai de Raphaël qui démontrent chaque cas :
| ID Audio Vault | Horodatage (UTC) | Locuteur / Mode | Transcription STT brute | Pourquoi la sortie a échoué avant correctif |
|---|---|---|---|---|
| #13758 | 21:14:22 |
raphael (mode discret) |
"Quitte le mode discret." |
Bloqué par la fenêtre anti-écho / turn_in_progress au premier essai |
| #13761 | 21:14:43 |
raphael (mode discret) |
"Janvis." |
WAKE_WORD_REGEX n'acceptait pas le n de Janvis |
| #13763 | 21:15:02 |
raphael (mode discret) |
"Il faut sortir du mode disque, fin du mode disque" |
STT a transcrit "mode disque" au lieu de "mode discret" |
| #13861 | 21:17:20 |
raphael (mode discret) |
"On est toujours en mode Discord alors." |
STT a transcrit "mode Discord" + tournure constatative |
| #13862 | 21:17:29 |
raphael (mode discret) |
"Pourquoi tu ne me réponds pas ?" |
Absence de motif d'interpellation directe en Mode Discret |
| #13864 | 21:17:48 |
raphael (mode discret) |
"C'est bon, on peut discuter." |
DISCRET_NATURAL_EXIT_PATTERNS n'avait que reprendre\|continuer, pas discuter |
| #13865 | 21:17:58 |
raphael (mode discret) |
"Jean-Louis." |
Homophone STT de "Jarvis" non reconnu |
| #13866 | 21:18:04 |
raphael (mode discret) |
"On peut ouvrir la discussion." |
Tournure naturelle "ouvrir la discussion" absente |
| #13867 | 21:18:10 |
raphael (mode discret) |
"Désactivation du mode discret." |
Seul le verbe désactive(r) était reconnu, pas le nom désactivation |
| #13868 | 21:18:14 |
raphael (mode discret) |
"le mode discret." |
Début "Désactive" tronqué par la coupe à 19 200 octets (0,6s) sous 240 RMS |
| #13869 | 21:18:22 |
raphael (mode discret) |
"Charles-Louis, quitte le mode discret." |
Homophone STT "Charles-Louis" |
| #13872 | 21:20:32 |
raphael (mode discret) |
"Sans du mode discret." |
Déformation STT de "Sors du mode discret" ("Sans du") |
| #13873 | 21:20:38 |
raphael (mode discret) |
"Désactive le mode display." |
Déformation STT "mode display" (répétée en #13900 et à 21:22:52) |
C:\ASSISTANT_IA\JARVIS_LIVE_VOICE\server.pyJARVIS_KEYTERMS dans ElevenLabs Scribe v2 (L3995-4036) :data.add_field("keyterms", json.dumps(JARVIS_KEYTERMS)) dans transcribe_elevenlabs_scribe()."mode discret", "désactive le mode discret", "active le mode discret", "sors du mode discret", "quitte le mode discret", "désactivation du mode discret" pour polariser le modèle STT vers l'orthographe exacte.L4581-4665) :_DISCRET_PHONETIC_TARGET couvrant "mode discret", "mode display", "mode disque", "mode discord", "nombre discret", "mon disque".DISCRET_EXIT_PATTERNS (désactivation, sans du, hors du, plus de) et DISCRET_NATURAL_EXIT_PATTERNS (discuter, parler, ouvrir la discussion, pourquoi tu ne me réponds pas, tu m'entends maintenant, on est toujours en mode discret, ainsi que le segment tronqué ^(?:le|du) mode discret$).WAKE_WORD_REGEX pour inclure Janvis, Jean-Louis, Charles-Louis.DISCRET_META_DISCUSSION_PATTERNS) :DISCRET_ENTER_PATTERNS et exclusion explicite des phrases où Raphaël parle du mode discret ("avant qu'on passe en mode discret", "parce que effectivement, en mode discret, tu écoutes, mais tu ne dois pas répondre", "qu'est-ce qui s'est dit pendant le mode discret").configurer_interface(parametre="mode_discret") (L9709-9740) :user_turn_text satisfait is_discret_enter_command (pour activer) ou is_discret_exit_command (pour desactiver). Tout appel d'outil halluciné par Gemini Live sans demande réelle de Raphaël est bloqué et journalisé ([Mode Discret Garde-Fou]).ui_command redondant lorsque _set_discret_mode() a déjà émis discret_mode_changed.L8583-8608, L9154-9182, L10620-10646) :turn_in_progress = False et jarvis_is_speaking = False à chaque changement d'état dans _set_discret_mode().process_discret_turn(), abaissement du seuil à min_rms=100.0 et évaluation de is_discret_exit_command() avant la fenêtre in_echo_window (tout en filtrant les phrases d'auto-confirmation de Jarvis), garantissant qu'un ordre de sortie ne soit jamais avalé.if discret_mode:, abaissement du seuil de détection de 240.0 à 110.0 RMS, réduction du délai de silence serveur de 1.15s à 0.85s, et extension du pré-roll de 19 200 octets (0,6s) à 96 000 octets (3,0s) pour empêcher toute troncature du premier mot.public_jarvis/app.js et public/app.jsapplyDiscretModeUI) : lors de la réception de discret_mode_changed, réinitialise isUserSpeaking, silenceTimer, maxSpeechTimer et preRollChunks uniquement en cas de vrai changement d'état.configureOptionByVoice) : appelle applyDiscretModeUI(force) au lieu de toggleDiscretMode(force) pour ne pas renvoyer un set_discret_mode WebSocket + POST /api/discret_mode redondants au serveur.turn_complete) : prise en compte de this.isPlayingRobusteAudio dans le gestionnaire turn_complete même lorsque voiceMode === 'live'.Le script de test unitaire a validé :
- 17 / 17 (100%) des phrases réelles de sortie prononcées par Raphaël (incluant toutes les déformations STT d'Audio Vault) -> is_discret_exit_command == True et is_discret_enter_command == False.
- 7 / 7 (100%) des phrases explicatives / méta sur le Mode Discret -> is_discret_enter_command == False (0 faux positif).
- 7 / 7 (100%) des commandes légitimes d'activation -> is_discret_enter_command == True.
- 4 / 4 (100%) des variantes phonétiques du mot-clé d'interpellation (Jarvis, Janvis, Jean-Louis, Charles-Louis) -> contains_wake_word == True.