Date : 16/10/2026
Demandeur : Raphaël
Évaluer la faisabilité d'un mode dans lequel Jarvis continue d'écouter et de transcrire le son ambiant sans répondre vocalement, puis peut restituer ce qu'il a entendu si Raphaël le demande après avoir désactivé ce mode.
Faisable, et à ~80% déjà construit par accident. Trois briques nécessaires existent déjà séparément dans JARVIS_LIVE_VOICE\server.py : (1) un mode veille/actif (listening_mode) qui sait déjà écouter sans répondre tant qu'un mot-clé n'est pas prononcé, (2) un module audio_vault.py complet (SQLite + index plein-texte FTS5 + archivage audio compressé Opus) qui sait déjà stocker et rechercher des échanges passés, (3) un mécanisme de bascule vocale de mode déjà câblé (config_ui / parametre / valeur) utilisé pour écran noir, filtre biométrique, VAD, etc. Le travail réel n'est pas de construire un nouveau sous-système — c'est de relier ces trois briques entre elles pour le cas précis "écouter sans jamais rien dire, puis répondre à une question sur ce qui a été entendu". Le seul point réellement incertain techniquement concerne le pipeline /ws/jarvis_live (Gemini Live natif), détaillé en section 3.
server.py lignes 5541-5559 : un mode listening_mode ("active" / "passive") bascule automatiquement en veille après 10 minutes d'inactivité (INACTIVITY_TIMEOUT_S = 600, ligne 295). En mode "passive", chaque tour est transcrit (la transcription a déjà lieu avant ce test, ligne 5454) puis, si contains_wake_word(user_text) est faux (ligne 5549) :
print(f"[Mode Veille] Ignore (pas de mot-cle) : {user_text}")
continue
C'est exactement la moitié du besoin ("écouter sans répondre") — mais c'est un puits sans fond : rien n'est conservé, ni le texte, ni l'audio. Impossible aujourd'hui de demander "qu'est-ce que j'ai dit pendant que tu étais en veille" : la réponse n'existe nulle part.
audio_vault.py (créé le 30/09-01/10/2026, cf. précédent ANALYSE_FAISABILITE_ENREGISTREMENT_STOCKAGE_AUDIO_RAPHAEL_20260930.md) tourne déjà en production :
- Table SQLite conversations_history (WAL mode) + table virtuelle conversations_history_fts (FTS5) avec triggers de synchro automatique (lignes 58-100).
- queue_save_incoming_audio() / queue_save_outgoing_audio() : encodent le PCM en Opus 32 kbps via ffmpeg (sans bloquer l'event loop asyncio — thread worker dédié) et journalisent texte + audio_path + similarité biométrique + session_id + turn_id (lignes 266-296).
- search_conversations_history(query, limit) (lignes 336-377) : recherche plein texte déjà fonctionnelle, avec repli LIKE si FTS5 ne matche rien.
- Ring buffer glissant plafonné à 1 000 Mo (MAX_ROLLING_BYTES, purge FIFO automatique, lignes 104-129) — donc pas de croissance illimitée du disque.
Mais cet archivage n'est aujourd'hui branché qu'à deux endroits précis, tous deux en aval d'un tour entièrement traité par le cerveau :
- record_relay_exchange() (ligne 3075-3093) → appelle audio_vault.record_history_text() pour le texte seul, à chaque échange relayé (donc seulement si le tour arrive jusqu'au cerveau).
- Ligne 9658-9679 (endpoint /ws/jarvis_live uniquement) : archive aussi le PCM compressé, mais seulement if turn_user_pcm and clean_user_text — c'est-à-dire après qu'un tour complet ait été traité par Gemini Live.
Autrement dit : aujourd'hui, rien n'est archivé pour un son qui n'a jamais déclenché de réponse du cerveau — exactement le cas d'usage du mode discret. C'est le vrai trou à combler, pas une brique à inventer.
Pattern déjà utilisé pour 7 réglages (cerveau, mode_mission, mode_casque, filtres_audio, ecran_noir, filtre_voix, vad, outils, mode_reponse, routage_auto — énumération ligne 6977) :
1. Une liste de regex (CONFIG_XXX_PATTERNS, ex. ligne 4712 pour VAD) détecte la phrase vocale.
2. parse_ui_voice_command() retourne UIVoiceCommand(action="config_ui", parametre="xxx", valeur="activer/desactiver/basculer").
3. Un bloc elif cmd_parametre == "xxx": (lignes 5697-5716) applique l'effet sur session_state et choisit le message de confirmation vocale unique avant de continue (pas de passage par le cerveau pour la confirmation elle-même).
C'est le point d'ancrage naturel pour un nouveau parametre="mode_discret".
voice_id.py calcule déjà une similarité cosinus contre le profil vocal enrôlé de Raphaël à chaque tour (lignes 5513-5535), et cette similarité est déjà transmise à audio_vault comme métadonnée (similarity_score, colonne existante). Donc on sait déjà, pour chaque segment audio capté, distinguer "probablement Raphaël" de "quelqu'un/quelque chose d'autre" — sans devoir ajouter de nouvelle détection.
Pas de nouveau composant VAD nécessaire — le VAD existant (silence côté /ws/audio, VAD natif Gemini côté /ws/jarvis_live, lignes 297-320) continue de segmenter la parole exactement comme aujourd'hui. Le changement est uniquement dans le traitement après transcription, pas dans la capture.
Point de vigilance réel : la phrase de sortie du mode discret doit être détectée localement (regex simple, comme contains_wake_word() aujourd'hui) et non via un appel au cerveau — sinon on retombe dans le problème que le mode discret est censé éviter (il ne doit déclencher aucun appel LLM/réponse tant qu'il est actif, sauf exactement cette phrase de sortie). Risque associé : une mauvaise transcription de la phrase de sortie laisserait Raphaël bloqué en mode discret sans le savoir. À mitiger par une phrase de sortie suffisamment distinctive (ex. "Jarvis, sors du mode discret" plutôt qu'un simple "stop") et/ou un bouton de bascule dans l'interface web déjà existante (les autres config_ui ont déjà ce double accès vocal + UI).
Deux sous-problèmes distincts :
a) Captation pendant le mode discret. Il faut écrire dans audio_vault à l'endroit où le code actuel fait continue sans rien garder (ligne 5552, mode veille actuel) — pas une nouvelle table, juste un nouvel appel à une fonction qui existe déjà (record_history_text / queue_save_incoming_audio). Décision à trancher par Raphaël (comme pour l'archivage audio en 09/2026) : capter tout le son ambiant transcrit, ou seulement les segments où voice_id confirme que c'est la voix de Raphaël (filtrage par similarité déjà calculée) ? Le second est plus propre (pas de voix de tiers/télé/radio enregistrées) mais perd un son ambiant non verbal (bruit, musique) que Raphaël pourrait vouloir aussi comme "ce qui s'est passé".
b) Restitution après désactivation. search_conversations_history() existe mais est conçue pour une recherche par mot-clé (FTS5) — pas pour "tout ce qui s'est dit entre l'heure T1 et T2". C'est la seule vraie fonction manquante, et elle est triviale : une requête SQL par plage de timestamp sur la même table (SELECT ... WHERE timestamp BETWEEN ? AND ?), aucun nouveau schéma. Il faut aussi mémoriser l'horodatage de début/fin de chaque fenêtre de mode discret (un simple session_state["discreet_since_ts"] suffit, pas de nouvelle table) pour que Raphaël puisse dire "qu'est-ce que tu as entendu" sans préciser d'heure.
Ensuite, il faut exposer cette requête comme outil appelable par le cerveau (même registre de function-calling que deleguer_mission, controler_lecteur_audio, etc. déjà présents) afin que "raconte-moi ce qui s'est passé pendant le mode discret" déclenche un appel outil → résumé en langage naturel, plutôt qu'une simple lecture brute du transcript.
Le mode discret enregistre potentiellement bien plus de segments que l'usage actuel (qui n'archive que les tours traités par le cerveau). Mais le calcul de dimensionnement déjà fait en 09/2026 reste valable à l'identique : PCM 16 kHz mono = 1,875 Mo/minute brut, et l'encodage Opus 32 kbps + le ring buffer plafonné à 1 000 Mo (déjà en place) absorbent largement même une écoute continue de plusieurs heures/jour. Aucun risque de saturation disque (742 Go libres constatés en 09/2026).
/ws/jarvis_live (Gemini Live natif)Sur /ws/audio (pipeline classique STT → cerveau → TTS), la transcription locale (transcribe_pcm_audio()) est déjà découplée de l'appel au cerveau — il suffit de ne pas appeler le cerveau et de ne pas appeler announce()/synthesize_speech_mp3(). Trivial à adapter.
Sur /ws/jarvis_live, l'architecture est différente : chaque chunk PCM est transmis directement à l'API Gemini Live (session.send_realtime_input, ligne ~3641) qui fait elle-même la compréhension et génère nativement une réponse audio en streaming — il n'y a pas d'étape locale "transcription seule" interposée avant la génération de réponse. Deux options, de fiabilité inégale :
| Option | Principe | Fiabilité |
|---|---|---|
| A — Recommandée : bypass complet de Gemini Live pendant le mode discret | Pendant le mode discret, ne pas envoyer le flux à session.send_realtime_input ; router plutôt le même audio vers le chemin local déjà utilisé sur /ws/audio (segmentation VAD + transcribe_pcm_audio()) uniquement pour l'archivage, sans jamais solliciter de modèle génératif. |
Haute — réutilise un chemin déjà éprouvé, zéro risque que Gemini "parle quand même" |
B — Reconfigurer Gemini Live en sortie texte seule (response_modalities=["TEXT"] au lieu de AUDIO) et ne jamais transmettre ce texte à une synthèse vocale |
Reste sur le pipeline natif, récupère un transcript Gemini au lieu d'un texte ElevenLabs/Google STT | Moyenne — dépend du comportement exact de l'API Gemini Live face à un changement de modalité à chaud en cours de session (non vérifié empiriquement dans ce code), et Gemini pourrait quand même tenter de "répondre" sous forme de texte conversationnel plutôt que de pure transcription |
L'option A est la seule à ne présenter aucune zone grise : elle traite le mode discret comme un "mode local, sans modèle", quel que soit l'endpoint par lequel la connexion est arrivée.
┌─────────────────────────────────────────────────────────────────┐
│ Déclenchement (vocal, les deux sens) │
│ "active/désactive le mode discret" → CONFIG_DISCREET_PATTERNS │
│ → UIVoiceCommand(action="config_ui", parametre="mode_discret") │
└───────────────────────────────┬───────────────────────────────┘
▼
┌─────────────────────────────────────────────────────────────────┐
│ session_state["discreet_mode"] = True/False │
│ session_state["discreet_since_ts"] = time.time() (si activé) │
│ Confirmation vocale UNIQUE à l'activation, puis silence total │
│ jusqu'à la phrase de sortie ou désactivation UI │
└───────────────────────────────┬───────────────────────────────┘
▼
┌─────────────────────────────────────────────────────────────────┐
│ Boucle de tour (les deux endpoints, avant tout appel cerveau) : │
│ 1. Transcription locale (inchangée, déjà systématique) │
│ 2. Si discreet_mode et phrase de sortie détectée (regex locale) │
│ → discreet_mode=False, annoncer réactivation + offrir résumé │
│ 3. Sinon si discreet_mode : │
│ → voice_id.similarity (déjà calculé) pour tag speaker │
│ → audio_vault.record_history_text() / queue_save_incoming_ │
│ audio() avec le texte + PCM (décision de portée : tout │
│ vs. uniquement voix reconnue de Raphaël) │
│ → continue (ZÉRO appel cerveau, ZÉRO TTS) │
│ 4. Sinon : comportement actuel inchangé │
└───────────────────────────────┬───────────────────────────────┘
▼
┌─────────────────────────────────────────────────────────────────┐
│ Restitution (après désactivation, à la demande) : │
│ Nouvelle fonction audio_vault.get_history_window(start_ts, │
│ end_ts) — SELECT par plage de timestamp, même table, pas de │
│ FTS nécessaire. │
│ Nouvel outil function-calling (ex. "consulter_ecoute_discrete") │
│ exposé au cerveau au même titre que les outils existants → │
│ Raphaël demande "qu'as-tu entendu pendant le mode discret" → │
│ le cerveau appelle l'outil → synthèse en langage naturel. │
└─────────────────────────────────────────────────────────────────┘
Comme pour l'archivage audio de 09/2026, ce ne sont pas des détails techniques — elles changent le comportement observable :
| # | Question | Options | Impact |
|---|---|---|---|
| 1 | Portée de la captation | (a) Tout le son ambiant transcrit, (b) uniquement les segments où voice_id confirme "voix de Raphaël" |
(a) capte aussi d'autres voix/TV/radio présentes dans la pièce ; (b) plus respectueux mais perd le contexte ambiant non-Raphaël |
| 2 | Phrase de sortie | Une phrase fixe dédiée ("sors du mode discret") vs. tolérance à des variantes | Une phrase trop courte/commune risque un faux déclenchement ; trop rigide risque un blocage si mal transcrite — prévoir aussi un bouton UI de secours (déjà le cas pour les autres config_ui) |
| 3 | Expiration automatique | Mode discret permanent jusqu'à ordre explicite, ou auto-désactivation après N minutes (même logique que les 10 min de veille actuelles) | Sans expiration, risque d'un mode discret oublié qui tourne indéfiniment en arrière-plan sans que Raphaël s'en souvienne |
| 4 | /ws/jarvis_live |
Option A (bypass Gemini Live, recommandé) vs. Option B (reconfig modalité texte, plus risqué) | Change l'implémentation de cet endpoint spécifiquement — voir section 3 |
| 5 | Format de restitution | Résumé synthétisé par le cerveau (langage naturel) vs. lecture brute du transcript chronologique | Le résumé est plus naturel à l'oreille (cohérent avec la règle de synthèse vocale orale) mais passe par un appel cerveau après coup ; la lecture brute est plus fidèle mais moins fluide |
Pas un nouveau sous-système à construire : un nouveau mode de bascule (schéma déjà généralisé 7 fois dans le code) qui redirige la transcription déjà systématique vers l'archivage déjà existant (audio_vault) au lieu de la jeter (continue actuel du mode veille) ou de l'envoyer au cerveau. La seule fonction réellement nouvelle à écrire est une requête SQL par plage de temps (quelques lignes, même table). Le seul point d'incertitude technique non résolu sans test empirique concerne le comportement de l'API Gemini Live en reconfiguration de modalité à chaud sur /ws/jarvis_live — contournable sans risque par l'option A (bypass local). Effort estimé : quelques heures de développement, zéro nouvelle dépendance, zéro coût récurrent.
Exploration directe du code : JARVIS_LIVE_VOICE\server.py (lignes 295-320 VAD natif, 4510-4518 contains_wake_word/strip_wake_word, 4712 CONFIG_VAD_PATTERNS, 4917-4964 bloc de détection config_ui, 5246-5274 init session_state, 5440-5559 boucle de tour /ws/audio incl. mode veille actuel, 5688-5718 application des bascules config_ui, 5513-5535 filtrage biométrique voice_id, 9646-9679 archivage audio_vault sur /ws/jarvis_live), JARVIS_LIVE_VOICE\audio_vault.py (intégral), précédent ANALYSE_FAISABILITE_ENREGISTREMENT_STOCKAGE_AUDIO_RAPHAEL_20260930.md.