Date : 9 Octobre 2026 — 14:40 (Heure locale Guadeloupe UTC-4)
Destinataire : Raphaël
Auteur : Antigravity (Advanced Agentic Architecture & Audio DSP Engineering)
Périmètre : JARVIS Live Voice (JARVIS_ANDROID v1.5.3 Build 18, public_jarvis/app.js, public/app.js, server.py)
Déclencheur : Analyse demandée suite aux difficultés de reconnaissance vocale en main libre (voix lointaine, bruit de roulement voiture, faux positifs, coupures de captation).
L'audit complet de la chaîne de traitement audio (du matériel Android jusqu'au serveur IA) confirme que des filtres audio DSP sont bel et bien actifs en continu par défaut sur le smartphone, mais que leurs réglages actuels ont été calibrés pour un usage téléphone en main à 10 cm de la bouche, et non pour le mode main libre (0,8 m à 2 m) :
audioFiltersEnabled = ON) :public_jarvis/app.js et public/app.js, la chaîne HighPass (85 Hz) -> Notch (6 200 Hz) -> Compressor -> Analyser -> Processor filtre activement l'audio envoyé à Gemini Live et ElevenLabs.-24 dBFS, un ratio extrême de 12:1 et zéro Make-up Gain, il n'amplifie pas du tout la voix lointaine (qui arrive entre -35 et -45 dBFS en main libre), tout en écrasant brutalement la dynamique dès qu'un bruit de voiture survient.s, ch, f, z). En main libre, où les aigus s'atténuent vite avec la distance, la voix devient sourde et méconnaissable pour les IA (provoquant des hallucinations de mots comme l'espagnol "También la pelo" noté dans les logs à 14h16).JarvisWakeWordEngine.kt, l'annulation d'écho (AcousticEchoCanceler) et le réducteur de bruit (NoiseSuppressor) sont instanciés, mais le contrôle automatique de gain (AutomaticGainControl) n'est jamais activé. Sans AGC matériel, la voix à 1,5 mètre n'a pas assez d'énergie pour franchir le seuil d'activation acoustique.headphoneMode est inactif. Le micro est coupé à 100% tant que Jarvis diffuse du son, interdisant toute interruption (barge-in) et créant une impression de micro "sourd" lors des enchaînements.flowchart TD
subgraph ETAGE1 ["📱 ÉTAGE 1 : MATÉRIEL & HAL ANDROID (Smartphone)"]
direction TB
MIC["Microphone Physique\n(Mode Main Libre / Haut-Parleur)"]
AS["AudioSource : VOICE_RECOGNITION\nMode : MODE_IN_COMMUNICATION (VoIP)"]
AEC["AcousticEchoCanceler (AEC)\n[ACTIF si dispo]"]
NS["NoiseSuppressor (NS)\n[ACTIF si dispo]"]
AGC["AutomaticGainControl (AGC)\n❌ ABSENT DU CODE KOTLIN"]
MIC --> AS
AS --> AEC
AS --> NS
end
subgraph ETAGE2 ["🌐 ÉTAGE 2 : WEBRTC / CHROMIUM (WebView)"]
direction TB
GUM["getUserMedia() Constraints :\nechoCancellation: true\nnoiseSuppression: true\nautoGainControl: true"]
AEC --> GUM
NS --> GUM
end
subgraph ETAGE3 ["🎛️ ÉTAGE 3 : DSP WEB AUDIO CLIENT (app.js)"]
direction TB
HP["BiquadFilter : High-Pass 85 Hz\nQ=0.707 (Pente 12 dB/oct)"]
NOTCH["BiquadFilter : Notch 6 200 Hz\nQ=2.5 (Atténuation -24 dB)"]
COMP["DynamicsCompressor :\nThreshold -24 dBFS | Ratio 12:1\nKnee 30 dB | Attack 3ms | Release 250ms\n❌ Make-up Gain : 0 dB"]
LOCK["Anti-Echo Half-Duplex Lock :\nMicro muté si isPlayingAudio = true"]
GUM --> HP
HP --> NOTCH
NOTCH --> COMP
COMP --> LOCK
end
subgraph ETAGE4 ["📊 ÉTAGE 4 : VAD & SPOTTER ACOUSTIQUE"]
direction TB
VAD_WW["Wake Word Engine (Kotlin) :\nambientNoise adaptatif (~300 RMS)\nspeechThreshold = max(ambient*2.2, 380 RMS)"]
VAD_ROB["VAD Mode Robuste (JS) :\nbaseThreshold = 0.012 | noiseFloor = 0.006\neffectiveThreshold = noise*2.2 + 0.004"]
end
subgraph ETAGE5 ["🧠 ÉTAGE 5 : SERVEUR & IA (server.py)"]
direction TB
BIO["Filtre Biométrique Raphaël :\nCosine Similarity >= 0.80"]
STT["Gemini 3.1 Live / ElevenLabs Scribe v2"]
LOCK --> BIO
BIO --> STT
end
classDef ok fill:#2E7D32,stroke:#1B5E20,color:#fff;
classDef warn fill:#F57F17,stroke:#E65100,color:#fff;
classDef danger fill:#C62828,stroke:#B71C1C,color:#fff;
classDef neutral fill:#37474F,stroke:#263238,color:#fff;
class HP,AEC ok;
class NS,GUM,BIO warn;
class AGC,NOTCH,COMP,LOCK,VAD_WW danger;
| Composant DSP | Réglage Actuel (Production) | Comportement en Main Libre | Diagnostic & Défaut | Réglage Recommandé (Optimisé) |
|---|---|---|---|---|
| Passe-haut (High-Pass) | 85 Hz, $Q=0.707$ (Butterworth) | Coupe grondements moteur & clim sous 85 Hz | ✅ Excellent : ne touche pas la voix humaine (> 95 Hz pour un homme). | Maintenir à 85 Hz, $Q=0.707$ |
| Coupe-bande (Notch) | 6 200 Hz, $Q=2.5$ | Creuse la zone 5 000 – 7 500 Hz | 🔴 Nuisible en main libre : supprime les consonnes fricatives (s, ch, f). |
Désactiver par défaut en voiture / intérieur ; activer uniquement sur profil "Terrasse/Soirée". |
| Compresseur Dynamique | Seuil -24 dBFS, Ratio 12:1, Knee 30 dB, Attack 3ms, Release 250ms | N'amplifie pas les sons faibles, écrase les bruits | 🔴 Inadapté : voix à 1,5m arrive à -38 dBFS (non amplifiée). Zéro make-up gain. | Seuil -34 dBFS, Ratio 3.5:1, Knee 12 dB, Make-up Gain +7 dB. |
| Make-up Gain (Web Audio) | Absent (0 dB) | Signal distant trop faible | 🔴 Signal noyé dans le bruit de fond pour l'API. | Insérer un GainNode(value = 2.2) (+7 dB) en sortie de compresseur. |
| AGC Matériel (Kotlin) | Non implémenté | Aucune adaptation automatique du gain micro | 🔴 La voix à 1 m perd 15 dB par rapport à 10 cm. | Activer AutomaticGainControl.create(sessionId) dans JarvisWakeWordEngine.kt. |
| AEC Matériel (Kotlin) | Actif si disponible | Réduit l'écho du haut-parleur | ⚠️ Utile mais insuffisant si le volume média est au max. | Maintenir AcousticEchoCanceler. |
| NoiseSuppressor (Kotlin) | Actif si disponible | Réduit le souffle permanent | ⚠️ Tendance à étouffer la sibilance finale [is] du mot "Jarvis". | Tester avec profil adouci ou filtrage spectral ciblé. |
| VAD Wake Word (Seuil) | ambientNoise * 2.2 (plancher 380 RMS) |
En voiture/clim, le seuil monte à 700-900 RMS | 🔴 La voix distante (~500 RMS) ne déclenche jamais le Wake Word. | Remplacer par un calcul SNR dynamique + passe-haut 85 Hz sur le buffer PCM brut. |
| Anti-Écho Half-Duplex | Coupure micro 100% si isPlayingAudio |
Mute complet du micro pendant la parole de Jarvis | ⚠️ Bloque le barge-in et coupe les débuts d'intervention rapide. | Passer en ducking (-14 dB) plutôt qu'en coupure totale (0%). |
Filtre Biométrique (server.py) |
Cosine similarity $\ge 0.80$ | Voix déformée/lointaine rejetée | ⚠️ Si la captation est affaiblie, le score tombe sous 0.80. | Abaisser à 0.74 en mode voiture/main libre ou auto-recalibrer le vecteur. |
En champ acoustique libre :
$$p(r) = p_0 \cdot \frac{r_0}{r}$$
- À $r = 10\text{ cm}$ (téléphone tenu près de la bouche) : pression $p_0$, amplitude crête $\approx -16\text{ dBFS}$.
- À $r = 1\text{ mètre}$ (téléphone sur support voiture ou table) : la distance est multipliée par 10, la pression acoustique est divisée par 10 :
$$\Delta L = 20 \log_{10}(0.1) = -20\text{ dB}$$
- La voix arrive donc à $-36\text{ dBFS}$ au niveau de la membrane du micro !
Le DynamicsCompressorNode de Web Audio fonctionne en atténuateur descendant (downward compressor) :
- Tout signal en dessous du seuil (-24 dBFS) traverse le compresseur avec un gain unité ($0\text{ dB}$).
- Comme la voix en main libre est à $-36\text{ dBFS}$, elle n'est pas compressée, mais elle n'est pas non plus rehaussée !
- En revanche, si un bruit transitoire (nid-de-poule, clignotant, voix radio) dépasse $-24\text{ dBFS}$, le compresseur l'écrase avec un ratio 12:1 et applique une détente de 250 ms, pendant laquelle la voix de Raphaël est encore plus étouffée !
app.js)Remplacer la configuration du compresseur dans setupAudioPipeline() par une chaîne de dynamique adaptée au champ lointain :
// 1. Passe-haut 85 Hz (conservé, excellent)
this.highPassFilter.frequency.setValueAtTime(85, this.audioContext.currentTime);
this.highPassFilter.Q.setValueAtTime(0.707, this.audioContext.currentTime);
// 2. Compresseur doux avec compensation de distance
this.compressor.threshold.setValueAtTime(-34, this.audioContext.currentTime); // Déclenche dès -34 dBFS
this.compressor.knee.setValueAtTime(15, this.audioContext.currentTime);
this.compressor.ratio.setValueAtTime(3.5, this.audioContext.currentTime); // Ratio doux (pas un limiteur 12:1)
this.compressor.attack.setValueAtTime(0.005, this.audioContext.currentTime); // 5 ms
this.compressor.release.setValueAtTime(0.12, this.audioContext.currentTime); // 120 ms (détente 2x plus rapide)
// 3. Make-up Gain dédié (+7.5 dB)
this.makeupGain = this.audioContext.createGain();
this.makeupGain.gain.setValueAtTime(2.37, this.audioContext.currentTime); // +7.5 dB de remontée de voix
s, z, ch).JarvisWakeWordEngine.ktAjouter le support natif du composant Android AutomaticGainControl :
import android.media.audiofx.AutomaticGainControl
// Dans initAudioRecord(), après l'AEC et le NoiseSuppressor :
if (AutomaticGainControl.isAvailable()) {
try {
gainControl = AutomaticGainControl.create(sessionId)?.apply { enabled = true }
Log.d(tag, "AutomaticGainControl (AGC) activé sur session $sessionId")
} catch (e: Exception) {
Log.w(tag, "AutomaticGainControl non disponible: ${e.message}")
}
}
Les filtres actuels ne sont pas défaillants, mais inadéquats pour le cas d'usage main libre à distance.
En appliquant le réglage de compresseur champ lointain (-34 dBFS / ratio 3.5:1), le Make-up Gain (+7.5 dB), le bypass du filtre 6.2 kHz et l'activation de l'AGC matériel Android, la captation vocale à 1,5 mètre retrouvera un niveau sonore équivalent à une conversation tenue à 20 cm, sans distorsion ni coupure de consonne.