Date : 08 octobre 2026
Auteur : Antigravity (Jarvis Core)
Destinataire : Raphaël
Contexte : Suite à l'analyse approfondie des deux vidéos YouTube sur l'écosystème DeepSeek (Alejavi Rivera et Pentiminax) et à la question de Raphaël sur l'opportunité d'intégrer DeepSeek Janus (ou de le faire tourner en parallèle) pour enrichir ou doubler notre chaîne d'analyse vidéo e-commerce / UGC.
L'analyse des vidéos YouTube portait sur DeepSeek Harness (dsh), tandis que la question actuelle mentionne DeepSeek Janus. Il convient de bien distinguer ces deux technologies complémentaires de DeepSeek :
dsh) : Framework agentique et environnement d'exécution autonome (basé sur le micro-noyau Cordis, le Creator Mode et le système de plugins) présenté dans les deux vidéos YouTube.L'étude ci-dessous examine rigoureusement les deux volets :
- L'apport intrinsèque du modèle DeepSeek Janus pour décortiquer des vidéos.
- L'apport éventuel du runtime DeepSeek Harness pour orchestrer cette analyse en parallèle.
DeepSeek Janus (notamment sa version perfectionnée Janus-Pro) repose sur un découpage novateur :
- Un encodeur visuel SigLIP dédié exclusivement à la compréhension d'images.
- Un tokenizer visuel discret vectoriel pour la génération d'images.
Conséquence technique majeure : Janus ne dispose d'aucun mécanisme de tokenisation temporelle (pas d'ingestion native de flux vidéo continu, pas d'attention spatiotemporelle 3D). Pour lui faire "analyser" une vidéo, il faut impérativement découper au préalable le fichier .mp4 en images fixes (keyframes via ffmpeg) et les lui soumettre image par image.
L'architecture de compréhension de Janus compresse et redimensionne les images en 384 × 384 px.
- En e-commerce (publicités Meta, TikTok, Reels, Minea), une grande part de la valeur se situe dans les détails fins : petits textes incrustés (promotions, sous-titres, mentions légales, réassurance), logos discrets de marques concurrentes, ou texture réelle du produit (matériaux, finitions).
- À 384 × 384 px, ces détails subissent un flou destructeur, rendant l'OCR peu fiable et la détection d'artefacts fins impossible.
Janus est strictement visuel. Il n'a aucune capacité d'ingestion de flux audio :
- Or, dans une vidéo publicitaire UGC ou concurrente, 50 % du pouvoir de conversion réside dans l'audio : le hook vocal des 3 premières secondes ("Arrêtez de jeter votre argent..."), l'intonation de l'acteur UGC, le tempo de la musique, et la cohérence entre ce qui est dit et ce qui est montré à l'écran.
- Utiliser Janus oblige à ajouter une couche STT externe distincte (Whisper/ElevenLabs), rompant la corrélation temporelle naturelle entre l'image et le son.
Le système actuel d'Antigravity et de Claude Code utilise une architecture duale éprouvée en production (tools/antigravity_video_analysis.py) :
graph TD
subgraph Actuel ["Système Actuel en Production (Robuste & Précis)"]
V[Vidéo MP4 Locale Téléchargée]
V -->|Vidéo Complète + Audio| GEMINI[Gemini Multimodal via Antigravity<br/>• Lecture native 1M+ tokens<br/>• Vidéo continue + Audio en direct<br/>• Hook 0-3s + Rythme + Glitches]
V -->|Frames HD 1080p extraites| CLAUDE[Claude 3.7 Sonnet via Claude Code<br/>• Analyse haute résolution<br/>• OCR chirurgical sur petits textes]
GEMINI --> SYNTH[Double Arbitrage Croisé & Décision]
CLAUDE --> SYNTH
end
subgraph OptionJanus ["Hypothèse DeepSeek Janus (En Parallèle)"]
V2[Vidéo MP4 Locale]
V2 -->|Découpage ffmpeg| FRAMES[Frames 384x384]
FRAMES --> JANUS[DeepSeek Janus 7B<br/>• Pas d'audio<br/>• Résolution basse 384px<br/>• Lourd en local / Pas de temporalité]
JANUS -.->|Plus-value faible/négative| REGRET[Résultat partiel et redondant]
end
| Critère d'Évaluation | Gemini Multimodal (Antigravity Actuel) | Claude 3.7 Sonnet (Claude Code Actuel) | DeepSeek Janus-Pro 7B (Envisagé) |
|---|---|---|---|
| Prise en charge vidéo | 🟢 Native (fichier .mp4 brut direct) |
🟡 Frames clés haute fidélité | 🔴 Découpage frames obligatoire |
| Compréhension audio | 🟢 Oui (voix-off, musique, synchro) | 🔴 Non (visuel uniquement) | 🔴 Non (visuel uniquement) |
| Résolution d'image | 🟢 Haute résolution native adaptative | 🟢 Pleine résolution jusqu'à 2K | 🔴 Faible (384 × 384 pixels) |
| Fenêtre de contexte | 🟢 1M à 2M tokens (lit 1h de vidéo) | 🟢 200 000 tokens | 🔴 Faible (quelques milliers de tokens) |
| Analyse du Hook 0-3s | 🟢 Excellente (audio + visuel simultanés) | 🟢 Excellente (sur les premières frames) | 🟠 Partielle (muette, sans dynamique) |
| Détection des artefacts IA | 🟢 Très haute (glitches de mouvement) | 🟢 Très haute (anatomie, difformités) | 🟡 Moyenne (limité par le 384px) |
| Vitesse d'exécution | 🟢 2 à 5 secondes | 🟢 3 à 6 secondes | 🔴 5 à 10 min (CPU) / ~10-15s (GPU) |
| Coût à l'analyse | 🟢 Inclus / Fractions de centime | 🟢 Facturation token standard | 🟡 Coût GPU ou CPU local lourd |
dsh) pour la Vidéo ?Dans la première vidéo YouTube (Alejavi Rivera), le présentateur mettait en avant le plugin Topview MCP pour scraper et analyser des signaux sur TikTok, YouTube et Amazon.
Serait-il pertinent d'utiliser DeepSeek Harness comme moteur parallèle ?
tools/media_downloader.py, tools/extract_ads_library.py), et d'un contrôle direct de Chromium via CDP/Playwright. Injecter dsh pour faire ce que nos scripts Python réalisent déjà en direct n'apporterait qu'une couche de complexité sans gain fonctionnel.BACKLOG_PROJETS.md), dsh est en Developer Preview v0.2.0-rc.2, avec des bugs avérés de validation silencieuse (succès déclaré alors qu'une erreur interne s'est produite). L'intégrer dans le pipeline critique de production vidéo poserait des risques de fiabilité.Si l'objectif de Raphaël est d'avoir un troisième regard indépendant ou un modèle open-source d'appoint en cas de saturation de quota, DeepSeek Janus n'est pas le bon cheval pour la vidéo.
Le standard actuel de l'open-source pour l'analyse vidéo dynamique est :
- Qwen2.5-VL (7B / 72B) : Modèle visuel de pointe gérant nativement la résolution dynamique (Dynamic Resolution) et la vidéo continue jusqu'à plus de 20 minutes avec repérage temporel exact (timestamps d'événements).
- Video-LLaVA / InternVideo2 : Modèles spécialisés dans la modélisation spatio-temporelle continue.
Même dans ce cas, tant que le pool de clés Gemini et Claude Code reste opérationnel, le duo actuel offre un niveau de complétude (audio + visuel + 1080p) qu'aucun modèle 7B local ne peut concurrencer sur la configuration matérielle actuelle.
dsh) pour piloter la vidéo ?dsh est encore instable (v0.2 rc) et ferait doublon avec les outils d'extraction et d'orchestration natifs de notre socle.Rapport d'expertise technique généré par Antigravity Core.