Généré le 14/10/2026 10:01

🔬 Étude de Faisabilité : Intégration de DeepSeek Janus (ou en Parallèle) pour l'Analyse Vidéo

Date : 08 octobre 2026
Auteur : Antigravity (Jarvis Core)
Destinataire : Raphaël
Contexte : Suite à l'analyse approfondie des deux vidéos YouTube sur l'écosystème DeepSeek (Alejavi Rivera et Pentiminax) et à la question de Raphaël sur l'opportunité d'intégrer DeepSeek Janus (ou de le faire tourner en parallèle) pour enrichir ou doubler notre chaîne d'analyse vidéo e-commerce / UGC.


📌 1. Clarification Préliminaire : Janus vs Harness

L'analyse des vidéos YouTube portait sur DeepSeek Harness (dsh), tandis que la question actuelle mentionne DeepSeek Janus. Il convient de bien distinguer ces deux technologies complémentaires de DeepSeek :

  1. DeepSeek Janus / Janus-Pro (1B / 7B) : Modèle d'intelligence artificielle multimodal unifié (vision-langage) développé par DeepSeek, combinant la compréhension d'images fixes et la génération d'images à partir de prompts textuels.
  2. DeepSeek Harness (dsh) : Framework agentique et environnement d'exécution autonome (basé sur le micro-noyau Cordis, le Creator Mode et le système de plugins) présenté dans les deux vidéos YouTube.

L'étude ci-dessous examine rigoureusement les deux volets :
- L'apport intrinsèque du modèle DeepSeek Janus pour décortiquer des vidéos.
- L'apport éventuel du runtime DeepSeek Harness pour orchestrer cette analyse en parallèle.


🔍 2. Fonctionnement & Limites Fondamentales de DeepSeek Janus pour la Vidéo

A. Une architecture conçue pour l'image statique, pas pour la vidéo

DeepSeek Janus (notamment sa version perfectionnée Janus-Pro) repose sur un découpage novateur :
- Un encodeur visuel SigLIP dédié exclusivement à la compréhension d'images.
- Un tokenizer visuel discret vectoriel pour la génération d'images.

Conséquence technique majeure : Janus ne dispose d'aucun mécanisme de tokenisation temporelle (pas d'ingestion native de flux vidéo continu, pas d'attention spatiotemporelle 3D). Pour lui faire "analyser" une vidéo, il faut impérativement découper au préalable le fichier .mp4 en images fixes (keyframes via ffmpeg) et les lui soumettre image par image.

B. Résolution d'entrée bridée à 384 × 384 pixels

L'architecture de compréhension de Janus compresse et redimensionne les images en 384 × 384 px.
- En e-commerce (publicités Meta, TikTok, Reels, Minea), une grande part de la valeur se situe dans les détails fins : petits textes incrustés (promotions, sous-titres, mentions légales, réassurance), logos discrets de marques concurrentes, ou texture réelle du produit (matériaux, finitions).
- À 384 × 384 px, ces détails subissent un flou destructeur, rendant l'OCR peu fiable et la détection d'artefacts fins impossible.

C. Cécité acoustique totale (Zéro gestion audio)

Janus est strictement visuel. Il n'a aucune capacité d'ingestion de flux audio :
- Or, dans une vidéo publicitaire UGC ou concurrente, 50 % du pouvoir de conversion réside dans l'audio : le hook vocal des 3 premières secondes ("Arrêtez de jeter votre argent..."), l'intonation de l'acteur UGC, le tempo de la musique, et la cohérence entre ce qui est dit et ce qui est montré à l'écran.
- Utiliser Janus oblige à ajouter une couche STT externe distincte (Whisper/ElevenLabs), rompant la corrélation temporelle naturelle entre l'image et le son.

D. Exigences d'hébergement matériel (VRAM & CPU)


⚖️ 3. Comparatif Direct : Système Actuel vs DeepSeek Janus

Le système actuel d'Antigravity et de Claude Code utilise une architecture duale éprouvée en production (tools/antigravity_video_analysis.py) :

graph TD
    subgraph Actuel ["Système Actuel en Production (Robuste & Précis)"]
        V[Vidéo MP4 Locale Téléchargée]
        V -->|Vidéo Complète + Audio| GEMINI[Gemini Multimodal via Antigravity<br/>• Lecture native 1M+ tokens<br/>• Vidéo continue + Audio en direct<br/>• Hook 0-3s + Rythme + Glitches]
        V -->|Frames HD 1080p extraites| CLAUDE[Claude 3.7 Sonnet via Claude Code<br/>• Analyse haute résolution<br/>• OCR chirurgical sur petits textes]
        GEMINI --> SYNTH[Double Arbitrage Croisé & Décision]
        CLAUDE --> SYNTH
    end

    subgraph OptionJanus ["Hypothèse DeepSeek Janus (En Parallèle)"]
        V2[Vidéo MP4 Locale]
        V2 -->|Découpage ffmpeg| FRAMES[Frames 384x384]
        FRAMES --> JANUS[DeepSeek Janus 7B<br/>• Pas d'audio<br/>• Résolution basse 384px<br/>• Lourd en local / Pas de temporalité]
        JANUS -.->|Plus-value faible/négative| REGRET[Résultat partiel et redondant]
    end
Critère d'Évaluation Gemini Multimodal (Antigravity Actuel) Claude 3.7 Sonnet (Claude Code Actuel) DeepSeek Janus-Pro 7B (Envisagé)
Prise en charge vidéo 🟢 Native (fichier .mp4 brut direct) 🟡 Frames clés haute fidélité 🔴 Découpage frames obligatoire
Compréhension audio 🟢 Oui (voix-off, musique, synchro) 🔴 Non (visuel uniquement) 🔴 Non (visuel uniquement)
Résolution d'image 🟢 Haute résolution native adaptative 🟢 Pleine résolution jusqu'à 2K 🔴 Faible (384 × 384 pixels)
Fenêtre de contexte 🟢 1M à 2M tokens (lit 1h de vidéo) 🟢 200 000 tokens 🔴 Faible (quelques milliers de tokens)
Analyse du Hook 0-3s 🟢 Excellente (audio + visuel simultanés) 🟢 Excellente (sur les premières frames) 🟠 Partielle (muette, sans dynamique)
Détection des artefacts IA 🟢 Très haute (glitches de mouvement) 🟢 Très haute (anatomie, difformités) 🟡 Moyenne (limité par le 384px)
Vitesse d'exécution 🟢 2 à 5 secondes 🟢 3 à 6 secondes 🔴 5 à 10 min (CPU) / ~10-15s (GPU)
Coût à l'analyse 🟢 Inclus / Fractions de centime 🟢 Facturation token standard 🟡 Coût GPU ou CPU local lourd

🛠️ 4. Et si l'on parle de DeepSeek Harness (dsh) pour la Vidéo ?

Dans la première vidéo YouTube (Alejavi Rivera), le présentateur mettait en avant le plugin Topview MCP pour scraper et analyser des signaux sur TikTok, YouTube et Amazon.

Serait-il pertinent d'utiliser DeepSeek Harness comme moteur parallèle ?

  1. Un Harness est un orchestrateur, pas un œil :
    DeepSeek Harness est un gestionnaire d'agents (comme Claude Code ou Antigravity CLI). Il n'a aucun pouvoir de vision par lui-même. S'il doit analyser une vidéo, il doit obligatoirement faire appel à un modèle tiers (comme Claude ou Gemini) ou à un service externe payant via MCP (comme Topview).
  2. Double emploi inutile :
    L'environnement Antigravity et Claude Code dispose déjà d'un accès terminal complet sous Windows, de scripts de téléchargement vidéo autonomes (tools/media_downloader.py, tools/extract_ads_library.py), et d'un contrôle direct de Chromium via CDP/Playwright. Injecter dsh pour faire ce que nos scripts Python réalisent déjà en direct n'apporterait qu'une couche de complexité sans gain fonctionnel.
  3. Maturité insuffisante (Rappel audit du 07/10/2026) :
    Comme consigné dans le backlog (BACKLOG_PROJETS.md), dsh est en Developer Preview v0.2.0-rc.2, avec des bugs avérés de validation silencieuse (succès déclaré alors qu'une erreur interne s'est produite). L'intégrer dans le pipeline critique de production vidéo poserait des risques de fiabilité.

💡 5. Si nous devions ajouter un Modèle Visuel Alternatif en Parallèle : Le Bon Choix

Si l'objectif de Raphaël est d'avoir un troisième regard indépendant ou un modèle open-source d'appoint en cas de saturation de quota, DeepSeek Janus n'est pas le bon cheval pour la vidéo.

Le standard actuel de l'open-source pour l'analyse vidéo dynamique est :
- Qwen2.5-VL (7B / 72B) : Modèle visuel de pointe gérant nativement la résolution dynamique (Dynamic Resolution) et la vidéo continue jusqu'à plus de 20 minutes avec repérage temporel exact (timestamps d'événements).
- Video-LLaVA / InternVideo2 : Modèles spécialisés dans la modélisation spatio-temporelle continue.

Même dans ce cas, tant que le pool de clés Gemini et Claude Code reste opérationnel, le duo actuel offre un niveau de complétude (audio + visuel + 1080p) qu'aucun modèle 7B local ne peut concurrencer sur la configuration matérielle actuelle.


🎯 6. Conclusion & Décision d'Arbitrage

  1. Intégrer DeepSeek Janus pour l'analyse vidéo ?
    👉 NON RECOMMANDÉ. Janus est un excellent démonstrateur pour la recherche sur l'unification image/génération, mais il est inadapté à la vidéo publicitaire (pas d'audio, images restreintes à 384px, absence de dimension temporelle, trop lourd sur le CPU local).
  2. Utiliser DeepSeek Harness (dsh) pour piloter la vidéo ?
    👉 NON RECOMMANDÉ À CE STADE. Le runtime dsh est encore instable (v0.2 rc) et ferait doublon avec les outils d'extraction et d'orchestration natifs de notre socle.
  3. Recommandation opérationnelle :
    Conserver strictement le pipeline actif :
    - Gemini Multimodal (Antigravity) pour l'analyse globale de la vidéo (audio, dynamisme, hook, pacing).
    - Claude 3.7 Sonnet (Claude Code) pour le contrôle qualité chirurgical des frames haute définition (texte, produit, finitions).
    - Archiver cette étude dans la mémoire pour éviter toute perte de temps future sur cette piste.

Rapport d'expertise technique généré par Antigravity Core.