Généré le 14/10/2026 10:01

🔬 Étude Technique Approfondie : DeepSeek Janus & Capacités Réelles en Analyse Vidéo

Date d'analyse : Octobre 2026
Sources officielles : Rapports techniques DeepSeek-AI (arXiv:2410.13848, arXiv:2411.07975, arXiv:2501.17811), dépôts GitHub officiels (deepseek-ai/Janus, deepseek-ai/DeepSeek-VL2) et retours d'implémentation de la communauté open-source.


1. Synthèse Exécutive : La Vérité sur "Janus et la Vidéo"

Contrairement à certaines idées reçues circulant dans la communauté open-source, la famille DeepSeek Janus (Janus, JanusFlow, Janus-Pro 1B & 7B) ne possède AUCUNE capacité native de traitement ou d'analyse vidéo.

Le modèle est un framework bimodal unifié (Texte + Image statique) conçu pour résoudre un problème théorique précis : unifier la compréhension d'images et la génération d'images dans un seul modèle autorégressif sans compromettre la performance de l'une ou de l'autre.

Toute utilisation de Janus dans un contexte vidéo relève soit :
1. D'un pipeline détourné par échantillonnage de trames (keyframe extraction via FFmpeg/OpenCV) analysées image par image de façon isolée ;
2. D'un rôle d'assistant visuel en amont/aval dans des chaînes de production vidéo (ComfyUI + LTX Video / Kling / Wan2.1 / HunyuanVideo).


2. Fondations & Architecture Technique de la Gamme Janus

2.1 Les 3 Publications Officielles de DeepSeek

  1. Janus (Octobre 2024 - arXiv:2410.13848) :
    Titre : "Janus: Decoupling Visual Encoding for Unified Multimodal Understanding and Generation"
    Introduit le concept fondateur de découplage de l'encodage visuel avec un backbone DeepSeek-LLM (1.3B).
  2. JanusFlow (Novembre 2024 - arXiv:2411.07975) :
    Titre : "JanusFlow: Harmonizing Autoregression and Rectified Flow for Unified Multimodal Understanding and Generation"
    Remplace le tokenizer discret par un mécanisme continu de Rectified Flow pour accélérer et stabiliser la génération.
  3. Janus-Pro (Janvier 2025 - arXiv:2501.17811) :
    Titre : "Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling"
    Déclinaisons en 1B et 7B paramètres, enrichies de ~90M d'exemples multimodaux (captioning, OCR, diagrammes) et ~72M d'images esthétiques synthétiques.

2.2 L'Innovation Clé : L'Encodage Visuel Découplé (Decoupled Visual Encoding)

Dans les architectures unifiées antérieures (comme Chameleon de Meta), un encodeur visuel unique devait assurer deux rôles contradictoires :
- Compréhension : Nécessite des représentations sémantiques compressées de haut niveau (ignorant le bruit de pixel).
- Génération : Nécessite des représentations spatiales détaillées de bas niveau (préservant les textures et les pixels).

Janus résout ce dilemme en séparant physiquement les voies d'encodage tout en conservant un seul Transformer autorégressif :
- Encodeur Compréhension : SigLIP-Large (patch 16, résolution fixe 384x384), projection linéaire vers l'espace latent du LLM.
- Tokenizer Génération : Tokenizer VQ (Vector Quantizer) downsamplé 16x (256 ou 576 tokens discrets) ou Rectified Flow.
- Cœur LLM : DeepSeek-LLM autorégressif traitant conjointement texte et tokens visuels.


3. Pourquoi Janus N'Est PAS un Modèle Vidéo : Analyse des Verrous Techniques

Composant Technique État dans DeepSeek Janus / Janus-Pro Requis pour une Vraie Analyse Vidéo
Tokenisation Temporelle ❌ Absente. Tokenisation 2D spatiale uniquement. Tokenisation spatio-temporelle 3D (ex: 3D patch embedding ou fenêtres glissantes temporelles).
Attention Temporelle ❌ Absente. Aucune modélisation de mouvement, vitesse ou causalité dynamique. Attention croisée inter-trames ou mécanismes d'état (State Space Models / Video RoPE).
Résolution d'Entrée ⚠️ Fixe (384 × 384 pixels) via SigLIP-Large. Encodage dynamique / multi-résolution avec tuilage pour préserver les détails fins.
Gestion Multi-Images ⚠️ Très limitée. Le processeur VLChatProcessor officiel plante ou ignore les images multiples si non bouclé manuellement en script. Traitement natif de dizaines ou centaines de trames séquencées dans le prompt.
Canal Audio ❌ Inexistant. Aucune entrée audio. Ingestion audio synchronisée (indispensable pour l'analyse de dialogues, bruits de fond et intonations).
Benchmarks Officiels 0 test vidéo (MMBench, MME, POPE, MMMU uniquement). Video-ChatGPT, MVBench, ActivityNet-QA, EgoSchema, Perception-Test.

4. Cas d'Usage Réels : Comment Janus Est Exploité Autour de la Vidéo

Bien que non-natif, Janus-Pro est fréquemment intégré dans des pipelines vidéo par la communauté et les développeurs :

Cas 1 : Pipeline de Contrôle Qualité / Tri par Échantillonnage de Frames (Frame Sampling)

Cas 2 : Reverse-Prompting & Assistance Créative dans ComfyUI

Cas 3 : Génération de l'Image Clé Initiale pour les Modèles Image-to-Video (I2V)


5. Matrice Comparative : Janus vs Les Vrais Modèles d'Analyse Vidéo

Modèle Développeur Nature Analyse Vidéo Native Résolution / Trame Traitement Audio Poids / Accès
Janus-Pro (7B) DeepSeek-AI Image unifiée (VLM + T2I) ❌ Non (frames isolées uniquement) Fixe 384×384 ❌ Non Open-source (Poids libres)
DeepSeek-VL2 DeepSeek-AI VLM pur (MoE 27B / 4.5B act.) ⚠️ Partiel (Multi-images tuilées dynamiques) Dynamique haute rés. ❌ Non Open-source
Qwen2.5-VL (7B/72B) Alibaba Cloud VLM / Video-LLM ✅ Oui (Natif 3D RoPE) Dynamique adaptative ❌ Non (vidéo pure) Open-source
Gemini 2.0 / 1.5 Flash Google Multimodal natif ✅ Oui (Natif temps réel) Adaptatif (1 fps natif) ✅ Oui (Audio synchronisé) API Commerciale
Claude 3.5 Sonnet Anthropic VLM généraliste ⚠️ Partiel (Frames extraites API) Haute résolution ❌ Non API Commerciale

6. Recommandations Pratiques pour l'Écosystème Jarvis / E-Commerce

  1. Ne pas déployer Janus pour analyser des publicités ou vidéos UGC :
    Pour évaluer des créatives concurrentes (Meta Ads Library) ou auditer la fluidité d'un rendu vidéo de notre Studio Pub, Janus passera à côté des micro-glitches temporels et de la bande-son.
  2. Pour une analyse vidéo open-source locale :
    Préférer Qwen2.5-VL (modèle de référence actuel pour la vidéo spatio-temporelle en local) ou le script interne basé sur DeepSeek-VL2 avec extraction de trames ordonnées.
  3. Pour une analyse vidéo industrielle complète (Image + Son + Narration) :
    Conserver les API multimodales natives (Gemini 1.5/2.0 Flash), capables d'ingérer directement un fichier MP4 avec son horodatage précis et sa piste audio.