Date d'analyse : Octobre 2026
Sources officielles : Rapports techniques DeepSeek-AI (arXiv:2410.13848, arXiv:2411.07975, arXiv:2501.17811), dépôts GitHub officiels (deepseek-ai/Janus,deepseek-ai/DeepSeek-VL2) et retours d'implémentation de la communauté open-source.
Contrairement à certaines idées reçues circulant dans la communauté open-source, la famille DeepSeek Janus (Janus, JanusFlow, Janus-Pro 1B & 7B) ne possède AUCUNE capacité native de traitement ou d'analyse vidéo.
Le modèle est un framework bimodal unifié (Texte + Image statique) conçu pour résoudre un problème théorique précis : unifier la compréhension d'images et la génération d'images dans un seul modèle autorégressif sans compromettre la performance de l'une ou de l'autre.
Toute utilisation de Janus dans un contexte vidéo relève soit :
1. D'un pipeline détourné par échantillonnage de trames (keyframe extraction via FFmpeg/OpenCV) analysées image par image de façon isolée ;
2. D'un rôle d'assistant visuel en amont/aval dans des chaînes de production vidéo (ComfyUI + LTX Video / Kling / Wan2.1 / HunyuanVideo).
Dans les architectures unifiées antérieures (comme Chameleon de Meta), un encodeur visuel unique devait assurer deux rôles contradictoires :
- Compréhension : Nécessite des représentations sémantiques compressées de haut niveau (ignorant le bruit de pixel).
- Génération : Nécessite des représentations spatiales détaillées de bas niveau (préservant les textures et les pixels).
Janus résout ce dilemme en séparant physiquement les voies d'encodage tout en conservant un seul Transformer autorégressif :
- Encodeur Compréhension : SigLIP-Large (patch 16, résolution fixe 384x384), projection linéaire vers l'espace latent du LLM.
- Tokenizer Génération : Tokenizer VQ (Vector Quantizer) downsamplé 16x (256 ou 576 tokens discrets) ou Rectified Flow.
- Cœur LLM : DeepSeek-LLM autorégressif traitant conjointement texte et tokens visuels.
| Composant Technique | État dans DeepSeek Janus / Janus-Pro | Requis pour une Vraie Analyse Vidéo |
|---|---|---|
| Tokenisation Temporelle | ❌ Absente. Tokenisation 2D spatiale uniquement. | Tokenisation spatio-temporelle 3D (ex: 3D patch embedding ou fenêtres glissantes temporelles). |
| Attention Temporelle | ❌ Absente. Aucune modélisation de mouvement, vitesse ou causalité dynamique. | Attention croisée inter-trames ou mécanismes d'état (State Space Models / Video RoPE). |
| Résolution d'Entrée | ⚠️ Fixe (384 × 384 pixels) via SigLIP-Large. | Encodage dynamique / multi-résolution avec tuilage pour préserver les détails fins. |
| Gestion Multi-Images | ⚠️ Très limitée. Le processeur VLChatProcessor officiel plante ou ignore les images multiples si non bouclé manuellement en script. |
Traitement natif de dizaines ou centaines de trames séquencées dans le prompt. |
| Canal Audio | ❌ Inexistant. Aucune entrée audio. | Ingestion audio synchronisée (indispensable pour l'analyse de dialogues, bruits de fond et intonations). |
| Benchmarks Officiels | 0 test vidéo (MMBench, MME, POPE, MMMU uniquement). | Video-ChatGPT, MVBench, ActivityNet-QA, EgoSchema, Perception-Test. |
Bien que non-natif, Janus-Pro est fréquemment intégré dans des pipelines vidéo par la communauté et les développeurs :
ffmpeg -i input.mp4 -vf "select='gt(scene,0.4)',fps=1" frames_%03d.png).| Modèle | Développeur | Nature | Analyse Vidéo Native | Résolution / Trame | Traitement Audio | Poids / Accès |
|---|---|---|---|---|---|---|
| Janus-Pro (7B) | DeepSeek-AI | Image unifiée (VLM + T2I) | ❌ Non (frames isolées uniquement) | Fixe 384×384 | ❌ Non | Open-source (Poids libres) |
| DeepSeek-VL2 | DeepSeek-AI | VLM pur (MoE 27B / 4.5B act.) | ⚠️ Partiel (Multi-images tuilées dynamiques) | Dynamique haute rés. | ❌ Non | Open-source |
| Qwen2.5-VL (7B/72B) | Alibaba Cloud | VLM / Video-LLM | ✅ Oui (Natif 3D RoPE) | Dynamique adaptative | ❌ Non (vidéo pure) | Open-source |
| Gemini 2.0 / 1.5 Flash | Multimodal natif | ✅ Oui (Natif temps réel) | Adaptatif (1 fps natif) | ✅ Oui (Audio synchronisé) | API Commerciale | |
| Claude 3.5 Sonnet | Anthropic | VLM généraliste | ⚠️ Partiel (Frames extraites API) | Haute résolution | ❌ Non | API Commerciale |