Généré le 15/11/2026 01:03
🔬 Étude Stratégique : Détection d'Objets par Référence & Remplacement de Produit Vidéo (V2V)
Date : 13 novembre 2026 — 20:30 (Guadeloupe UTC-4)
Initiateur : Raphaël
Objet : Feuilles de route technologiques pour :
1. Détecter automatiquement et extraire des scènes/logos précis dans des vidéos via des images de référence.
2. Remplacer un produit concurrent au cœur d'une scène vidéo par notre propre produit sans casser la continuité du plan (Video-to-Video Editing).
🎯 1. Détection de Scènes & d'Objets par Référence (État de l'Art)
De la même façon que VSR nous a apporté PaddleOCR pour les sous-titres, plusieurs briques open-source majeures permettent de détecter des objets ou scènes spécifiques :
A. SAM 2 (Segment Anything in Video — Meta AI)
- Le saut technologique : Alors que SAM 1 ne traitait que des images fixes, SAM 2 suit n'importe quel objet dans un flux vidéo en temps réel.
- Cas d'usage chez nous : On montre une seule fois à l'algorithme une photo du logo Kaliteas ou de la broderie du sac. SAM 2 génère le masque temporel complet sur l'ensemble de la vidéo, même lorsque le sac tourne, change d'angle ou subit des déformations dans la machine.
- Intégration locale : Disponible sur GitHub (PyTorch / ONNX), peut tourner localement sur PC pour extraire des masques de suivi.
B. Grounding DINO & OWLv2 (Open-Vocabulary Object Detection)
- Principe : Détecteurs capables d'identifier un objet sans entraînement spécifique, simplement à partir d'un prompt texte (« competitor branded laundry bag », « embroidered logo ») ou d'un embedding d'image de référence (feature similarity).
- Rôle dans notre chaîne : Scanner à 2 fps une vidéo concurrente et ressortir les timecodes exacts où apparaît l'objet gênant pour déclencher la coupe ou le remplacement.
C. PySceneDetect (Standard des Cuts Caméra)
- Déjà éprouvé aujourd'hui via notre intégration native FFmpeg (
select='gt(scene,0.25)') dans detect_cuts.py. Il garantit que chaque cut tombe sur une transition naturelle, supprimant les micro-résidus en pause.
🚀 2. Le Remplacement de Produit dans la Vidéo (Video-to-Video Inpainting)
L'intuition de Raphaël touche au Graal de l'e-commerce vidéo :
« Au lieu de jeter une scène géniale où une personne manipule le sac, peut-on effacer le produit concurrent et y injecter le nôtre en conservant 100 % de la gestuelle, des mains et du décor ? »
L'Architecture en 3 Étape-Clés (Pipeline Hybride)
graph TD
A["Scène Vidéo Source (Plan concurrent)"] --> B["Étape 1 : Tracking & Masque Dynamique (SAM 2)"]
B --> C["Étape 2 : Conditionnement par notre Produit (Image HD SneakSafe)"]
C --> D["Étape 3 : Rendu Video-to-Video (Kling V2V / AnyV2V / Wan 2.1)"]
D --> E["Scène Réinsérée : Gestuelle préservée + Produit SneakSafe"]
- Étape 1 — Isolation chirurgicale :
SAM 2 crée un masque noir et blanc qui ne recouvre que le sac concurrent. Les doigts de l'acteur, le tambour, la machine à laver et l'arrière-plan restent intacts.
- Étape 2 — Injection de référence :
On fournit au modèle 3 photos haute définition de notre sac SneakSafe sous différents angles (face, profil, zip ouvert).
- Étape 3 — Inpainting temporel cohérent (V2V) :
Les nouveaux modèles vidéo (Kling Video-to-Video, Wan 2.1, Runway Gen-3 Video ControlNet) repeignent uniquement la zone masquée en respectant la physique, l'éclairage de la pièce et l'orientation des mains de l'acteur.
📋 3. Plan d'Action & Prochaines Évaluations
- Phase 1 (Immédiate — Déjà opérationnelle sur PUB-27 v2) :
- Cuts caméra automatiques au millième de seconde (detect_cuts.py).
- Remplacement par vrais b-rolls vidéo neutres (tambour en mouvement, semelle immaculée).
- Bandeaux proportionnés au texte français.
- Phase 2 (Étude & Benchmark — Semaine prochaine) :
- Tester l'installation de SAM 2 en local pour le tracking automatique de logos concurrents.
- Évaluer sur Fal.ai les endpoints de Video Inpainting avec image de conditionnement pour chiffrer le coût et la qualité d'un swap de sac sur un extrait court de 3 secondes.
Document d'architecture & prospective rédigé par Antigravity.