Généré le 15/11/2026 01:03

🔬 Étude Stratégique : Détection d'Objets par Référence & Remplacement de Produit Vidéo (V2V)

Date : 13 novembre 2026 — 20:30 (Guadeloupe UTC-4)
Initiateur : Raphaël
Objet : Feuilles de route technologiques pour :
1. Détecter automatiquement et extraire des scènes/logos précis dans des vidéos via des images de référence.
2. Remplacer un produit concurrent au cœur d'une scène vidéo par notre propre produit sans casser la continuité du plan (Video-to-Video Editing).


🎯 1. Détection de Scènes & d'Objets par Référence (État de l'Art)

De la même façon que VSR nous a apporté PaddleOCR pour les sous-titres, plusieurs briques open-source majeures permettent de détecter des objets ou scènes spécifiques :

A. SAM 2 (Segment Anything in Video — Meta AI)

B. Grounding DINO & OWLv2 (Open-Vocabulary Object Detection)

C. PySceneDetect (Standard des Cuts Caméra)


🚀 2. Le Remplacement de Produit dans la Vidéo (Video-to-Video Inpainting)

L'intuition de Raphaël touche au Graal de l'e-commerce vidéo :

« Au lieu de jeter une scène géniale où une personne manipule le sac, peut-on effacer le produit concurrent et y injecter le nôtre en conservant 100 % de la gestuelle, des mains et du décor ? »

L'Architecture en 3 Étape-Clés (Pipeline Hybride)

graph TD
    A["Scène Vidéo Source (Plan concurrent)"] --> B["Étape 1 : Tracking & Masque Dynamique (SAM 2)"]
    B --> C["Étape 2 : Conditionnement par notre Produit (Image HD SneakSafe)"]
    C --> D["Étape 3 : Rendu Video-to-Video (Kling V2V / AnyV2V / Wan 2.1)"]
    D --> E["Scène Réinsérée : Gestuelle préservée + Produit SneakSafe"]
  1. Étape 1 — Isolation chirurgicale :
    SAM 2 crée un masque noir et blanc qui ne recouvre que le sac concurrent. Les doigts de l'acteur, le tambour, la machine à laver et l'arrière-plan restent intacts.
  2. Étape 2 — Injection de référence :
    On fournit au modèle 3 photos haute définition de notre sac SneakSafe sous différents angles (face, profil, zip ouvert).
  3. Étape 3 — Inpainting temporel cohérent (V2V) :
    Les nouveaux modèles vidéo (Kling Video-to-Video, Wan 2.1, Runway Gen-3 Video ControlNet) repeignent uniquement la zone masquée en respectant la physique, l'éclairage de la pièce et l'orientation des mains de l'acteur.

📋 3. Plan d'Action & Prochaines Évaluations

  1. Phase 1 (Immédiate — Déjà opérationnelle sur PUB-27 v2) :
    - Cuts caméra automatiques au millième de seconde (detect_cuts.py).
    - Remplacement par vrais b-rolls vidéo neutres (tambour en mouvement, semelle immaculée).
    - Bandeaux proportionnés au texte français.
  2. Phase 2 (Étude & Benchmark — Semaine prochaine) :
    - Tester l'installation de SAM 2 en local pour le tracking automatique de logos concurrents.
    - Évaluer sur Fal.ai les endpoints de Video Inpainting avec image de conditionnement pour chiffrer le coût et la qualité d'un swap de sac sur un extrait court de 3 secondes.

Document d'architecture & prospective rédigé par Antigravity.