Hierarchical semantic information–guided insect recognition Ce projet explore l'intégration de connaissances taxonomiques et sémantiques dans des modèles de vision (modèles de fondation) pour l'identification automatisée des insectes, avec un focus particulier sur les Carabidés.
L'objectif est de transformer des modèles de vision généralistes en outils capables de respecter la hiérarchie biologique (Espèce > Genre > Famille) dans sa vision d'une image. Le projet s'articule autour de trois axes :
- Défrichement méthodologique : Tester la robustesse des modèles de fondation (BioClip2, CLIP) sur des tâches spécifiques.
- Évaluation hiérarchique : Mesurer comment les erreurs se répartissent dans l'arbre taxonomique.
- Apprentissage efficace : Comparer le Fine-tuning complet avec des approches Few-shot et Zero-shot.
/Code: Scripts principaux d'entraînement et d'inférence, l'intégralité des tests sont dans ce dossier/Data: Stockage des jeux de données (redimensionnées ou en.tar) et des métadonnées GBIF extraites/Results: Logs d'entraînement, prédictions JSON et statistiques de performance/Research: Comptes-rendus de réunions et notes théoriques/Bibliographie: Articles de référence principalement sur BioClip, ViT, apprentissage contrastif
Implémentation d'un entraînement en deux phases pour adapter le modèle sans perdre sa capacité de généralisation :
-
Phase de Warmup : Entraînement de la tête de classification seule (
$LR = 1e-3$ ). -
Phase de Fine-tune : Ajustement du backbone visuel avec un taux d'apprentissage très faible (
$LR = 1e-6$ ). lourd [non finit]
Utilisation de prototypes pour classer les insectes à partir de très peu d'exemples (1, 5, 10, 25, 50-shot) :
- Extraction des caractéristiques via BioClip2.
- Calcul de la similarité cosinus entre les images de test et la moyenne des images de support.
- Comparaison entre des prompts "plats" (nom d'espèce seul) et des prompts hiérarchiques intégrant la lignée complète (Famille, Genre).
- Tests comparatifs sur l'architecture Vision Transformer (ViT-L/14).
Le projet s'articule autour de trois questions :
- Organisation de l'espace latent : Comment l'espace latent de BioClip2 est-il structuré et est-il performant pour distinguer les traits morphologiques des insectes spécifiquement ?
- Adaptabilité (Fine-tuning) : Est-il possible d'adapter facilement BioClip2 à une tâche spécifique via du fine-tuning ou du few-shot ?
- Impact de la hiérarchie : Quelle est l'influence réelle de l'intégration de la taxonomie sur les performances du modèle ? Est-ce qu'une structure hiérarchique améliore la précision par rapport à une classification avec un label plat ?
- Dépendances : "json", "open_clip", "os", "PIL", "pillow", "random", "scikit-learn", "tarfile", "time", "torch", "tqdm"
- Données : Placer
metadata_images.jsonet les images dans le dossierData/.