- Ambroise BERTIN
- Maëlle CORNEC
- Jules DUPONT
- Suzanne GUILTEAUX
Le projet utilise la base de données du SPIPOLL, un dispositif de suivi des insectes pollinisateurs, créé par le Muséum national d’histoire naturelle et l’Office pour les insectes et leur environnement. Nous explorons les données de suivi participatif avec des approches supervisée et non-supervisée.
Pour installer les dépendances, nous conseillons l'utilisation de conda/miniconda/mamba avec python >= 3.8.
conda create --file environment.yml
Si vous souhaitez utiliser pip/venv, vous pouvez installer manuellement les dépendances inscrites dans l'environment.yml
.
Les versions des dépendances ne sont pas fixées, certaines fonctions dans le projet pourraient dans le futur avoir des comportements non attendus.
Avant de commencer, il est nécessaire de déposer les 4 fichiers csv dans le sous-dossier raw_data du dossier data. Ensuite, exécutez le fichier run_data_quality.py.
python data_quality/run_data_quality.py
Pour obtenir le dataset de classification des plantes, exécutez le notebook plantnet_pipeline.ipynb du dossier notebooks.
Pour obtenir le dataset de classification des insectes, exécutez le notebook insect_classification.ipynb du dossier notebooks.
Pour obtenir le dataset avec toutes les classifications, exécutez le notebook merge_insectes_plantes.ipynb du dossier notebooks.
Enfin, exécutez le notebook merge_corineland.ipynb du dossier notebooks, pour obtenir le dataset final.
Les notebooks se situent dans le dossier du même nom à la racine. Dans ce dossier se trouvent les Jupyter notebooks propres à aux approches supervisée et non supervisée. Le sous-dossier Non_supervise comprend lui-même deux sous-dossiers relatifs aux méthodes employées : Recherche_motifs_frequents et Clustering_DBSCAN.
-
Pour la partie non-supervisée: Le premier contient :
- MF_plantes_insectes_TaxEspeces avec une recherche de motifs fréquents par rapport au taxon "genre" de l'insecte
- Recherche_MF_plantes_insectes_taxGeneraux qui se focalise cette fois-ci sur l'ordre de l'insecte. Ces deux notebooks s'appuient sur les données spipoll.csv . Le troisième notebook (Exploration_Motifs_fréquents_V2) permet la recherche de motifs fréquents à des niveaux de taxonomie beaucoup plus bas et s'appuie sur la version non prétraitée des données (sans l'augmentation taxonomique, soit la version transmise initialement par le Museum).
Le dossier Clustering_DBSCAN comprend quant à lui 6 notebooks :
- DBSCAN_clustering_et_métriques et DBSCAN_adjusted_clustering_et_métriques portent sur le clustering des Apidae et Syrphidae. Les cartes générées par DBSCAN (min_smaples indexé (voir ci-dessous) et année par année) sont stockées dans le dossier cartes_clustering_adjustedBase200.
- Dans le notebook DBSCAN_adjusted_clustering_et_métriques, on a indexé l'argument min_samples de l'algorithme DBSCAN sur le taux de croissance annuelle des observations, calculé dans le notebook Active_Users_per_year.
- Grâce aux métriques créées dans le notebook DBSCAN_adjusted_clustering_et_métriques, deux clusters d'intérêt ont été indentifiés. Leurs situations respectives est investiguée dans le notebook Verif_clusters.
- L'approndissement de ces deux cas particuliers nous a conduit à nous interroger sur l'importance d'une approche locale du problème, mise en évidence dans le notebook Observ_per_year_and_dep.
- Enfin, DBSCAN_frelons traite du clustering des populations de frelons asiatiques et européens pour confirmer ou infirmer l'hypothèse selon laquelle les frelons asiatiques tendent à chasser des grandes villes leurs homologues européens.
- L'ensemble de ces notebooks s'appuient sur les données spipoll.csv .
-
Pour la partie supervisée:
-
Deux notebooks sont disponibles. Ils permettent de comprendre les différents modules développés pour la prédiction de richesse spécifique.
-
Ensuite, certains scripts peuvent être lancés. Les scripts peuvent se lancer via la commande
python nom_du_script.py
dans un terminal. Les modules se trouvent dans le dossier models ainsi que dans models/supervised. Les modèles dump se trouvent également dans models/supervised en extension .joblib.
-