Ce projet vise à améliorer l'expérience utilisateur sur la plateforme de streaming de Jay-Zz Entertainment en mettant en place un système de recommandation de films en temps réel. La solution intègre la stack EK (Elasticsearch, Kafka) et une API de recommandation personnalisée. Les principales étapes incluent la configuration de Kafka, le traitement des données avec SparkStreaming, la modélisation et le stockage dans Elasticsearch, le développement de l'API de recommandation, la visualisation des données avec Kibana, et une approche robuste de gouvernance des données.
Le projet a pour objectif de créer un système de recommandation de films en temps réel utilisant des technologies Big Data pour fournir des recommandations personnalisées aux utilisateurs de la plateforme de streaming Jay-Zz Entertainment. L'ajout d'une couche de gouvernance des données garantit la qualité, la confidentialité, et la conformité des données.
Le projet met en œuvre diverses compétences, notamment :
- Configuration et gestion de clusters Kafka.
- Utilisation de SparkStreaming pour le traitement en temps réel des données.
- stockage efficace des données dans Elasticsearch.
- Développement d'une API REST avec Flask.
- Visualisation des données avec Kibana.
- Pratiques de gouvernance des données.
- Installation et Compatibilité : La configuration initiale de Kafka a rencontré des défis, notamment en ce qui concerne la compatibilité des versions avec d'autres composants de la stack. Des ajustements ont été nécessaires pour garantir une intégration fluide entre Kafka, SparkStreaming, et Elasticsearch.
- Mise en place d'un cluster Kafka.
- Configuration des producteurs pour l'envoi des données d'interactions utilisateur vers des topics spécifiques.
- Création de pipelines pour consommer les données de Kafka.
- Application de transformations, telles que l'enrichissement des données et la normalisation.
- Conception d'indices et de modèles de données pour un stockage optimisé des informations des films et des utilisateurs.
- Programmation d'une API REST avec Flask, interagissant avec Elasticsearch pour récupérer et servir les recommandations.
Dans le cadre de ce flux de traitement de données, une attention particulière a été portée à la gouvernance des données, en conformité avec le Règlement Général sur la Protection des Données (RGPD). Des pratiques rigoureuses de gouvernance des données ont été intégrées pour garantir la qualité, la confidentialité et la conformité des informations extraites de l'API The Movie Database. Les données sont collectées de manière sécurisée, avec la prise en compte des principes de minimisation et de pertinence, afin de limiter la quantité de données traitées et de s'assurer qu'elles sont directement liées à l'objectif du traitement. De plus, des mesures de sécurité, telles que l'utilisation de clés d'API, ont été mises en place pour protéger l'accès aux données sensibles. En outre, le processus intègre des mécanismes de contrôle de la qualité des données pour garantir leur exactitude avant l'envoi aux systèmes ultérieurs, et des étapes de pseudonymisation ont été appliquées lorsque cela est approprié. Ces pratiques reflètent l'engagement envers la protection des données personnelles et la conformité aux normes éthiques et juridiques en vigueur.
- Création de tableaux de bord pour des visualisations significatives, telles que la répartition des films par date de sortie, les films populaires, etc.
Au cours du projet, des difficultés ont été rencontrées, principalement liées à l'installation initiale et à la gestion de la compatibilité des versions entre les différents composants de la stack. Cependant, ces obstacles ont été surmontés grâce à une collaboration étroite de l'équipe, à des ajustements minutieux des configurations, et à des recherches approfondies pour résoudre les problèmes spécifiques.
Malgré les défis initiaux, le système de recommandation en temps réel représente une avancée significative pour Jay-Zz Entertainment. Il offre une expérience utilisateur améliorée tout en répondant aux exigences de qualité et de conformité des données. Ce projet souligne l'importance de la résilience et de la collaboration dans le développement de solutions Big Data complexes.
Fin du README