vincentclaes / ImmoWeb

ImmoWeb(2020) Crawler

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

ImmoWeb

But

Le script a pour but d'enregistrer les annonces en Belgique du site ImmoWeb selon des critères de recherches prédéfinis. Ces données sont enregistrés sous format JSON.

Sous condition de lancer régulièrement le script, cela permet, par après, d'avoir une meilleure vue sur les biens (évolution des prix, prix moyen, géolocalisation, nombre d'annonces par commune, par type de biens, ...). Cette partie n'est pas développée actuellement.

Fonctionnement

  1. Modifier les critères de recherche dans config/config.json (à faire une seule fois, sauf si vos critères changent)
  2. Lancer le script. Il recupère pour chaque annonce de la recherche, les données suivantes : loyer, charge, étage, nombre de chambres, nombres de salles d'eau, surface habitable, surface de la terrasse, état, adresse, classe PEB
  3. Analyser les données qui se trouve dans saved_classified.json et/ou les photos dans classifieds/id Immoweb

Critères de recherche

Les critères de recherche doivent être indiqués dans config/config.json au format JSON.

rent est un boolean définissant le type de recherche (location = true, vente = false).

apartement est boolean définissant le type de bien (appartement = true, maison = false).

postal_code est une liste reprenant les codes postaux des communes sur lesquelles on souhaite faire notre recherche.

photos est un boolean permettant la sauvegarde des photos des annonces.

min_* et max_* sont des valeurs de recherche pour la surface, le prix et le nombre de chambre. Une valeur à 0 définit une absence de recherche sur ce critère.

stop-time est le nombre de secondes qui s'écoulent entre chaque requête pour une nouvelle annonce.

Futur (ou rêves)

  • Récupérer la description du bien
  • Etoffer la sortie en console (nombre d'annonces existantes, mise-à-jour, créées)
  • Lancement quotidien sur Heroku (sans photo ou avec photo avec Amazon S3)
  • Affichage sur une carte type Google Maps des annonces
  • Calcul de prix moyens selon type de biens (# chambres, commune, ...)
  • Identification de la localisation sur base de la description (nom de rue ou quartier)
  • Identification des charges comprises

Modules utilisés

Ce script utilise BeautifulSoup4 et requests.

About

ImmoWeb(2020) Crawler

License:GNU General Public License v3.0


Languages

Language:Python 100.0%