-
Lakukan data scraping dari sebuah laman web untuk memperoleh data atau informasi tertentu TANPA MENGGUNAKAN API. Hasil data scraping ini nantinya akan disimpan dalam DBMS dan digunakan sebagai bahan tugas analisis dan visualisasi data.
-
Daftarkan judul topik yang akan dijadikan bahan data scraping dan DBMS yang akan digunakan pada spreadsheet berikut: Topik Data Scraping. Usahakan agar tidak ada peserta dengan topik yang sama. Akses edit ke spreadsheet akan ditutup tanggal 8 Juni 2020 pukul 23.59 WIB
-
Dalam mengerjakan tugas, calon warga basdat terlebih dahulu melakukan fork project github pada link berikut: https://github.com/wargabasdat/Seleksi-2020-Tugas-1. Sebelum batas waktu pengumpulan berakhir, calon warga basdat harus sudah melakukan pull request dengan nama
TUGAS_SELEKSI_1_[NIM]
-
Pada repository tugas 1, calon warga basdat harus mengumpulkan file script, json hasil data scraping. Repository terdiri dari folder
src
,data
danscreenshots
. Foldersrc
berisi file script/kode yang WELL DOCUMENTED dan CLEAN CODE, folderdata
berisi file json hasil scraper sedangkan folderscreenshot
berisi tangkapan layar program. -
Deadline pengumpulan tugas 1 adalah 15 Juni 2020 Pukul 23.59 WIB
-
Sebagai referensi untuk mengenal data scraping, asisten menyediakan dokumen "Short Guidance To Data Scraping" yang dapat diakses pada link berikut: Data Scraping Guidance. Mohon memperhatikan etika dalam melakukan scraping.
-
Tambahkan juga
.gitignore
pada file atau folder yang tidak perlu di-upload, NB: BINARY TIDAK DIUPLOAD -
JSON harus dinormalisasi dan harus di-preprocessing
Preprocessing contohnya :
- Cleaning
- Parsing
- Transformation
- dan lainnya
- Berikan
README
yang WELL DOCUMENTED dengan cara override fileREADME.md
ini.README
harus memuat minimal konten:
- Description
- Specification
- How to use
- JSON Structure
- Screenshot program (di-upload pada folder screenshots, di-upload file image nya, dan ditampilkan di dalam README)
- Reference (Library used, etc)
- Author