Giters

wargabasdat / Seleksi-2021-Tugas-1

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool


Seleksi Warga Basdat 2021


Tugas 1 : Data Scraping & Data Storing

Spesifikasi

Data Scraping

  1. Lakukan data scraping dari sebuah laman web untuk memperoleh data atau informasi tertentu TANPA MENGGUNAKAN API. Hasil data scraping ini nantinya akan disimpan dalam DBMS dan digunakan sebagai bahan tugas analisis dan visualisasi data.

  2. Daftarkan judul topik yang akan dijadikan bahan data scraping dan DBMS yang akan digunakan pada spreadsheet berikut: Topik Data Scraping. Usahakan agar tidak ada peserta dengan topik yang sama. Akses edit ke spreadsheet akan ditutup tanggal 12 Juli 2021 pukul 23.59 WIB

  3. Pada folder Data Scraping, calon warga basdat harus mengumpulkan file script, json hasil data scraping. Folder Data Scraping terdiri dari folder src, data dan screenshots.

    • Folder src berisi file script/kode yang WELL DOCUMENTED dan CLEAN CODE
    • Folder data berisi file json hasil scraper
    • Folder screenshot berisi tangkapan layar program.

  4. Sebagai referensi untuk mengenal data scraping, asisten menyediakan dokumen "Short Guidance To Data Scraping" yang dapat diakses pada link berikut: Data Scraping Guidance. Mohon memperhatikan etika dalam melakukan scraping.

  5. JSON harus dinormalisasi dan harus di-preprocessing

Preprocessing contohnya :
- Cleaning
- Parsing
- Transformation
- dan lainnya

Data Storing

  1. Lakukan storing data yang didapatkan dari hasil scraping ke DBMS

  2. Tools yang digunakan dibebaskan

  3. Calon warga basdat harus mengumpulkan bukti penyimpanan data pada DBMS. Folder Data Storing terdiri dari folder data, screenshots dan export

    • Folder screenshot berisi tangkapan layar bukti dari penyimpanan data ke DBMS
    • Folder export berisi file hasil export dari DBMS (seperti .sql, .json, (1 saja yang didukung oleh DBMS))

  4. Task-task berikut bersifat tidak wajib (BONUS), boleh dikerjakan sebagian atau seluruhnya

    • Simpan ke database online
    • Buatlah API sederhana untuk mengakses database online tersebut

Pengumpulan

  1. Dalam mengerjakan tugas, calon warga basdat terlebih dahulu melakukan fork project github pada link berikut: Seleksi-2021-Tugas-1. Sebelum batas waktu pengumpulan berakhir, calon warga basdat harus sudah melakukan pull request dengan nama TUGAS_SELEKSI_1_[NIM]

  2. Tambahkan juga .gitignore pada file atau folder yang tidak perlu di-upload, NB: BINARY TIDAK DIUPLOAD

  3. Berikan satu buah file README yang WELL DOCUMENTED dengan cara override file README.md ini. README harus memuat minimal konten:

- Description of the data and DBMS (Why you choose it)
- Specification of the program
- How to use
- JSON Structure
- Screenshot program (di-upload pada folder screenshots, di-upload file image nya, dan ditampilkan di dalam README)
- Reference (Library used, etc)
- Author
  1. Deadline pengumpulan tugas 1 adalah 24 Juli 2021 Pukul 23.59 WIB


Selamat Mengerjakan

About