Ini merupakan aplikasi untuk melakukan scraping pada halaman daftar paket dan status masing-masing paket di website LPSE, menggunakan phantomjs. Digunakannya phantomjs, karena pada daftar paket tersebut, isinya merupakan hasil render oleh javascript, sehingga dibutuhkan pembacaan dari hasil generatenya menggunakan perangkat kusus karena tidak bisa langsung menggunakan fungsi di php.
Terhadap versi SPSE yang di test saat ini dikembangkan adalah SPSE v4.3u20191009.
Setelah aplikasi ini dijalankan, akan ada sebuah file dengan format JSON, menyimpan semua data hasil penelusuran.
Untuk Init:
- dapatkan konten dari table#dttable
- untuk masing-masing row maka dapatkan id dan konten serta jadwal paket
- simpan ke JSON
Setelah hasil init didapatkan:
- Lakukan pembacaan terhadap data pengumuman
- Dapatkan data basic
- Tambahkan variable visited supaya bisa di tracking bagian mana yang baru ditambahkan
Dapat data dasarnya kemudian:
- Baca hasil evaluasi
- Cari tahu siapa pemenangnya dan NPWP
- Lakukan penyimpanan supaya nanti bisa ditelusuri ulang untuk optimasi
Untuk bisa menggunakan aplikasi scraper ini adalah:
- Pastikan bahwa aplikasi phantomjs telah terinstal, untuk ini silahkan Download Binary Phantom.js. Sesuaikan dengan OS yang digunakan, serta pastikan sudah bisa dieksekusi dari command shell.
- Lakukan copy terhadap file config_example.js menjadi file config.js dan lakukan penyesuaian.
- Jalankan script lpse_scraper.js melalui command shell:
$ phantomjs lpse_scraper.js
- Jalankan script pengumuman_scraper.js melalui command shell:
$ phantomjs pengumuman_scraper.js
- Jalankan script hasil_evaluasi_scraper.js.
$ phantomjs hasil_evaluasi_scraper.js
- Dari hasil langkah yang tidak boleh ditukar ini, maka akan dihasilkan file data tender pada website SPSE terpilih.
Versi SPSE yang dikenali adalah SPSE versi 4.3.
Karena proses pembacaan membuat trafik yang sangat tinggi pada website, diharapkan agar penggunaan tool ini dilakukan dengan sepengetahuan System Admin LPSE.
Ini masih versi sangat awal.
Pekerjaan ini merupakan salah satu bukti pekerjaan Work From Home PNS Pemprov Kalteng :D