Dalam rangka pengembangan Data Science / Big Data, maka Universitas ‘Aisyiyah (UNISA) Yogyakarta membentuk Tim Task Force Pengembangan Data Science Universitas ‘Aisyiyah Yogyakarta pada tanggal 27 Desember 2021. Alhamdulillah-nya, BPTSI telah melaksanakan pelatihan pada https://pdsi.unisayogya.ac.id/administrasi-big-data-studi-kasus-hadoop/, https://pdsi.unisayogya.ac.id/flume-sqoop-dan-kafka-mengumpulkan-dan-memasukkan-big-data/ dan https://pdsi.unisayogya.ac.id/pig-hive-dan-hbase-mengolah-big-data/.
Data Science / Big Data UNISA Yogyakarta Tahap II
Data Science / Big Data Tahap II berfokus pada pengumpulan data melalui API dengan token yang dapat ditentukan targetnya oleh analis kemudian engineer membantu menfasilitasi ke dalam pengaturan.
— Data Science / Big Data UNISA Yogyakarta Tahap II
Pengambilan data dimulai dari definisi data yang diberikan oleh analis. Engineer akan memasukkan alamat API dan pengaturannya ke dalam pengaturan. Dimungkinkan Engineer akan membuat API, terutama untuk mendapatkan data dari log dan sistem informasi.
Mesin akan mencoba login ke target menggunakan token dan mengambil data-data apabila berhasil melakukan login. Data dalam bentuk json akan disimpan as is (apa adanya).
Setiap target diatur setiap berapa hari akan dilakukan pengambilan data ulang setiap interval waktu tertentu tanpa batasan berapa kali. Data yang diambil adalah rentang dari tanggal terakhir visit sampai tanggal eksekusi visit.
Tahap II adalah pengambilan data text based untuk platform tertutup (sistem informasi dan sistem tertutup lainnya). Tahap I klik di sini.
Demikian, semoga bermanfaat. [bst]
One reply on “Data Science / Big Data UNISA Yogyakarta Tahap II”
[…] Tahap I adalah scapping text based untuk platform terbuka (dapat diakses publik tanpa token/login). Tahap II klik di sini. […]