Program Badbot bekerja dengan melakukan aktivitas yang sibuk pada situs web/server yang merayapi sebuah server situs web bertujuan untuk merugikan sebuah instansi atau perusahaan bahkan pengunjung situs web. SEMrushBot merupakan salah satu kategori Badbot, melakukan pencarian yang dikirim untuk menemukan dan mengumpulkan data web baru dan yang diperbarui. Fungsi Bingbot sebagai mesin untuk menyimpan data di database search engine Bing..
Daftar Isi
White List
White List merupakan daftar yang diizinkan untuk melakukan tindakan pada sistem, sebagai upaya melindungi dari ancaman malware dan serangan hacker lainnya. Cara kerja white list dengan mengizinkan hanya executable aplikasi, dan situs web tepercaya untuk berjalan di sistem organisasi. Berarti memblokir semua konten yang dapat memasuki jaringan secara default dan hanya mengizinkan file tertentu yang telah disetujui sebelumnya.
Black List
Black List merupakan daftar host yang tidak diizinkan untuk mengakses dan melakukan tindakan terhadap sistem. Menjaga keamanan dengan memblokir akses tidak sah yang masuk ke sumber sistem dan selain daftar itu akses diizinkan melakukan tindakan.
https://www.esecurityplanet.com/applications/whitelisting-vs-blacklisting-which-is-better/
Kasus Serangan SEMrush Web Crawler
Access log wpukmsepakbola
Beberapa hal yang dapat dilakukan
- Block IP Crawling
Melakukan block pada IP yang mencurigakan yang sebelumnya dilakukan pengecekan informasi IP pada https://www.abuseipdb.com/check/
Melakukan block pada IP yang mencurigakan yang sebelumnya dilakukan pengecekan informasi IP pada https://www.abuseipdb.com/
ufw deny from 182.192…..
Anywhere DENY 185.191.171.11
Anywhere DENY 185.191.171.16
Anywhere DENY 185.191.171.20
Anywhere DENY 185.191.171.0/24
Anywhere DENY 185.191.170.0/23
Anywhere DENY 185.191.171.4
Anywhere DENY 185.191.171.37
Anywhere DENY 185.191.171.9
Anywhere DENY 185.191.171.13
- Menghapus file mencurigakan pada Database
File baru mencurigakan wajib di cek apabila file mencurigakan dapat dihapus atau di hilangkan.
- Menambahkan Black list pada Server
Code berisi perintah melakukan block terhadap beberapa user-agent guna menghentikan aktivitas pada server situs web.
SetEnvIfNoCase User-Agent "^Bandit" bad_bot
SetEnvIfNoCase User-Agent "^Baiduspider" bad_bot
SetEnvIfNoCase User-Agent "^BatchFTP" bad_bot
SetEnvIfNoCase User-Agent "^Bigbot" bad_bot
SetEnvIfNoCase User-Agent "^Black.Hole" bad_bot
SetEnvIfNoCase User-Agent "^Googlebot" bad_bot
Order Allow,Deny
Allow from All
Deny from env=bad_bot
Disable user-agent pada Robots.txt
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-BA
Disallow: /
User-agent: Bingbot
Disallow: /
Serangan Badbot / Crawling yang dilakukan secara konsisten dapat menyebabkan kebocoran data yang dapat memacu serangan DDos, Web Deface, dan Cross Site Scripting (XSS).
— Menangani Kasus Serangan Badbot, SemrushBot, Bingbot dan Bot Nakal Lainnya pada Server Situs Web
Menangani Kasus Serangan Badbot, SemrushBot, Bingbot dan Bot Nakal Lainnya pada Server Situs Web. [nurullatifah]