Perangkak web[1] (bahasa Inggris: web crawler), merupakan mesin/perangkat lunak yang secara sistematis menjelajahi Waring Wera Wanua dan biasanya dioperasikan oleh mesin pencari untuk tujuan pengindeksan[2] maupun untuk tujuan pengarsipan.[3]
Cara kerja perangkak web adalah dengan cara mengunjungi URL web tujuan, dan berkomunikasi dengan peladen web yang merespons URL tersebut, perangkak web mengidentifikasi semua pranala di halaman web yang diambil dan menambahkannya ke daftar URL yang akan dikunjungi, atau yang dikenal dengan istilah crawl frontier. Pada saat perangkak web melakukan pengarsipan, perangkap akan menyalin dan menyimpan informasi yang ada pada web tersebut, kemudian arsip web akan disimpan, sehingga dapat dilihat, dibaca, dan dinavigasi seolah-olah berada di web asli langsung.[4]
Daftar perangkak web
suntingBeberapa perangkak web adalah sebagai berikut:
Perangkak web dengan sumber terbuka
suntingBeberapa perangkak web sumber terbuka:
- GNU Wget
- GRUB
- Heritrix
- ht://Dig
- HTTrack
- mnoGoSearch
- Apache Nutch
- Open Search Server
- Scrapy
- Seeks
- StormCrawler
- tkWWW Robot
- Xapian
- YaCy
Perangkap web komersial
suntingBeberapa perangkap web berbayar:
Referensi
sunting- ^ "Arti kata perangkak web". Badan Pengembangan dan Pembinaan Bahasa, Kemendikbud. KBBI Daring. Diakses tanggal 17 Desember 2025.
- ^ Bai, Quan; Xiong, Gang; Zhao, Yong; He, Longtao (2014-01-01). "Analysis and Detection of Bogus Behavior in Web Crawler Measurement". Procedia Computer Science. 2nd International Conference on Information Technology and Quantitative Management, ITQM 2014 (dalam bahasa Inggris). 31: 1084–1091. doi:10.1016/j.procs.2014.05.363. ISSN 1877-0509.
- ^ Smithers, Matt (2024-09-11). "Web Archiving: The process of collecting and storing websites and web pages for long-term access and preservation". CLOCKSS (dalam bahasa American English). Diakses tanggal 2025-05-28.
- ^ Web archiving. Julien Masanès. Berlin: Springer. 2006. ISBN 978-3-540-46332-0. OCLC 262691786. Pemeliharaan CS1: Lain-lain (link)
