Spletni pajek je razmeroma preprost avtomatiziran program ali skript, ki metodično pregleduje ali “plazi” po internetnih straneh, da ustvari indeks podatkov, ki jih išče; ti programi so običajno narejeni za samo enkratno uporabo, vendar jih je mogoče programirati tudi za dolgotrajno uporabo. Program ima več uporab, morda najbolj priljubljeni so iskalniki, ki ga uporabljajo za zagotavljanje ustreznih spletnih mest spletnim deskarjem. Drugi uporabniki so jezikoslovci in tržni raziskovalci ali vsi, ki poskušajo organizirano iskati informacije na internetu. Alternativna imena spletnega pajka vključujejo spletni pajek, spletni robot, bot, pajek in samodejni indekser. Programe za pajke je mogoče kupiti na internetu ali pri številnih podjetjih, ki prodajajo računalniško programsko opremo, programe pa je mogoče prenesti na večino računalnikov.
Pogoste uporabe
Spletni pajki se uporabljajo na različne načine, v bistvu pa lahko spletni pajek uporablja vsak, ki želi zbrati informacije na internetu. Iskalniki pogosto uporabljajo spletne pajke za zbiranje informacij o tem, kaj je na voljo na javnih spletnih straneh. Njihov primarni namen je zbrati podatke, tako da lahko internetni deskarji, ko na svojem spletnem mestu vnesejo iskalni izraz, hitro zagotovijo ustrezna spletna mesta. Jezikoslovci lahko uporabijo spletni pajek za izvedbo analize besedila; to pomeni, da lahko prečešejo internet, da ugotovijo, katere besede se danes običajno uporabljajo. Raziskovalci trga lahko s spletnim pajkom določijo in ocenijo trende na določenem trgu.
Spletno pajkanje je pomembna metoda za zbiranje podatkov o hitro rastočem internetu in spremljanje z njim. Vsak dan se nenehno dodaja ogromno spletnih strani, informacije pa se nenehno spreminjajo. Spletni pajek je način, da iskalniki in drugi uporabniki redno zagotavljajo, da so njihove baze podatkov posodobljene. Obstajajo številne nezakonite uporabe spletnih pajkov, kot je na primer vdiranje v strežnik za več informacij, kot jih je prosto dano.
Kako deluje
Ko spletni pajek iskalnika obišče spletno stran, “prebere” vidno besedilo, hiperpovezave in vsebino različnih oznak, ki se uporabljajo na spletnem mestu, kot so meta oznake, bogate s ključnimi besedami. S pomočjo informacij, zbranih s pajkom, bo iskalnik nato ugotovil, za kaj gre na spletnem mestu, in podatke indeksiral. Spletno mesto je nato vključeno v zbirko podatkov iskalnika in njegov proces razvrščanja strani.
Spletni pajki lahko delujejo samo enkrat, recimo za določen enkratni projekt. Če je njegov namen nekaj dolgoročnega, kot je v primeru iskalnikov, so lahko spletni pajki programirani tako, da občasno prečesajo internet, da ugotovijo, ali je prišlo do pomembnih sprememb. Če ima spletno mesto velik promet ali tehnične težave, je lahko pajek programiran tako, da to opazi in znova obišče spletno mesto, upamo, da se tehnične težave umirijo.