Kaj je bil prvi iskalnik?

Iskalnik je računalniški program, ki deluje kot način pridobivanja informacij iz baze podatkov na podlagi določenih meril, ki jih določi uporabnik. Sodobni iščejo baze podatkov, ki vsebujejo ogromne količine podatkov, zbranih iz svetovnega spleta, novičarskih skupin in projektov imenikov.

Preden je obstajal svetovni splet, po pojavu interneta in njegovi popularnosti v univerzitetnem krogu pa je nastal prvi iskalnik. Na tej točki zgodovine – v poznih osemdesetih in zgodnjih devetdesetih – je bil eden od glavnih protokolov, ki so se uporabljali na internetu, protokol za prenos datotek (FTP). FTP strežniki so obstajali po vsem svetu, običajno v univerzitetnih kampusih, raziskovalnih ustanovah ali vladnih agencijah. Nekateri študenti na univerzi McGill v Montrealu so se odločili, da bi centralizirana baza podatkov o datotekah, ki so na voljo na različnih priljubljenih strežnikih FTP, pomagala prihraniti čas in ponuditi odlično storitev drugim. To je bil izvor iskalnika Archie.

Archie, kar je bila okrajšava za arhiv, je bil program, ki se je redno prijavljal v strežnike FTP na svojem seznamu in naredil indeks, katere datoteke so bile na strežniku. Ker sta bila procesorski čas in pasovna širina še vedno dokaj dragoceno blago, je Archie preverjal posodobitve le vsak mesec. Sprva je bil indeks, ki ga je zgradil Archie, mišljen za preverjanje z Unixovim ukazom grep, vendar je bil kmalu razvit boljši uporabniški vmesnik, ki je omogočal enostavno iskanje po indeksu. Po Archieju se je pojavila peščica iskalnikov, ki so iskali podoben Gopher protokol – dva najbolj znana sta Jughead in Veronica. Archie je s pojavom svetovnega spleta in kasnejših iskalnikov postal relativno zastarel, vendar strežniki Archie še vedno obstajajo.

Leta 1993, kmalu po nastanku svetovnega spleta, je Matthew Gray razvil World Wide Web Wanderer, ki je bil prvi spletni robot. World Wide Web Wanderer je indeksiral vsa spletna mesta, ki so obstajala na internetu, tako da je zajela njihove URL-je, vendar ni sledila nobeni dejanski vsebini spletnih mest. Indeks, povezan s Wandererjem, ki je bil zgodnji iskalnik, se je imenoval Wandex.

Po Wandererju je zraslo še nekaj manjših projektov, ki se je začel približevati sodobnemu iskalniku. Ti vključujejo Worm World Wide Web Worm, Repository-Based Software Engineering (RBSE) spider in JumpStation. Vsi ti trije so uporabili podatke, ki so jih zbrali spletni roboti, da bi te podatke vrnili uporabnikom. Kljub temu so bile informacije večinoma le vrnjene nefiltrirane, čeprav je RBSE poskušal razvrstiti vrednost strani.

Leta 1993 je podjetje Excite, ki so ga ustanovili nekateri študenti Stanforda, izdalo verjetno prvi iskalnik, ki dejansko vključuje analizo vsebine strani. Ta začetna ponudba je bila namenjena iskanju znotraj spletnega mesta, vendar ne iskanju po spletu kot celoti.
Leta 1994 pa je svet iskalnika doživel velik preboj. Podjetje, imenovano WebCrawler, je začelo z iskalnikom, ki ni zajel samo naslova in glave strani na internetu, ampak je zagrabil tudi vso vsebino. WebCrawler je bil izjemno uspešen – tako uspešen, da ga veliko časa sploh ni bilo mogoče uporabiti, ker so bili uporabljeni vsi njegovi sistemski viri.
Nekoliko pozneje istega leta je bil izdan Lycos, ki vključuje številne enake funkcije kot WebCrawler in jih nadgrajuje. Lycos je svoje rezultate razvrstil glede na relevantnost in uporabniku omogočil, da prilagodi številne nastavitve, da bi dobil rezultate, ki se bolje ujemajo. Lycos je bil tudi ogromen – v enem letu je imel arhiviranih več kot milijon spletnih mest, v dveh letih pa je dosegel 60 milijonov.