Redigerer Søkerobot (avsnitt)

=== Utvalgspolicy ===
Verdensveven er ekstremt stor og selv store søkemotorer indekserer kun en andel av vevsidene som er tilgjengelig.  En studie gjennomført i 2005 viser at Google indekserte ca 70% av alle vevsidene på verdensveven<ref>http://www.di.unipi.it/~gulli/papers/f692_gulli_signorini.pdf</ref>. Ettersom ikke alle vevsider indekseres, er det viktig for søkeroboten å velge og prioritere sidene som er mest relevante og ikke tilfeldige.

Søkerobotene bruker ulike algoritmer for å fastslå om vevsider er relvante eller ikke. Eksempler på algoritmer er Breadth First Search, Page Rank og BackLink.

==== URL-normalisering ====
For at søkeroboten ikke skal besøke de samme vevsidene, blir det gjort en form for URL-formalisering. Eksempler på dette kan være at [[IP-adresse]]n til vevsiden blir normalisert til [[Domenenavn|domeneadressen]]. Eksempler kan være å normalisere http://111.111.111{{død lenke|dato=august 2017 |bot=InternetArchiveBot }} til http://domenet.no{{død lenke|dato=august 2017 |bot=InternetArchiveBot }}.<ref>{{kilde www |url=http://dblab.ssu.ac.kr/publication/LeKi05a.pdf |tittel=Arkivert kopi |besøksdato=2006-04-11 |url-status=død |arkivurl=https://web.archive.org/web/20060918115757/http://dblab.ssu.ac.kr/publication/LeKi05a.pdf |arkivdato=2006-09-18 }}</ref>