Crawler

En crawler, også kaldet web crawler, bot eller robot, er et program, der automatisk besøger websider, læser indholdet og følger links videre til nye sider. Søgemaskiner bruger crawlere til at finde og opdatere de sider, de har i deres indeks. Googles crawler hedder Googlebot, og uden et besøg fra den kan en side hverken blive indekseret eller rangere.

Hvordan arbejder en crawler?

Crawleren starter med en liste over kendte URL'er fra tidligere besøg, sitemaps og links. Før den henter en side, læser den filen robots.txt for at se, hvad den må. Derefter henter den HTML-koden, finder links til nye URL'er og sætter dem i kø. Googlebot gengiver også siden med en nyere udgave af Chrome, så indhold, der indlæses med JavaScript, kan blive set. Gengivelsen sker dog ofte senere end selve hentningen, så vigtigt indhold og vigtige links bør stå direkte i HTML'en.

Hvor ofte crawleren kommer igen, afhænger af, hvor vigtig og foranderlig siden er, og hvor meget serveren kan klare. Det kaldes crawl budget. Forsiden på en nyhedsside besøges mange gange i døgnet, mens en gammel underside på en lille hjemmeside kan gå uger mellem besøgene.

Crawleren reagerer også på signaler fra selve siden. Et canonical-tag fortæller, hvilken version der er den foretrukne, og statuskoder som 301 og 404 fortæller, om siden er flyttet eller væk. Svarer serveren gentagne gange med fejl i 500-serien, sænker Googlebot tempoet for ikke at belaste den.

Googlebot og de andre crawlere

Googlebot findes i to udgaver, en til smartphone og en til computer. Efter overgangen til mobile first-indeksering crawler Google langt de fleste sites med smartphone-udgaven. Bing har Bingbot, og SEO-værktøjer som Ahrefs og Semrush har deres egne crawlere, der bygger linkdatabaser. AI-virksomheder har også crawlere, fx GPTBot fra OpenAI, ClaudeBot fra Anthropic og PerplexityBot. Med robots.txt kan du styre hver enkelt for sig. Google-Extended er et særligt navn i robots.txt, der styrer, om dit indhold må bruges til Googles AI-modeller. Det påvirker hverken Googlebot eller din synlighed i Google-søgningen.

Mange bots udgiver sig for at være Googlebot. Vil du være sikker, kan du slå IP-adressen op med et omvendt DNS-opslag. Ægte Googlebot kommer fra Googles egne domæner, fx googlebot.com.

Sådan gør du det let for crawleren

Sørg for, at alle vigtige sider kan nås via almindelige interne links med en href-adresse. Links, der kun virker via et JavaScript-klik, kan crawleren have svært ved at følge. Indsend et XML-sitemap, hold serveren hurtig, og undgå at blokere CSS- og JavaScript-filer, som siden skal bruge for at blive gengivet. Lange kæder af omdirigeringer gør crawlingen langsommere, så peg altid direkte på den endelige adresse. Rapporten Crawlstatistik i Search Console viser, hvor mange forespørgsler Googlebot sender, hvor hurtigt serveren svarer, og hvilke fejl crawleren møder. Læs, hvordan du finder rundt i rapporterne, i vores guide til Google Search Console.