Robots.txt

Robots.txt er det første, en velopdragen crawler kigger efter, når den besøger et domæne. Filen ligger altid på samme adresse, fx https://www.ditdomæne.dk/robots.txt, og gælder kun for præcis det domæne, den ligger på. Et subdomæne som shop.ditdomæne.dk skal have sin egen fil. Reglerne kaldes robots exclusion protocol og blev en officiel internetstandard i 2022.

Sådan er en robots.txt-fil bygget

Filen består af grupper. Hver gruppe starter med User-agent, der angiver, hvilken crawler reglerne gælder for, og fortsætter med linjer med Disallow eller Allow. En stjerne betyder alle crawlere. Til sidst kan du angive adressen på dit XML sitemap med Sitemap:.

• Disallow: /kurv/ beder crawlerne holde sig fra alt under /kurv/.
• Allow: åbner for en undermappe i en ellers blokeret mappe.
• * matcher en vilkårlig tekst, og $ markerer slutningen af en adresse.
• Når to regler kolliderer, vinder den mest specifikke, altså den længste sti.

Google ignorerer crawl-delay og har siden 2019 ignoreret noindex-linjer i robots.txt. Filen må højst fylde 500 KiB, og alt ud over det bliver ignoreret.

Hvad bør du blokere?

Bloker de områder, hvor crawlerne spilder tid uden at finde noget nyttigt: kurv og kasse, interne søgeresultater, uendelige kombinationer af filtre og sortering i en webshop, og adresser med sporingsparametre. Det frigør crawl budget til de sider, der skal rangere. Bloker aldrig CSS- og JavaScript-filer, som Google skal bruge for at gengive siden korrekt.

Robots.txt beskytter mod crawling, ikke mod indeksering

Den vigtigste misforståelse er, at robots.txt holder sider ude af Google. Filen stopper kun crawlingen. Linker andre sider til en blokeret adresse, kan Google stadig vise den i søgeresultaterne, bare uden beskrivelse. Skal en side helt ud af indekset, skal du bruge noindex, og så skal siden kunne crawles. Følsomme data beskyttes med login, fordi robots.txt er offentlig og kan læses af alle.

Robots.txt og AI-crawlere

Mange vil i dag styre, om deres indhold bruges af AI-tjenester. Det gøres med egne grupper for crawlere som GPTBot fra OpenAI, ClaudeBot fra Anthropic, PerplexityBot og CCBot. Google bruger tokenet Google-Extended til at styre brugen i Gemini, og det påvirker ikke din synlighed i Google Søgning. Overvej valget nøje: blokerer du AI-crawlere, kan dit indhold også få sværere ved at blive citeret i AI-svar.

Test filen, før du gemmer

En enkelt forkert linje, fx Disallow: / under User-agent: *, blokerer hele sitet. Det sker oftest, når et testmiljø går live med filen fra udviklingen. Search Console har en robots.txt-rapport, der viser, hvilken version Google har hentet, og om der er fejl. På Shopify redigeres filen via skabelonen robots.txt.liquid, som vi beskriver i vores guide til Shopify SEO.