Robots.txt

Robots.txt er en tekstfil i roden af dit website der instruerer søgemaskiners crawlere om hvilke dele af sitet de må og ikke må besøge.

Hvad bør du typisk blokere?

• Admin-mapper: /admin/, /wp-admin/
• Interne søgeresultatsider
• Staging- og testmiljøer

Kritisk advarsel

Robots.txt forhindrer crawling, men ikke indeksering. Google kan indeksere en URL baseret på backlinks uden at have crawlet siden. For at forhindre indeksering skal du bruge noindex-meta-tagget. En forkert linje i robots.txt kan blokere hele dit site fra Google, tjek den altid efter ændringer.

Hos Linkfabrikken hjælper vi danske virksomheder med at styrke deres SEO med kvalitets linkbuilding. Prøv 10 gratis backlinks og mærk forskellen selv.