Robots.txt er en tekstfil i roden af dit website der instruerer søgemaskiners crawlere om hvilke dele af sitet de må og ikke må besøge.
Robots.txt forhindrer crawling — men ikke indeksering. Google kan indeksere en URL baseret på backlinks uden at have crawlet siden. For at forhindre indeksering skal du bruge noindex-meta-tagget. En forkert linje i robots.txt kan blokere hele dit site fra Google — tjek den altid efter ændringer.
Hos Linkfabrikken hjælper vi danske virksomheder med at styrke deres SEO med kvalitets linkbuilding. Prøv 3 gratis backlinks og mærk forskellen selv.
