Robots.txt er en tekstfil placeret i roden af dit website, som instruerer søgemaskinernes crawlere om, hvilke dele af siden de må eller ikke må crawle. I robots.txt kan du f.eks. angive disallow for visse mapper eller sider, som du ikke ønsker indekseret (fx /admin/). Det er et vigtigt redskab i teknisk SEO til at styre crawl-adfærd, men det skal bruges med omhu – en forkert opsætning kan utilsigtet blokere vigtige sider fra søgemaskinerne. Bemærk også, at robots.txt kun giver crawl-instruktioner; for at forhindre indeksering af en side skal man bruge noindex-tag.