En crawler (søgemaskine-robot) er et program, som søgemaskiner bruger til automatisk at gennemgå ("crawle") websider. Crawleren – f.eks. Googlebot – følger links på dit website og læser indholdet for at indeksere det i søgemaskinens database. En effektiv crawl sikrer, at alle vigtige sider bliver fundet og indekseret, hvilket kræver en god intern linkstruktur og ingen uhensigtsmæssige blokeringer (f.eks. i robots.txt).