Crawl budget

Crawl budget, også skrevet crawlbudget, er den mængde sider, Googlebot henter fra dit website inden for en periode. Google beskriver det som en kombination af to ting: hvor meget din server kan klare uden at blive langsom, og hvor stor efterspørgslen er efter dit indhold. Populære sider, der ændrer sig ofte, bliver crawlet oftere end sider, ingen linker til.

Hvornår skal du tænke på crawl budget?

For de fleste danske hjemmesider er det ikke en flaskehals. Google skriver selv, at emnet især gælder sites med over en million sider og sites med over 10.000 sider, der ændres dagligt. En webshop med filtre kan dog hurtigt skabe titusindvis af URL'er. Viser rapporten over sideindeksering i Search Console mange sider med status "Discovered, currently not indexed", kan det være et tegn.

Serverens svartid tæller også. Svarer serveren langsomt eller med fejl i 500-serien, sænker Googlebot tempoet for ikke at belaste den. En hurtig og stabil server giver plads til mere crawl, mens et site med mange fejl bliver besøgt sjældnere.

Sådan undgår du spild

Bloker filter- og sorteringsparametre, interne søgesider og andre uendelige URL-kombinationer i robots.txt. Lad slettede sider svare med 404 eller 410, og fjern kæder af omdirigeringer. Hold dit XML-sitemap rent, så det kun indeholder sider, du vil have indekseret. Noindex sparer ikke crawl budget, fordi Google stadig skal hente siden for at se tagget. Følg udviklingen i rapporten Crawlstatistik under Indstillinger i Search Console. Døde links koster også crawl, og dem gennemgår vi i artiklen om døde links.