Crawl budget
Det antal URLer, Googlebot vil og kan hente på dit site inden for en given periode. For de fleste sites er det ikke et problem. For webshops med filtre er det tit det eneste problem.
Nøglefakta
Hvad er crawl budget?
Googlebot har ikke uendelig tid. For hvert site beregner Google løbende, hvor mange forespørgsler serveren tåler, og hvor mange af sitets URLer der er værd at hente. Resultatet er dit crawl budget. Begrebet er ikke en fast kvote, du kan slå op et sted. Det er summen af to størrelser, som Google selv beskriver i sin guide til store sites.
Crawl capacity limit er det tekniske loft. Svarer serveren hurtigt og stabilt, skruer Googlebot op for antallet af samtidige forbindelser. Begynder svartiderne at stige, eller kommer der 5xx-fejl, skruer den ned igen. Loftet beskytter din server, ikke dig.
Crawl demand er efterspørgslen. Populære URLer med mange links, og sider der ændrer sig ofte, bliver hentet oftere. URLer, Google anser for uinteressante eller duplikerede, bliver hentet sjældnere. Selv med masser af serverkapacitet crawler Google ikke sider, den ikke har brug for.
Har du overhovedet et crawl budget-problem?
Sandsynligvis ikke. Google siger direkte, at guiden er skrevet til sites med over en million unikke sider, der ændrer sig ugentligt, eller over 10.000 sider, der ændrer sig dagligt. En dansk virksomhedsside med 300 URLer bliver crawlet fuldt, uanset hvad du gør.
Tallene dækker dog over noget vigtigt: det er antallet af URLer, Googlebot kan finde, ikke antallet af produkter. En webshop med 2.000 produkter og filtre for farve, størrelse, mærke og pris kan let generere flere hundrede tusind unikke URLer. Det er der, problemet opstår.
Tegn på at budgettet er for lille
- • Nye produktsider tager uger om at dukke op i indekset
- • Search Console viser mange URLer som Fundet, ikke indekseret
- • Logfilerne viser Googlebot på filter-URLer, mens kategorisider sjældent besøges
- • Rettede title-tags slår først igennem efter lang tid
Mål først: crawlstatistik og logfiler
Search Console har en rapport, mange overser. Den ligger under Indstillinger → Crawlstatistik og viser forespørgsler pr. dag, gennemsnitlig svartid, fordeling på statuskoder, filtyper og formål (opdagelse eller genopfriskning). Stiger svartiden, falder antallet af forespørgsler typisk kort efter.
Rapporten viser kun stikprøver. Vil du vide præcis hvilke URLer Googlebot bruger tiden på, skal du i serverens adgangslog. Et hurtigt overblik kan du få direkte i terminalen:
# Top 20 URLer hentet af Googlebot i dagens log
grep "Googlebot" access.log \
| awk '{print $7}' \
| sort | uniq -c | sort -rn | head -20
# Andel af Googlebot-hits der rammer URLer med parametre
grep "Googlebot" access.log | awk '{print $7}' | grep -c "?"User-agenten kan forfalskes. Skal tallene bruges til en beslutning, så verificér at IP-adresserne faktisk tilhører Google med et reverse DNS-opslag. Ægte Googlebot-IPer slår op til et værtsnavn under googlebot.com eller google.com.
De greb der virker
Bloker uendelige URL-rum i robots.txt
Facetter, interne søgeresultater og sorteringsvarianter, der aldrig skal ranke. Disallow betyder, at URLen slet ikke hentes. Det er det eneste greb, der direkte sparer forespørgsler.
Ret redirect-kæder
Hvert hop er en ekstra forespørgsel. Peg interne links direkte på slut-URLen, så Googlebot ikke skal hente tre adresser for at nå én side.
Returnér 404 eller 410 for døde sider
Soft 404 (en tom side med status 200) bliver ved med at blive crawlet. En ægte 404 eller 410 får Google til at droppe URLen over tid.
Gør serveren hurtigere
Lavere svartid hæver crawl capacity. Caching af HTML og et CDN foran sitet giver ofte mere end nogen robots.txt-regel.
# robots.txt for en webshop med facetfiltre
User-agent: *
Disallow: /*?*sort=
Disallow: /*?*farve=
Disallow: /*?*pris=
Disallow: /soeg
Sitemap: https://www.example.dk/sitemap.xmlFaldgruber
Noindex sparer ikke crawl. For at se et noindex-tag skal Googlebot hente siden. Over tid crawles noindex-sider sjældnere, men de koster stadig forespørgsler. Vil du spare budget, er robots.txt værktøjet.
Disallow og noindex på samme side modarbejder hinanden. Er URLen blokeret i robots.txt, kan Google ikke læse noindex-tagget. Siden kan stadig dukke op i indekset uden beskrivelse, hvis andre linker til den.
Canonical er et hint, ikke en spærring. Canonical-tagget samler signaler på én URL, men duplikaterne bliver stadig crawlet. Det løser duplicate content, ikke crawl budget.
Indstillingen for crawlhastighed findes ikke længere. Google fjernede den fra Search Console i januar 2024. Skal du akut dæmpe Googlebot, kan du midlertidigt svare med 503 eller 429. Brug det kun i timer eller få dage, ellers begynder Google at droppe URLer.
Best practices
Gør dette
- • Tjek crawlstatistikken hver måned på store sites
- • Hold XML-sitemappet rent: kun indekserbare 200-URLer
- • Brug lastmod i sitemappet, og kun når indholdet faktisk ændres
- • Link internt til de sider, der skal crawles oftest
- • Analysér logfiler før du skriver robots.txt-regler
Undgå dette
- • At bruge noindex som crawl-spærre
- • At blokere CSS og JavaScript, Google skal bruge til rendering
- • Session-id eller tracking-parametre i interne links
- • Uendelig kalender- eller paginering uden slutpunkt
- • At bekymre dig om crawl budget på et site med 200 sider