Crawlere er programmer, der automatisk henter sider: Googlebot til søgeresultater, Bingbot, AI-firmaernes crawlere og Metas crawlere til Facebook og Instagram. De fleste opfører sig ordentligt. Problemet opstår, når en crawler henter mange sider hurtigt, og siderne ikke kan leveres fra cachen.
Symptomerne
- Siden bliver pludselig langsom eller giver fejl 503 eller 508, uden at der er flere kunder end normalt.
- CPU-forbruget på din konto ligger på loftet i perioder, også om natten.
- Tabellen
wp_woocommerce_sessionsvokser hurtigt, selvom der ikke kommer flere ordrer. - Adgangsloggen er fuld af kald med
?add-to-cart=,?orderby=eller?filter_i adressen.
Metas crawlere
Meta har flere crawlere, og de har hver sin opgave:
| User-agent | Hvad den gør |
|---|---|
| facebookexternalhit | Henter titel, billede og beskrivelse, når et link bliver delt på Facebook, Instagram eller Messenger, eller bruges i en annonce. |
| meta-externalagent | Henter indhold til Metas AI-modeller og produkter. |
Det særlige ved Meta er mængden og hastigheden. Crawlerne kan sende mange forespørgsler på kort tid og fra mange forskellige IP-adresser i Metas eget netværk. En almindelig begrænsning pr. IP-adresse hjælper derfor kun lidt, fordi hver enkelt adresse holder sig under grænsen.
Efter Metas egen dokumentation kan facebookexternalhit i nogle tilfælde se bort fra robots.txt. Regler i robots.txt er derfor ikke nok alene.
Hvorfor de rammer ved siden af cachen
En crawler har ingen cookies, så i princippet burde den altid få den cachede version af siden. Men den følger alle links, den finder, og på en WooCommerce-shop er der tre typer links, der næsten aldrig ligger i cachen:
Knappen er ofte et GET-link som ?add-to-cart=123. Hvert kald lægger en vare i en ny kurv, opretter en session i databasen og sætter cookies.
Hver kombination som ?orderby=price&filter_farve=blaa er en ny adresse. Fem filtre kan give tusindvis af kombinationer.
fbclid, gclid og utm_ har en unik værdi pr. klik. Ser cachen dem som nye adresser, rammer hvert klik ved siden af.
WooCommerce sætter nofollow på "læg i kurv"-knapperne, men det er kun en anbefaling. Ikke alle crawlere følger den.
"Læg i kurv" burde være en POST-forespørgsel, men WooCommerce bruger et GET-link som fallback, og mange temaer viser det direkte. Det er derfor, problemet især rammer webshops.
Tjek din adgangslog
Hent adgangsloggen (access log) fra dit kontrolpanel. Har du SSH-adgang, kan du se, hvem der kalder mest, og hvor mange "læg i kurv"-kald der kommer fra Meta:
# De 10 user-agents med flest forespørgsler awk -F'"' '{print $6}' access.log | sort | uniq -c | sort -rn | head # "Læg i kurv"-kald fra Metas crawlere grep -Ei 'facebookexternalhit|meta-externalagent' access.log | grep -c 'add-to-cart='
Du kan også teste, om en side bliver leveret fra cachen, når Meta henter den. Kører din server LiteSpeed, viser headeren x-litespeed-cache, om det var et hit eller et miss:
curl -sI -A "facebookexternalhit/1.1" https://dinshop.dk/produkt/eksempel/ | grep -i x-litespeed-cache
Kør kommandoen to gange. Anden gang skal svaret være hit. Står der stadig miss, bliver siden ikke cachet for crawlere.
Sådan løser du det
- Sørg for, at det, der kan caches, bliver cachet. Bruger du LSCache, så tjek indstillingen Drop Query String. Den fjerner parametre som
fbclid,gclidogutm*, før cachen slår siden op, så alle varianter rammer den samme cachede side. Tilføj selv de parametre, dine kampagner bruger. Andre cache-plugins har en tilsvarende indstilling. - Fortæl crawlerne, hvad de ikke skal hente. Google, Bing og de fleste seriøse crawlere respekterer regler i
robots.txt. Ret stierne til din shop. Engelske sidenavne hedder typisk/cart/,/checkout/og/my-account/.
User-agent: * Disallow: /*add-to-cart= Disallow: /*orderby= Disallow: /*filter_ Disallow: /kurv/ Disallow: /kassen/ Disallow: /min-konto/
- Afvis "læg i kurv" fra bots på serveren. Fordi ikke alle crawlere respekterer robots.txt, kan du afvise linkene, før de når WordPress. Rigtige kunder bruger en almindelig browser og bliver ikke ramt. Sæt reglen øverst i
.htaccess, før WordPress' egne regler.
# Afvis "læg i kurv"-links fra crawlere med 403
RewriteEngine On
RewriteCond %{QUERY_STRING} (^|&)add-to-cart= [NC]
RewriteCond %{HTTP_USER_AGENT} (bot|crawl|spider|facebookexternalhit|meta-externalagent) [NC]
RewriteRule ^ - [F,L]
- Ryd op i sessionerne. Har crawlere allerede oprettet tusindvis af kurve, kan du tømme dem under WooCommerce → Status → Værktøjer → Ryd kundesessioner.
"Ryd kundesessioner" tømmer også kurven for kunder, der er i gang med at handle. Gør det uden for spidsbelastning.
Bloker ikke alt fra Meta
Det kan være fristende at blokere Meta helt. Men blokerer du facebookexternalhit, får dine links ingen billede eller beskrivelse, når de bliver delt, og Meta kan ikke tjekke landingssiderne i dine annoncer. Bloker i stedet de adresser, der ikke kan caches, og sørg for, at resten bliver leveret fra cachen.
Vil du ikke have, at dit indhold bruges til Metas AI-modeller, er det en anden crawler. Den kan du blokere uden at påvirke delte links:
User-agent: meta-externalagent Disallow: /
Hvad Speedio gør
Vi blokerer kendte dårlige crawlere i firewallen, før de når dit site. Metas crawlere er en anden sag, fordi de også henter de forhåndsvisninger og annoncer, du selv bruger. Derfor er den vigtigste beskyttelse, at siderne ligger i cachen.
Sidecache i selve webserveren på alle webhoteller.
En crawler på en anden kundes site tager ikke CPU fra dit.
Ser du belastning fra crawlere, så skriv eller ring. Vi kan se i serverloggene, hvilke adresser der bliver kaldt, og hjælpe med at sætte reglerne ovenfor op.