← Blog/Drift · WooCommerce
DriftWooCommerceCrawlere

Bruger crawlere alle dine ressourcer? Sådan håndterer du Meta og andre bots

En webshop kan gå ned uden en eneste ekstra kunde. Når en crawler kalder tusindvis af sider, som ikke ligger i cachen, skal serveren bygge hver eneste af dem fra bunden. Metas crawlere er den hyppigste årsag, vi ser.

Mads Sebastian
Mads og SebastianSpeedio
Opdateret
Læsetid 7 min

Crawlere er programmer, der automatisk henter sider: Googlebot til søgeresultater, Bingbot, AI-firmaernes crawlere og Metas crawlere til Facebook og Instagram. De fleste opfører sig ordentligt. Problemet opstår, når en crawler henter mange sider hurtigt, og siderne ikke kan leveres fra cachen.

01

Symptomerne

  • Siden bliver pludselig langsom eller giver fejl 503 eller 508, uden at der er flere kunder end normalt.
  • CPU-forbruget på din konto ligger på loftet i perioder, også om natten.
  • Tabellen wp_woocommerce_sessions vokser hurtigt, selvom der ikke kommer flere ordrer.
  • Adgangsloggen er fuld af kald med ?add-to-cart=, ?orderby= eller ?filter_ i adressen.
02

Metas crawlere

Meta har flere crawlere, og de har hver sin opgave:

User-agentHvad den gør
facebookexternalhitHenter titel, billede og beskrivelse, når et link bliver delt på Facebook, Instagram eller Messenger, eller bruges i en annonce.
meta-externalagentHenter indhold til Metas AI-modeller og produkter.

Det særlige ved Meta er mængden og hastigheden. Crawlerne kan sende mange forespørgsler på kort tid og fra mange forskellige IP-adresser i Metas eget netværk. En almindelig begrænsning pr. IP-adresse hjælper derfor kun lidt, fordi hver enkelt adresse holder sig under grænsen.

Efter Metas egen dokumentation kan facebookexternalhit i nogle tilfælde se bort fra robots.txt. Regler i robots.txt er derfor ikke nok alene.

03

Hvorfor de rammer ved siden af cachen

En crawler har ingen cookies, så i princippet burde den altid få den cachede version af siden. Men den følger alle links, den finder, og på en WooCommerce-shop er der tre typer links, der næsten aldrig ligger i cachen:

"Læg i kurv"-links

Knappen er ofte et GET-link som ?add-to-cart=123. Hvert kald lægger en vare i en ny kurv, opretter en session i databasen og sætter cookies.

Filtre og sortering

Hver kombination som ?orderby=price&filter_farve=blaa er en ny adresse. Fem filtre kan give tusindvis af kombinationer.

Sporingsparametre

fbclid, gclid og utm_ har en unik værdi pr. klik. Ser cachen dem som nye adresser, rammer hvert klik ved siden af.

rel="nofollow" er ikke nok

WooCommerce sætter nofollow på "læg i kurv"-knapperne, men det er kun en anbefaling. Ikke alle crawlere følger den.

"Læg i kurv" burde være en POST-forespørgsel, men WooCommerce bruger et GET-link som fallback, og mange temaer viser det direkte. Det er derfor, problemet især rammer webshops.

04

Tjek din adgangslog

Hent adgangsloggen (access log) fra dit kontrolpanel. Har du SSH-adgang, kan du se, hvem der kalder mest, og hvor mange "læg i kurv"-kald der kommer fra Meta:

bashAdgangslog
# De 10 user-agents med flest forespørgsler
awk -F'"' '{print $6}' access.log | sort | uniq -c | sort -rn | head

# "Læg i kurv"-kald fra Metas crawlere
grep -Ei 'facebookexternalhit|meta-externalagent' access.log | grep -c 'add-to-cart='

Du kan også teste, om en side bliver leveret fra cachen, når Meta henter den. Kører din server LiteSpeed, viser headeren x-litespeed-cache, om det var et hit eller et miss:

bashCachetest
curl -sI -A "facebookexternalhit/1.1" https://dinshop.dk/produkt/eksempel/ | grep -i x-litespeed-cache

Kør kommandoen to gange. Anden gang skal svaret være hit. Står der stadig miss, bliver siden ikke cachet for crawlere.

05

Sådan løser du det

  1. Sørg for, at det, der kan caches, bliver cachet. Bruger du LSCache, så tjek indstillingen Drop Query String. Den fjerner parametre som fbclid, gclid og utm*, før cachen slår siden op, så alle varianter rammer den samme cachede side. Tilføj selv de parametre, dine kampagner bruger. Andre cache-plugins har en tilsvarende indstilling.
  2. Fortæl crawlerne, hvad de ikke skal hente. Google, Bing og de fleste seriøse crawlere respekterer regler i robots.txt. Ret stierne til din shop. Engelske sidenavne hedder typisk /cart/, /checkout/ og /my-account/.
robots.txtEksempel
User-agent: *
Disallow: /*add-to-cart=
Disallow: /*orderby=
Disallow: /*filter_
Disallow: /kurv/
Disallow: /kassen/
Disallow: /min-konto/
  1. Afvis "læg i kurv" fra bots på serveren. Fordi ikke alle crawlere respekterer robots.txt, kan du afvise linkene, før de når WordPress. Rigtige kunder bruger en almindelig browser og bliver ikke ramt. Sæt reglen øverst i .htaccess, før WordPress' egne regler.
.htaccessApache / LiteSpeed
# Afvis "læg i kurv"-links fra crawlere med 403
RewriteEngine On
RewriteCond %{QUERY_STRING} (^|&)add-to-cart= [NC]
RewriteCond %{HTTP_USER_AGENT} (bot|crawl|spider|facebookexternalhit|meta-externalagent) [NC]
RewriteRule ^ - [F,L]
  1. Ryd op i sessionerne. Har crawlere allerede oprettet tusindvis af kurve, kan du tømme dem under WooCommerce → Status → Værktøjer → Ryd kundesessioner.

"Ryd kundesessioner" tømmer også kurven for kunder, der er i gang med at handle. Gør det uden for spidsbelastning.

06

Bloker ikke alt fra Meta

Det kan være fristende at blokere Meta helt. Men blokerer du facebookexternalhit, får dine links ingen billede eller beskrivelse, når de bliver delt, og Meta kan ikke tjekke landingssiderne i dine annoncer. Bloker i stedet de adresser, der ikke kan caches, og sørg for, at resten bliver leveret fra cachen.

Vil du ikke have, at dit indhold bruges til Metas AI-modeller, er det en anden crawler. Den kan du blokere uden at påvirke delte links:

robots.txtKun AI-crawleren
User-agent: meta-externalagent
Disallow: /
07

Hvad Speedio gør

Vi blokerer kendte dårlige crawlere i firewallen, før de når dit site. Metas crawlere er en anden sag, fordi de også henter de forhåndsvisninger og annoncer, du selv bruger. Derfor er den vigtigste beskyttelse, at siderne ligger i cachen.

LiteSpeed med LSCache

Sidecache i selve webserveren på alle webhoteller.

Dedikerede ressourcer

En crawler på en anden kundes site tager ikke CPU fra dit.

Ser du belastning fra crawlere, så skriv eller ring. Vi kan se i serverloggene, hvilke adresser der bliver kaldt, og hjælpe med at sætte reglerne ovenfor op.

Mads Sebastian
Er din shop langsom eller går den ned uden grund?
Vi flytter en kopi af din shop over til os, sætter cache og regler op og viser dig forskellen. Det er gratis, og din rigtige shop bliver ikke rørt.
Indhold Til toppen
  1. 01Symptomerne
  2. 02Metas crawlere
  3. 03Hvorfor de rammer ved siden af cachen
  4. 04Tjek din adgangslog
  5. 05Sådan løser du det
  6. 06Bloker ikke alt fra Meta
  7. 07Hvad Speedio gør