Blockerar advokatbyråers webbplatser AI-sökrobotar?

Vad visade studien?

1. Nästan ingen advokatbyrå blockerar AI-sökrobotar i robots.txt. 11 av 100 robots.txt-filer nämner över huvud taget någon AI-sökrobot, och 3 förbjuder någon. Bara 1 förbjuder både GPTBot och ClaudeBot.
2. Avvisningarna sker på servern, där robots.txt inte visar dem. 13 av 78 webbplatser svarade på en förfrågan i webbläsarstil men avvisade varje gång en förfrågan med namnet GPTBot, ClaudeBot eller PerplexityBot. 12 av de 13 saknar en regel i robots.txt mot den sökrobot de avvisade.
3. Avvisningarna riktar sig mot AI-sökrobotar, inte mot sökrobotar i allmänhet. 11 av de 13 webbplatserna släppte igenom samma förfrågan varje gång den bar Googlebots eller Bingbots namn.
4. Namnet ClaudeBot avvisades oftast. 10 avvisade ClaudeBot, 8 avvisade GPTBot och 2 avvisade PerplexityBot.
5. llms.txt är vanligt och skapas ofta automatiskt. 42 av 92 webbplatser publicerar en sådan fil. 19 av de 42 anger vilket tillägg som skrev filen, och 12 av dem anger Yoast SEO. Ytterligare 8 webbplatser svarar på llms.txt-adressen med regler i robots.txt-stil, som förslaget till llms.txt inte definierar.

Hur många advokatbyråer blockerar AI-sökrobotar i robots.txt?

3 av 100. Alla 100 webbplatser har en robots.txt-fil, och 89 av dem nämner ingen AI-sökrobot. Av de 11 som gör det nämner 8 sökrobotar utan att förbjuda någon av dem.

Med ”förbjuder” menas att den regelgrupp som nämner sökroboten innehåller Disallow: / utan Allow: /. Ingen webbplats förbjöd alla sökrobotar med en regel med jokertecken.

De tre advokatbyråer som förbjuder en AI-sökrobot gör det på tre olika sätt:

• En förbjuder 12 av de 15 namn på AI-sökrobotar som studien kontrollerade, bland dem GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot och PerplexityBot. Filen anger skälet i en kommentar: “Disallow AI training crawlers (added 2026-04-24 to stop CPU saturation).” (ungefär: ”Förbjud AI-sökrobotar som samlar in träningsdata (tillagt 2026-04-24 för att stoppa överbelastning av processorn)”).
• En förbjuder ClaudeBot och sju andra namn (anthropic-ai, Google-Extended, Applebot-Extended, CCBot, Bytespider, meta-externalagent och Amazonbot) men har ingen regel för GPTBot.
• En förbjuder GPTBot och meta-externalagent men släpper in ClaudeBot och OAI-SearchBot enligt de vanliga reglerna.

5 av de 93 filer som lästes den 13 oktober 2026 har en Content-Signal-rad, det format som Cloudflare publicerade den 24 september 2025. 4 lyder search=yes, ai-input=yes, ai-train=yes, och 1 lyder search=yes, ai-input=yes, ai-train=no. Tre av filerna som säger ja till träning är identiska bortsett från webbplatsens adress, vilket tyder på att en och samma webbplattform skriver raden åt sina kunder bland advokatbyråerna.

Blockerar advokatbyråer AI-sökrobotar på servern i stället?

Ja, oftare än i robots.txt. 13 av 78 webbplatser (17 %) skickade startsidan till en förfrågan i webbläsarstil men avvisade samma förfrågan när den bar en AI-sökrobots namn. Varje webbplats fick fem förfrågningar per namn, med minst tre minuters mellanrum och i ny ordning varje gång, och ”avvisade” betyder här att alla fem avvisades.

51 av de 78 webbplatserna släppte igenom alla fem namnen varje gång. 13 avvisade minst en AI-sökrobots namn varje gång. Avvisningarna var 403 “Forbidden” (åtkomst nekad) på 11 webbplatser och 429 “Too Many Requests” (för många förfrågningar) på 2. 6 av de 13 webbplatserna ligger bakom Cloudflare.

Avvisar de här webbplatserna också Googlebots namn?

Oftast inte. 11 av de 13 webbplatser som avvisade en AI-sökrobots namn släppte igenom samma förfrågan varje gång den bar Googlebots eller Bingbots namn. 2 avvisade också en sökmotorrobots namn.

Det här är viktigt för hur resultatet ska läsas. En webbplats som kontrollerar att en besökare verkligen är den sökrobot den utger sig för att vara skulle visa bort en förfrågan som felaktigt bär Googlebots namn. 11 webbplatser gjorde inte det, så en identitetskontroll är en osannolik förklaring där. De webbplatserna behandlar en AI-sökrobots namn som ett skäl att avvisa.

Av alla 78 webbplatser avvisade 2 Googlebots namn varje gång och 4 Bingbots. 3 webbplatser avvisade Bingbots namn men släppte igenom de tre AI-namnen och Googlebots.

Syns de här serverblockeringarna i robots.txt?

Nej. Bara 1 av de 13 webbplatserna har en regel i robots.txt mot en sökrobot som den avvisade. 10 har ingen regel alls för AI-sökrobotar. 2 nämner den avvisade sökroboten i robots.txt utan att förbjuda den, så filen ser ut som en inbjudan medan servern visar bort besökaren.

Det fungerar också åt andra hållet. 2 webbplatser förbjuder ClaudeBot i robots.txt men släppte ändå igenom förfrågan med ClaudeBots namn varje gång. RFC 9309, standarden för robots.txt, säger att reglerna “are not a form of access authorization.” (ungefär: ”inte är någon form av åtkomstbehörighet”). Filen anger vad webbplatsen begär av en sökrobot, och sökroboten avgör själv om den rättar sig efter det.

Håller resultatet från en amerikansk adress?

I stort sett, ja. Tre extra körningar den 13 oktober 2026 gick ut via en VPN-utgång i Chicago med samma sex förfrågningar. 74 webbplatser gick att testa därifrån och 71 från båda platserna. 68 av de 71 hamnade på samma sätt från båda: de avvisade samma namn på AI-sökrobotar, eller inga alls. 12 avvisade minst en AI-sökrobots namn från båda platserna. Från Chicago släppte 13 av de 16 webbplatser som avvisade en AI-sökrobots namn igenom Googlebots och Bingbots namn varje gång.

Vad betyder en avvisning för den riktiga sökroboten?

Den bevisar inte att den riktiga sökroboten avvisas. Studiens förfrågningar kom från vanliga internetuppkopplingar, inte från OpenAI:s, Anthropics eller Perplexitys egna adresser. En avvisning i tabellen betyder att webbplatsen behandlar sökrobotens namn annorlunda än en webbläsare, och jämförelsen med Googlebot visar att det på de flesta av de här webbplatserna är namnet som utlöser avvisningen. Bara webbplatsens egna serverloggar visar vad den riktiga sökroboten får.

Hur är det med de 22 webbplatser som hölls utanför testet?

21 webbplatser avvisade förfrågan i webbläsarstil i varje körning, och 1 gick inte att nå, så det fanns inget att jämföra med. De flesta av de 21 har ett botskydd som visade bort ett skript som utgav sig för att vara en webbläsare: en utmaningssida från Cloudflare på en del, ett enkelt 403-svar på andra.

16 av de 21 skickade sidan när samma förfrågan bar namnet GPTBot. 11 släppte igenom alla tre AI-namnen. 5 släppte igenom GPTBots namn men avvisade ClaudeBots och PerplexityBots. På de här webbplatserna räckte enbart sökrobotens namn för att ta sig förbi en spärr som stoppade en vanlig förfrågan.

Hur många advokatbyråer har en llms.txt-fil?

42 av 92, eller 46 %. En llms.txt-fil är en markdown-fil i webbplatsens rot, föreslagen den 3 september 2024 för att hjälpa AI-verktyg att använda webbplatsen.

8 av de 100 webbplatserna gav inget läsbart svar på den här adressen och är inte medräknade.

Vem som skrev filerna. 19 av de 42 filerna anger vilken programvara som genererade dem: Yoast SEO i 12, Rank Math i 4, All in One SEO i 1, Hostinger Tools i 1 och MileMark Schema Pro i 1. Enligt Yoast är filen “generated and refreshed automatically” (ungefär: ”genereras och uppdateras automatiskt”) när funktionen väl är påslagen. De övriga 23 filerna säger inget om hur de kom till.

Hur stora de är. Bland de 35 filer som lästes direkt är medianen omkring 9,1 KB och den minsta 1,3 KB. 11 filer är större än 50 KB, och den största är omkring 2 MB.

Filerna i robots.txt-stil. 8 webbplatser svarar på llms.txt-adressen med rader som User-agent: * och Allow: /. Sex av dem skickar exakt samma fil på 65 byte, som innehåller raden Disallow-Training: /. Förslaget till llms.txt beskriver en markdown-fil med en rubrik och länkar. Det definierar inga åtkomstregler, så ingenting i förslaget säger att en sökrobot ska rätta sig efter de här raderna.

Hur kan en advokatbyrå kontrollera om den egna webbplatsen blockerar AI-sökrobotar?

1. Läs din robots.txt. Öppna yourfirm.com/robots.txt och sök efter GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot och PerplexityBot. En User-agent-rad som nämner någon av dem, följd av Disallow: /, ber den sökroboten att hålla sig borta.
2. Fråga om brandväggen. Fråga den som sköter ditt webbhotell, ditt Cloudflare-konto eller ditt säkerhetstillägg om någon botregel avvisar AI-sökrobotar. 12 av de 13 avvisningarna i studien syns inte i robots.txt.
3. Be om serverloggarna. Be om de loggrader som innehåller sökrobotarnas namn och vilken statuskod var och en fick. 200 betyder att sökroboten fick sidan. 403 eller 429 betyder att den inte fick den. Det är den enda kontrollen som ser den riktiga sökroboten.
4. Ta ställning till träning och sökning var för sig. Enligt OpenAI hämtar GPTBot innehåll som kan användas för att träna företagets modeller, medan OAI-SearchBot gör webbplatser synliga i ChatGPT:s sökfunktioner. Enligt Anthropic samlar ClaudeBot in innehåll som kan bidra till träning, medan Claude-SearchBot förbättrar sökresultaten. En advokatbyrå kan avvisa den ena och släppa in den andra.
5. Öppna din llms.txt. Om yourfirm.com/llms.txt finns ska den vara markdown som börjar med en #-rubrik och listar dina sidor. Börjar den med User-agent följer den inte det format som förslaget beskriver.

Vad svarsmotorerna gör med en sida när de väl kan läsa den beskriver vi i guiden om hur du skriver innehåll som LLM:er hämtar och citerar. Advokatbyråerna i studien kommer från studien om leadgenerering för personskadebyråer i Chicago.

Hur gjordes studien?

1. Urval: de 100 webbplatser för personskadebyråer i Chicago som listas i version 4 av Copy for Originals Chicagostudie.
2. robots.txt och llms.txt: varje fil hämtades den 13 oktober 2026 med en user agent i Chrome-stil. 80 robots.txt-filer lästes på det sättet. Ytterligare 13 avvisade förfrågan och lästes samma dag på annan väg: 11 via en hämtningstjänst på webben och 2 via adressen i Chicago som beskrivs nedan. De sista 7 lästes från den senaste kopian i Internet Archive, sparad mellan 21 augusti 2025 och 7 maj 2026; ingen av de 7 nämner någon AI-sökrobot. 14 svar om llms.txt kom samma två vägar.
3. Tolkning av reglerna: reglerna grupperades efter User-agent-rad enligt RFC 9309. En sökrobot räknas som förbjuden när en grupp som nämner den innehåller Disallow: / eller Disallow: /* och ingen Allow: /. Femton namn på AI-sökrobotar kontrollerades; tabellen visar nio.
4. Servertest: varje startsida hämtades med en user agent i Chrome-stil och med user agents som innehöll GPTBot/1.4, ClaudeBot/1.0, PerplexityBot/1.0, Googlebot/2.1 och bingbot/2.0. Det blev fem körningar den 14 oktober 2026 från en vanlig bredbandsuppkoppling i Sverige, med minst tre minuters mellanrum och de sex förfrågningarna i ny ordning varje körning. Utgångsadressen kontrollerades före och efter varje körning. En webbplats räknas som testbar när förfrågan i webbläsarstil gav svaret 200 i alla fem körningarna (78 webbplatser). Ett namn räknas som avvisat när det fick 403 eller 429 i alla fem körningarna, och som blandat när körningarna gav olika svar.
5. Andra plats: tre körningar med samma sex förfrågningar den 13 oktober 2026 via en kommersiell VPN-utgång i Chicago. De redovisas för sig och ingår inte i tabellen med 78 webbplatser.
6. llms.txt: ett 200-svar räknas som en fil när det inte är en HTML-sida. Filer som börjar med User-agent räknades för sig.

Alla webbplatser och alla svarskoder finns i datafilen, och skripten för insamlingen finns i metodmappen på GitHub.

Begränsningar

• Testförfrågan är inte den riktiga sökroboten. Den bar sökrobotens namn men kom från en vanlig uppkoppling. Jämförelsen med Googlebot och Bingbot gör en identitetskontroll osannolik hos 11 av de 13 webbplatser som avvisade, men bara serverloggar kan avgöra saken.
• 22 webbplatser gick inte att testa på servern. 21 avvisade förfrågan i webbläsarstil i varje körning, och 1 gick inte att nå. Från adressen i Chicago avvisade 25 webbplatser den, så en amerikansk adress av det slaget hjälpte inte. En vanlig amerikansk bredbandsuppkoppling är inte testad.
• En stad, ett rättsområde, två dagar. 100 personskadebyråer i Chicago den 13 och 14 oktober 2026. Se procentsatserna som en fingervisning.
• 7 robots.txt-filer är arkivkopior, den äldsta från 21 augusti 2025. De webbplatserna kan ha ändrat sina regler sedan dess.
• Bara startsidan. En webbplats kan behandla undersidor annorlunda.
• Vem som satte regeln är okänt. En avvisning kan komma från advokatbyrån, dess marknadsföringsbyrå, dess webbhotell eller en standardinställning som ingen har valt.
• Inte juridisk rådgivning. Studien säger ingenting om huruvida en advokatbyrå bör släppa in eller avvisa AI-sökrobotar.

Vanliga frågor

Blockerar advokatbyråers webbplatser AI-sökrobotar som GPTBot och ClaudeBot?

Få gör det i robots.txt, fler gör det på servern. I en studie som Copy for Originals gjorde av webbplatserna för 100 personskadebyråer i Chicago den 13 och 14 oktober 2026 förbjöd 3 minst en AI-sökrobot i robots.txt. Av de 78 webbplatser som gick att testa på servern avvisade 13 en förfrågan med namnet GPTBot, ClaudeBot eller PerplexityBot i alla fem körningarna: 10 avvisade ClaudeBot, 8 avvisade GPTBot och 2 avvisade PerplexityBot.

Avvisar webbplatser som stänger ute AI-sökrobotar också Googlebot?

Oftast inte. I studien från Copy for Originals släppte 11 av de 13 advokatbyråer vars webbplatser avvisade en förfrågan med en AI-sökrobots namn igenom samma förfrågan varje gång den bar Googlebots eller Bingbots namn. Av alla 78 testade webbplatser avvisade 2 Googlebots namn och 4 Bingbots namn.

Kan en webbplats blockera AI-sökrobotar utan att det syns i robots.txt?

Ja. En brandvägg, ett webbhotell eller ett säkerhetstillägg kan avvisa en sökrobot innan själva webbplatsen svarar, och robots.txt ändras inte. I studien från Copy for Originals hade 12 av de 13 advokatbyråer vars webbplatser avvisade en förfrågan med en AI-sökrobots namn ingen regel i robots.txt mot just den sökroboten, och 2 av dem nämnde den avvisade sökroboten i robots.txt utan att förbjuda den.

Hur många advokatbyråer har en llms.txt-fil?

42 av 92, eller 46 %, i Copy for Originals studie av personskadebyråers webbplatser i Chicago den 13 och 14 oktober 2026. Ytterligare 8 av de 92 svarade på llms.txt-adressen med en fil i robots.txt-syntax, något som förslaget till llms.txt inte definierar, och 42 hade ingen fil. Av de 42 filerna uppgav 12 att de hade genererats av Yoast SEO.

Källor

Samtliga lästa den 13 oktober 2026.

• OpenAI, ”Overview of OpenAI Crawlers”. developers.openai.com/api/docs/bots
• Anthropic, ”Does Anthropic crawl data from the web, and how can site owners block the crawler?” support.claude.com
• Perplexity, ”Perplexity Crawlers”. docs.perplexity.ai/guides/bots
• Cloudflare, ”Giving users choice with Cloudflare’s new Content Signals Policy”, 24 september 2025. blog.cloudflare.com
• Jeremy Howard, ”The /llms.txt file, v2”, först publicerad 3 september 2024. llmstxt.org
• Yoast, sidan om funktionen llms.txt. yoast.com/features/llms-txt
• Google, ”Google’s common crawlers” (Google-Extended). developers.google.com
• Common Crawl, ”Frequently asked questions” (CCBot). commoncrawl.org/faq
• RFC 9309, ”Robots Exclusion Protocol”, september 2022. rfc-editor.org
• Internet Archive Wayback Machine, sparade kopior av robots.txt för 7 webbplatser. web.archive.org
• Copy for Originals, ”Leadgenerering för personskadebyråer i Chicago: en OSINT-studie av 100 advokatbyråer”. tools.copyfororiginals.com

Så citerar du sidan: Copy for Originals, ”Blockerar advokatbyråers webbplatser AI-sökrobotar?”, version 2, 14 oktober 2026, https://tools.copyfororiginals.com/law-firm-websites-ai-crawlers-study/. Data under licensen CC BY 4.0.

Versionshistorik: version 1, 13 oktober 2026, använde tre körningar utan kontrollnamn och redovisade att 15 av 78 webbplatser avvisade en AI-sökrobots namn. Version 2, 14 oktober 2026, gjorde om servertestet med fem körningar med mellanrum från en och samma uppkoppling, lade till Googlebot och Bingbot som kontrollnamn, lade till tre körningar från en adress i Chicago som en andra plats och läste 13 robots.txt-filer på annan väg i stället för äldre arkivkopior. Datan från version 1 finns kvar som pilot-three-runs.csv.