Copy for Originals · Egen undersökning
Ett marknadsteam som vill ha egen research kan i dag skicka ut en AI-modell för att läsa på nätet för ungefär en kvarts dollar, eller för ungefär tre dollar. Vi ville veta vad de extra pengarna ger. Därför skrev vi ett researchuppdrag, gav det till tre Claude-modeller tre gånger vardera och lät ett skript öppna varje sida de hänvisade till och leta efter varje mening de citerade. Inget av de 593 citaten var påhittat. Luckorna fanns på annat håll: i det som den billiga modellen aldrig hittade, i påståenden som sa lite mer än sina citat och i en webbplats som stängde alla tre modellerna ute.
Endast i utbildningssyfte, inte juridisk rådgivning. Ämnet för researchen var att Google spelar in samtal till advokatbyråer. Den här sidan redovisar hur tre AI-modeller undersökte ämnet. Den säger inte vad en advokatbyrå bör göra.
Vi valde en fråga som vi redan visste svaret på. Tidigare samma dag hade vi publicerat en guide till frågan om Google spelar in samtal till advokatbyråer från sina annonser, där varje citat var kontrollerat mot källan. Det gav oss 25 fakta som en duktig researcher borde komma tillbaka med.
Uppdraget innehöll tio frågor. Spelar Google in samtal från Local Services Ads? Från Google Ads? Vad får den som ringer höra? Hur länge sparas inspelningarna? Vem kan lyssna? Kan en advokatbyrå stänga av inspelningen? Vad har delstaternas advokatsamfund sagt? Vad säger advokater om saken i öppna trådar?
Det innehöll också regler, och de är själva kärnan i testet. Ett faktum per påstående. Varje påstående ska ha med sidans adress och en passage som kopierats från sidan tecken för tecken, högst 300 tecken, utan uteslutningstecken och utan hopfogade bitar. Allt som modellen inte kunde citera exakt hamnar i en separat lista med spår. Allt den letade efter men inte hittade hamnar i en annan lista. Och så en mening som vi misstänkte skulle få betydelse: “Every quote will be machine-checked against the page at that URL.” (ungefär: ”Varje citat kontrolleras maskinellt mot sidan på den adressen.”)
Varje modell fick uppdraget tre gånger, som nio separata agenter med ett sökverktyg, ett verktyg för att hämta sidor och en kommandorad. De tre modellerna var Claude Haiku 5.5, Sonnet 5.5 och Opus 5.5, den lilla, den mellanstora och den stora modellen i Anthropics modellfamilj Claude 5.5. Hela uppdraget är publicerat tillsammans med datamaterialet.
Nej. Det man fruktar med AI-research är den påhittade källan: en självsäker mening inom citattecken som ingen någonsin har skrivit. Vi letade efter en sådan 593 gånger och hittade ingen.
Kontrollen var ett skript, inte ett andra utlåtande från en modell. Skriptet hämtade varje angiven sida, rensade bort uppmärkningen och sökte efter hela citatet. Det hade bara överseende med mellanslag, skiljetecken och stora bokstäver. Alla 132 Haiku-citat fanns där. Det gjorde också alla 171 från Sonnet och alla 290 från Opus.
En kontroll som släpper igenom allt förtjänar att misstros, så vi testade den. Vi bytte ut ett enda ord i vart och ett av 588 citat och körde den igen. Den godkände inget av dem.
Det var inte slumpen som gjorde att modellerna klarade sig. När de fick veta att en maskin skulle kontrollera dem kontrollerade de sig själva. “Every claim quote was machine-checked as a verbatim substring of the page text I fetched,” rapporterade en Haiku-körning (ungefär: ”Varje citat till ett påstående kontrollerades maskinellt som en ordagrann delsträng av den sidtext jag hämtade”). En Opus-körning skrev att varje citat “was re-fetched live and matched exactly (96 of 96).” (ungefär: ”hämtades på nytt direkt från sidan och stämde exakt (96 av 96)”). Alla nio körningarna skrev något liknande.
Den meningen i uppdraget verkar ha gjort verklig nytta. Vi körde aldrig uppdraget utan den, så hur stor nytta kan vi inte säga.
Inte de svåra fakta. De lätta, slumpvis.
Opus kom tillbaka med alla 25 kända fakta i var och en av sina tre körningar. Sonnet kom tillbaka med 24, 24 och 23. Haiku kom tillbaka med 19, 23 och 22. Ett faktum räknas som hittat när en körning har citerat en passage där det står.
En Haiku-körning hänvisade aldrig till den hjälpsida där Google säger rent ut att alla Local Services-samtal via vidarekopplingsnumret spelas in. Varje citat som körningen faktiskt lämnade var äkta. En skribent som bara hade den körningen att gå på hade saknat ämnets allra första faktum, utan någon möjlighet att veta om det.
De två andra Haiku-körningarna hittade sidan. Det mönstret betyder mer än genomsnitten. Bara 16 av de 25 fakta fanns med i alla tre Haiku-körningarna, mot 23 för Sonnet och 25 för Opus. Men lagda bredvid varandra täckte de tre Haiku-körningarna alla 25. Den billiga modellen var inte så mycket svag som ojämn, och ojämnhet går att rätta till med en andra och en tredje körning.
| Känt faktum | Haiku | Sonnet | Opus |
|---|---|---|---|
| Local Services Ads: alla inkommande samtal via Googles vidarekopplingsnummer spelas in i USA och Kanada | 2 | 3 | 3 |
| Local Services Ads: den som ringer får veta det genom ett förinspelat meddelande | 2 | 3 | 3 |
| Local Services Ads: företaget hör "Call from Google", men kanske inte vid vidarekoppling eller VoIP | 1 | 3 | 3 |
| Local Services Ads: inspelningar är inte tillgängliga för vårdkategorier eller skattespecialister | 2 | 3 | 3 |
| Local Services Ads: Google granskar inspelningar i begränsad omfattning och för angivna ändamål | 2 | 2 | 3 |
| Google Ads: inspelningar går inte att ladda ner | 2 | 3 | 3 |
| Google Ads: när samtalsrapporteringen stängs av slutar Google spåra samtalen, och advokatbyråns eget nummer visas | 1 | 0 | 3 |
| North Carolina: det föreslagna etikutlåtandet 2021 FEO 5 drogs tillbaka i april 2022 | 2 | 3 | 3 |
| Wisconsin: artikel från januari 2021 av etikjuristen vid delstatens advokatsamfund om Local Services Ads och presumtiva klienter | 2 | 3 | 3 |
Läsning. Opus hänvisade till ungefär dubbelt så många sidor som Haiku och kom tillbaka med ungefär dubbelt så många påståenden: omkring 97 per körning, mot 57 för Sonnet och 44 för Haiku.
De extra påståendena var inte utfyllnad. När resultaten var inne listade vi 28 fynd som gick utöver våra 25 kända fakta. Opus-körningarna kom tillbaka med 19, 18 och 23 av dem. Sonnet-körningarna kom tillbaka med 14, 16 och 11 och Haiku-körningarna med 10, 6 och 3.
Några av fynden var nyheter för oss. I vår guide står att Googles hjälpsidor inte anger vilket datum samtalsinspelning blev standardinställning i Google Ads. Det stämmer fortfarande för hjälpsidorna. Men fem körningar hittade datumet ändå, 1 juli 2026, i branschpressens rapportering om ett mejl som Google skickat till annonsörer. Ingen Haiku-körning gjorde det. Vi har sedan dess läst de källorna själva och lagt till dem i guiden.
Opus-körningarna märkte också när Google sa emot sig självt. På en hjälpsida står att när inspelningen är påslagen gäller följande: “all calls will be recorded and evaluated by AI.” (ungefär: ”alla samtal spelas in och utvärderas av AI”). I villkoren som en annonsör godkänner står att Google får spela in “a sample” (ungefär: ”ett urval”) av samtalen. Alla tre Opus-körningarna citerade båda. Att avgöra vilken av texterna som gäller är ingen researchuppgift, och ingen av modellerna låtsades att det var det.
Priset avgjorde inte allt. Alla tre Haiku-körningarna hittade ett utlåtande från 2013 från Connecticuts advokatsamfund om en annonstjänst som spelar in samtal. Bara en Sonnet-körning och en Opus-körning gjorde det. En ensam Haiku-körning var den enda av de nio som citerade ett utlåtande från 2026 från New York City Bar om inspelning av samtal med presumtiva klienter.
Tillsammans hänvisade de nio körningarna till 55 olika sidor. 29 av dem förekom i bara en körning. Bara fyra förekom i alla nio. Vilken modell du än använder är en enskild körning en researchers eftermiddag, inte sista ordet. Hela listan med de 28 fynden finns i tabellerna längre ner.
Inte helt. Ett citat kan vara äkta och ändå inte säga det som meningen ovanför påstår.
Därför gjorde vi en andra kontroll. Alla 593 påståenden blandades, rensades från allt som visade vilken modell som hade skrivit dem och lästes mot sina citat av två bedömare som arbetade efter samma skrivna regel. Ett påstående flaggades när det innehöll ett andra faktum av betydelse som citatet inte täckte, eller när citatet inte visade påståendets huvudpoäng.
Båda bedömarna flaggade 41 påståenden, ungefär ett av 14. För Haiku var andelen 9,8 %, för Sonnet 9,9 % och för Opus 3,8 %.
| Modell | Påståenden | Flaggade av bedömare 1 | Flaggade av bedömare 2 | Flaggade av båda |
|---|---|---|---|---|
| Haiku 5.5 | 132 | 15 | 13 | 13 (9,8 %) |
| Sonnet 5.5 | 171 | 17 | 20 | 17 (9,9 %) |
| Opus 5.5 | 290 | 18 | 12 | 11 (3,8 %) |
| Alla nio körningarna | 593 | 50 | 45 | 41 (6,9 %) |
De flesta flaggorna gällde samma lilla synd: två fakta i en mening och citat för bara det ena. En Sonnet-körning skrev att ett företag hör “Call from Google” när ett samtal kommer in, men att vidarekoppling eller en internetbaserad telefonlinje kan göra att meddelandet inte spelas upp. Citatet täckte den första halvan. Den andra halvan är sann, den står på samma sida, och ingenting i citatet visar den.
Några få var citat som hade klippts för kort. En Haiku-körning påstod att inspelningar inte är tillgängliga för vårdkategorier och lade som belägg fram orden “available for health care verticals.” (ungefär: ”tillgängliga för vårdkategorier”). De orden står på Googles sida. Det gör också ordet “aren’t” (ungefär: ”är inte”) framför dem, som citatet utelämnade.
Två förbehåll. Bedömarna var AI-modeller, och de var överens om 580 av 593 påståenden (97,8 %), vilket är bra men inte samma sak som att en människa har läst. Och skillnaden mellan körningar med samma modell var lika stor som skillnaden mellan modellerna: per körning varierade andelen som båda bedömarna flaggade från 2 % till 17 %, och de två sämsta var en Haiku-körning och en Sonnet-körning.
Därför att dörren var låst, och en bättre modell dyrkar inte upp lås.
Den nionde frågan gällde upp till åtta öppna trådar där advokater eller deras marknadsförare berättar om inspelningen utifrån egen erfarenhet. Det självklara stället att leta på är Reddit. Reddit nekade sökverktyget i var och en av de nio körningarna, 16 gånger sammanlagt, och avvisar även vanliga sidförfrågningar. “Reddit was blocked in every route I tried,” rapporterade en Sonnet-körning (ungefär: ”Reddit var blockerat vilken väg jag än försökte”).
Bara fyra av de nio körningarna lämnade över huvud taget något citat från en tråd eller ett inlägg: från Reddit, från LinkedIn eller från ett litet forum för marknadsförare som arbetar med lokal sökning. En körning tog sig in på Reddit. En Opus-körning listade ut att webbplatsens flödesadresser fortfarande svarade, läste trådar den vägen mellan spärrarna mot för många anrop och behövde 30 minuter där syskonkörningarna behövde 15. Den kom tillbaka med 8 citat från Reddit och en ärlig bedömning av dem: “I found no public thread where a lawyer or law firm staffer discusses Google recording these calls.” (ungefär: ”Jag hittade ingen öppen tråd där en advokat eller någon som arbetar på en advokatbyrå diskuterar att Google spelar in de här samtalen.”)
Den ärligheten var det mest lugnande i hela studien. Ingen körning hittade på en tråd för att fylla hålet. Varje körning förde upp mellan 6 och 13 punkter under ”hittades inte” och mellan 3 och 14 under spår som den inte kunde bekräfta, precis som uppdraget hade bett om.
I våra egna trådstudier ber vi inte en modell att söka på Reddit. Där läser ett skript ett offentligt arkiv över Reddit. När källan är stängd för verktygen är lösningen åtkomst, inte en större modell.
Siffrorna på den här sidan kommer från vårt andra försök. Det första lärde oss mer än vi hade önskat.
Vi hade startat alla nio körningarna på en gång. Efter åtta minuter bad en Opus-körning om en sökning och fick tillbaka en mening som vi aldrig hade sett förut: “Web search was not performed: this turn’s web search budget is used up (limit: 200 WebSearch calls per turn, shared by every agent in it).” (ungefär: ”Webbsökningen utfördes inte: den här omgångens sökbudget är förbrukad (gräns: 200 WebSearch-anrop per omgång, gemensamt för alla agenter i den)”). De nio körningarna hade tillsammans gjort 202 sökanrop. Anrop 201 och 202 kom båda från Opus-körningar, de långsammaste av de nio, som fortfarande sökte när de billigare modellerna redan hade slutat. Vårt test av om den dyra modellen är värd pengarna hade i tysthet satt just den dyra modellen i underläge.
Det andra problemet kom fram genom en av körningarna. En Sonnet-körning noterade i slutet av sin rapport att “the scratchpad is shared with other agents, and someone else’s build.py replaced mine mid-run.” (ungefär: ”arbetsytan delas med andra agenter, och någon annans build.py ersatte min mitt under körningen”). Alla tre Sonnet-körningarna hade sparat sina arbetsfiler i samma mapp under samma korta namn. Deras citat klarade ändå kontrollen mot sidorna på nätet. Men tre körningar som kan läsa varandras filer är inte tre oberoende körningar.
Inget av felen orsakades av en modell, och båda hade snedvridit jämförelsen. Så vi körde om allt. Varje körning fick en egen mapp, och körningarna startades i två grupper så att ingen av grupperna kunde nå taket. Loggarna från den andra omgången visar ingen sökning som stoppades av taket och ingen körning som rörde en annan körnings mapp.
Den första omgången publiceras som pilot. Resultaten låg nära den andra omgångens, vilket är en viss tröst: Haiku-körningarna hittade 22, 21 och 20 av de 25 kända fakta, Sonnet-körningarna 24, 24 och 24 och Opus-körningarna 24, 25 och 25. Och alla 574 citat i pilotomgången stod på sidan.
Omkring 0,28 USD för Haiku, 1,07 USD för Sonnet och 2,79 USD för Opus, uppskattat enligt Anthropics listpriser. Haiku- och Sonnet-körningarna tog omkring 8 respektive 10 minuter. Opus-körningarna tog 14 till 30.
| Modell | Verktygsanrop | Gjorda sökningar | Största prompt, tokens | Tokenkostnad | Sökavgifter | Uppskattad kostnad | Minuter |
|---|---|---|---|---|---|---|---|
| Haiku 5.5 | 42 | 14 | 145K | 0,14 USD | 0,14 USD | 0,28 USD | 7 till 10 |
| Sonnet 5.5 | 61 | 23 | 142K | 0,84 USD | 0,23 USD | 1,07 USD | 9 till 10 |
| Opus 5.5 | 69 | 22 | 190K | 2,57 USD | 0,22 USD | 2,79 USD | 14 till 30 |
Två saker i tabellen förvånade oss.
Sökningarna kostade lika mycket som den billiga modellen. Enligt Anthropics prislista kostar webbsökning 10 USD per 1 000 sökningar, alltså en cent styck. Varje körning gjorde 10 till 26 sökningar, oavsett modell. Avgiften utgjorde 50 % av kostnaden för en Haiku-körning och 8 % av kostnaden för en Opus-körning.
Haikus låga pris har ett tak. Haiku 5.5 kostar fem gånger så mycket för varje anrop där prompten är längre än 100 000 tokens. Sökresultat och sidtext tryckte varje Haiku-körning över den gränsen, till omkring 145 000. 26 av 88 Haiku-anrop betalade det högre priset. Hade en körning hållit sig under gränsen hade tokenkostnaden blivit omkring 0,05 USD i stället för 0,14 USD.
Ändå kostade tre Haiku-körningar mindre än en Sonnet-körning. De tre kostade tillsammans uppskattningsvis 0,84 USD och täckte alla 25 kända fakta och 14 av de 28 ytterligare fynden. En Sonnet-körning kostade omkring 1,07 USD och täckte 23 till 24 kända fakta och 11 till 16 fynd. En Opus-körning kostade omkring 2,79 USD och täckte 25 kända fakta och 18 till 23 fynd.
Det här är uppskattningar. Loggarna visar exakt hur många tokens varje modell läste. De visar ingen slutsumma för vad modellen skrev, så den delen är uppskattad utifrån den synliga texten, och modellens interna resonemang är inte medräknat. Med ett abonnemang skulle notan se annorlunda ut igen.
Utifrån det här underlaget duger den billiga modellen till insamling, så länge ett skript kontrollerar citaten och du kör den mer än en gång. Den dyra är värd sitt pris när researchen körs en enda gång, när inget får missas och när ingen efteråt kommer att läsa påståendena mot citaten.
| Situation | Det som höll | Belägg från de nio körningarna |
|---|---|---|
| Samla in citerade fakta från kända typer av källor, med ett skript som kontrollerar citaten | Haiku | 132 av 132 Haiku-citat stod på den angivna sidan. |
| Täcka de viktigaste fakta med liten budget | Haiku, körd tre gånger med resultaten sammanslagna | Tre körningar täckte tillsammans alla 25 för omkring 0,84 USD. En enskild körning täckte 19 till 23. |
| Täcka de viktigaste fakta i en enda körning | Sonnet eller Opus | Sonnet-körningarna täckte 23 till 24 av 25, Opus-körningarna 25. |
| Hitta det som ingen listat i förväg: villkor, äldre sidor, källor som säger emot varandra | Opus | Opus-körningarna lämnade 18 till 23 av 28 ytterligare fynd, Sonnet 11 till 16, Haiku 3 till 10. |
| Påståendena går till skribenten utan någon andra kontroll mot citaten | Opus | Båda bedömarna flaggade 3,8 % av Opus påståenden, 9,9 % av Sonnets och 9,8 % av Haikus. |
| Källan blockerar verktygen | Ingen modell. Lös åtkomsten. | Åtta av nio körningar fick ingenting från Reddit. Den som lyckades behövde 30 minuter. |
Det här var ett ämne, en dag och tre körningar per modell. Se tabellen som en utgångspunkt för ditt eget test, inte som en rankning.
Dela jobbet i två delar. Billiga modeller samlar in citerade fakta. Ett skript kontrollerar citaten. Den bästa modell du har läser de kontrollerade fakta och står för tänkandet och skrivandet. Varje steg nedan bygger på något som hände i studien.
Vad svarsmotorerna gör med den färdiga sidan beskriver vi i guiden om hur du skriver innehåll som LLM:er hämtar och citerar. En studie som bygger enbart på offentliga filer är Blockerar advokatbyråers webbplatser AI-sökrobotar?
| Körning | Påståenden | Angivna sidor | Kända fakta | Ytterligare fynd | Påståenden flaggade av båda bedömarna | Uppskattad kostnad | Minuter |
|---|---|---|---|---|---|---|---|
| Haiku 5.5, körning 1 | 46 | 12 | 19 | 10 | 8 | 0,28 USD | 9 |
| Haiku 5.5, körning 2 | 45 | 8 | 23 | 6 | 1 | 0,24 USD | 7 |
| Haiku 5.5, körning 3 | 41 | 12 | 22 | 3 | 4 | 0,32 USD | 10 |
| Sonnet 5.5, körning 1 | 58 | 16 | 24 | 14 | 4 | 1,13 USD | 10 |
| Sonnet 5.5, körning 2 | 68 | 20 | 24 | 16 | 11 | 1,08 USD | 9 |
| Sonnet 5.5, körning 3 | 45 | 15 | 23 | 11 | 2 | 1,01 USD | 10 |
| Opus 5.5, körning 1 | 96 | 23 | 25 | 19 | 3 | 2,74 USD | 15 |
| Opus 5.5, körning 2 | 95 | 23 | 25 | 18 | 4 | 3,17 USD | 30 |
| Opus 5.5, körning 3 | 99 | 24 | 25 | 23 | 4 | 2,47 USD | 14 |
| Fynd | Haiku | Sonnet | Opus |
|---|---|---|---|
| Datum för standardinställningen i Google Ads: konton där inget val har gjorts går över till inspelning 1 juli 2026 (mejl från Google, citerat i branschpressen) | 0 | 3 | 2 |
| Samma mejl: lämnas inställningen tom efter 30 juni 2026 räknas det som samtycke | 0 | 1 | 2 |
| Call Ads Supplemental Terms säger att Google spelar in "a sample" av samtalen (ett urval), medan hjälpsidan säger "all calls" (alla samtal) | 2 | 2 | 3 |
| En äldre Google Ads-sida som fortfarande ligger uppe säger att en "small percentage" (liten andel) av samtalen spelas in | 1 | 1 | 1 |
| Uppspelningssidan säger att samtal via webbplatstaggen inte stöds, vilket motsägs av inställningssidan | 1 | 3 | 2 |
| Villkor för leverantörer i Local Services: advokatbyrån ger Google rätt att få åtkomst till, övervaka och spela in | 1 | 2 | 3 |
| Villkor för leverantörer i Local Services: Google får använda det som samlas in "as Content" (som innehåll) med stöd av licensen | 0 | 3 | 3 |
| Villkor för leverantörer i Local Services: advokatbyrån måste informera sin personal och få personalens samtycke | 1 | 3 | 3 |
| Villkor för konsumenter i Local Services: den som ringer går med på att Google får spela in | 1 | 0 | 3 |
| Inspelningar i Local Services finns inte för någon kategori i Europa | 0 | 2 | 2 |
| Mål med betalning per lead i Google Ads: inspelningar sparas i Lead Manager i upp till 30 dagar | 0 | 1 | 0 |
| Inspelningen i Local Services omfattar även uppföljningssamtal, inte bara det första samtalet | 0 | 1 | 3 |
| En konsument kan be Google radera uppgifterna om ett samtal via Local Services | 0 | 0 | 3 |
| Supplemental Terms: annonsörer som omfattas av HIPAA uppmanas att inte godkänna villkoren och att be om att bli undantagna | 2 | 2 | 3 |
| Supplemental Terms: annonsören måste följa Telephone Consumer Protection Act | 2 | 2 | 3 |
| Supplemental Terms: en annonsbyrå måste informera sin kund och få kundens samtycke | 0 | 1 | 3 |
| Uppspelning blockeras när annonsens domän inte är verifierad | 1 | 0 | 1 |
| Inspelningarna matar en AI-klassificering som Smart Bidding använder | 1 | 0 | 3 |
| Slutsatsen i Wisconsin-artikeln: utan informerat samtycke bryter advokaten mot sin tystnadsplikt | 0 | 3 | 3 |
| Wisconsin-artikeln: meddelandet till den som ringer räcker inte för informerat samtycke | 0 | 3 | 2 |
| North Carolina-artikeln: exempel på manus för personal som svarar i en inspelad linje | 0 | 2 | 3 |
| Connecticut Informal Opinion 2013-08 om en tjänst med betalning per samtal som spelar in samtalen | 3 | 1 | 1 |
| New York City Bar Formal Opinion 2026-2 om inspelning av samtal med presumtiva klienter | 1 | 0 | 0 |
| Texten i North Carolinas tillbakadragna förslag, återgiven i en sekundärkälla | 0 | 2 | 2 |
| En citerad tråd på Reddit | 0 | 0 | 1 |
| En citerad tråd på Local Search Forum | 1 | 0 | 1 |
| Ett citerat inlägg eller en citerad kommentar på LinkedIn | 0 | 1 | 1 |
| En citerad blogg eller podd från en advokat eller en juridisk marknadsförare | 1 | 2 | 3 |
| Modell | Googles sidor och villkor | Advokatsamfundens publikationer | Trådar och inlägg | Branschpress, bloggar, övrigt | Alla påståenden |
|---|---|---|---|---|---|
| Haiku 5.5 | 101 | 18 | 2 | 11 | 132 |
| Sonnet 5.5 | 121 | 31 | 1 | 18 | 171 |
| Opus 5.5 | 177 | 67 | 15 | 31 | 290 |
| Modell | Påståenden per körning, pilot | Kända fakta, pilot | Kända fakta, slutlig omgång |
|---|---|---|---|
| Haiku 5.5 | 47, 48 och 31 | 22, 21 och 20 | 19, 23 och 22 |
| Sonnet 5.5 | 50, 55 och 58 | 24, 24 och 24 | 24, 24 och 23 |
| Opus 5.5 | 101, 95 och 89 | 24, 25 och 25 | 25, 25 och 25 |
Datafilerna är data.csv (en rad per påstående), runs.csv, facts.csv och sources.csv. Uppdraget, bedömningsregeln, båda bedömarnas utlåtanden och alla skript finns förtecknade i method/README.md.
Modellernas råa utdata, precis som de skrev dem: Haiku 1, Haiku 2, Haiku 3, Sonnet 1, Sonnet 2, Sonnet 3, Opus 1, Opus 2, Opus 3. Pilot: pilot/runs.csv och pilot/data.csv.
I det här testet, ja. Copy for Originals gav samma researchuppdrag till Claude Haiku 5.5, Sonnet 5.5 och Opus 5.5 tre gånger vardera den 13 oktober 2026. Alla 593 citat från de nio körningarna stod ordagrant på de sidor de hänvisade till, också alla 132 från Haiku, den billigaste modellen. Uppdraget krävde ett kopierat citat och en sidadress för varje påstående och angav att varje citat skulle kontrolleras av ett skript.
När uppdraget körs en enda gång och inget får missas. I Copy for Originals test hittade varje körning med Opus 5.5 alla 25 kända fakta, körningarna med Sonnet 5.5 hittade 23 till 24 och körningarna med Haiku 5.5 hittade 19 till 23. Opus hänvisade också till ungefär dubbelt så många sidor som Haiku och hade den lägsta andelen påståenden som sa mer än citatet visade (3,8 %, mot 9,9 % för Sonnet och 9,8 % för Haiku). En Opus-körning kostade uppskattningsvis 2,79 USD enligt listpris, mot 0,28 USD för Haiku.
Kräv belägg som ett skript kan kontrollera. I Copy for Originals test skulle varje påstående ha med sidans adress och en passage kopierad tecken för tecken, och i uppdraget stod att varje citat skulle kontrolleras maskinellt. Ett fristående skript hämtade sedan varje sida och letade efter citatet. Det hittade 593 av 593. En andra kontroll behövs ändå, eftersom 41 av de 593 påståendena (6,9 %) sa mer än citatet visade.
Samtliga lästa den 13 oktober 2026.
Så citerar du sidan: Copy for Originals, ”Haiku, Sonnet eller Opus för research på nätet? Ett uppdrag, nio körningar, 593 kontrollerade citat”, 13 oktober 2026, https://tools.copyfororiginals.com/haiku-vs-sonnet-vs-opus-research-study/. Data under licensen CC BY 4.0.