Kan en laptop granska en AI-genererad researchrapport? 235 inplanterade fel och en verklig rapport

Vad visade testet?

1. Att kontrollera citat kräver ingen AI-modell. Granskaren hämtar varje angiven sida och letar efter varje citerat stycke. Den gav samma bedömning som vår tidigare studie för alla 593 citat, och när ett ord i varje citat byttes ut godtog den inget av 588.
2. En 12B-modell på en laptop duger som domare. Gemma 4 12B, som kördes på en MacBook Air med 16 GB minne, fångade 222 av 235 inplanterade fel och godkände 94 av 105 korrekta påståenden, på ungefär tio sekunder per påstående.
3. De minsta granskningsmodellerna är snabba men räcker inte ensamma. MiniCheck fångade 212 av 235 fel på under en sekund vardera men underkände 21 av 105 korrekta påståenden. HHEM missade 23 av 35 negerade påståenden.
4. Tillsammans slinker få fel igenom. När rapporten visar domarens bedömning och skickar oenigheter till en person passerade 6 av 235 inplanterade fel utan flagga. Priset är att en läsare kontrollerar ungefär vart fjärde påstående för hand.
5. I en verklig rapport smalnar den av sökandet; den avgör inte. I våra researchanteckningar om hur AI-shoppingagenter väljer produkter flaggade den 141 punkter. Kontrollerade mot källorna en i taget var 36 fel eller stod inte i någon angiven källa, 7 var rätt men hänvisade till fel sida och 91 var korrekta.
6. Felen var av det slag en noggrann läsare missar. Omskrivningar inom citattecken, ett intervall angivet som +19,75 till +23,38 poäng som artikeln anger som +13,0 till +37,9, och ett resultat beskrivet som utan effekt som artikeln kallar statistiskt signifikant.

Vad gör granskaren?

Den läser en rapport från ChatGPT, Claude, Gemini, Perplexity eller en researchagent med öppen källkod, hämtar varje sida som rapporten hänvisar till och sparar en kopia av varje. Sedan gör den tre kontroller.

1. Citat. Står varje citerat stycke på den angivna sidan, ordagrant, redigerat eller inte alls? Det är ren textjämförelse, utan modell.
2. Länkar. Fungerar varje länk? För en död länk avgör Wayback Machine om sidan har flyttats eller kanske aldrig funnits.
3. Stöd. Stöder sidan påståendet? Granskaren väljer de meningar på sidan som ligger närmast påståendet, en liten granskningsmodell poängsätter dem, och en lokal chattmodell läser dem och svarar stöds, delvis eller stöds inte. Den anger meningarna den byggde på med nummer; den skriver aldrig själv ett citat. Långa påståenden med flera siffror delas först upp i enskilda fakta, och varje faktum kontrolleras för sig.

Allt körs på användarens egen dator eller egna servrar, med valfri modell bakom ett OpenAI-kompatibelt gränssnitt (llama.cpp, Ollama, vLLM, LM Studio). Koden finns på github.com/jbastide/receipts under licensen Apache 2.0.

Hur bra fångar den fel?

Vi utgick från 105 påståenden i vår tidigare studie av AI-researchkörningar som två bedömare hade godtagit och vars citat stod på den angivna sidan. Varje påstående kontrollerades som det var skrivet, då det borde godkännas, och i upp till fyra förvanskade versioner, då det borde flaggas: en siffra ändrad, det första verbet negerat, påståendet kontrollerat mot en sida från en annan webbplats, eller ett påhittat faktum tillagt (“according to a 2019 survey of 4,000 law firms”, ungefär: ”enligt en enkät från 2019 bland 4 000 advokatbyråer”). 17 negationer av påståenden som redan var negativa blev nonsens och är inte medräknade.

Att dela upp långa påståenden i enskilda fakta gjorde ingen skillnad här, eftersom varje inplanterat fel sitter i ett enda faktum. Det spelar roll i verkliga rapporter, där en mening kan innehålla fem siffror och läsaren behöver veta vilken som inte håller.

Vad hittade den i en verklig rapport?

Vi körde den på researchanteckningarna bakom vår sida Hur AI-agenter väljer produkter: 112 påståenden med hänvisningar till 87 källor, de flesta vetenskapliga artiklar. Granskaren flaggade 4 citat som inte stod på sina sidor och 137 fakta med siffror som den inte kunde bekräfta. Varje flaggad punkt kontrollerades sedan mot sin källa, genom att läsa artikeln eller sidan själv.

Ungefär var fjärde flagga pekade alltså på ett verkligt problem. Det är en ärlig beskrivning av vad en lokal granskare gör med tät researchtext i dag: den kan inte skilja en missad mening från ett saknat faktum, men den förvandlar läsningen av 87 källor till en lista med 141 ställen att titta på. Något av det den hittade:

• 7 stycken inom citattecken var inte källans ord. En artikel säger att användarprofiler fungerar “more like categorical switches or thresholds” (ungefär: ”mer som kategoriska strömbrytare eller tröskelvärden”); våra anteckningar hade “act as switches that override other cues” (ungefär: ”fungerar som strömbrytare som tar över andra signaler”).
• Ett försvar som enligt anteckningarna “left social-proof effects of +19.75 to +23.38 points intact” (ungefär: ”lämnade effekter av social bekräftelse på +19,75 till +23,38 poäng orörda”) lämnade dem på +13,0 till +37,9 för de sju modellerna i artikelns tabell.
• Två negativt formulerade signaler som enligt anteckningarna saknade effekt var i artikeln “both statistically significantly effective” (ungefär: ”båda statistiskt signifikant verksamma”).
• Ett förhållande på 38 000:1 mellan genomsökningar och hänvisningar var rätt, men hänvisade till en sida med andra, senare siffror; det är Cloudflares egen siffra för juli 2025 (38 065,7 för Anthropic).

Den publicerade sidan hade kontrollerats innan den gick ut och använde redan källornas ordalydelse. Researchanteckningarna bakom den hade inte det. Vi har rättat dem: 30 ändringar utifrån de flaggade punkterna och 7 till som vi hittade under genomgången. Efteråt stod varje citat i anteckningarna på sin angivna sida.

Vilka är begränsningarna?

• De inplanterade felen är mekaniska. Verkliga misstag är subtilare, så andelarna ovan är ett tak, inte ett löfte.
• I den verkliga rapporten vet vi bara om de fel den flaggade. Fel som den godkände räknades inte.
• Domaren läser de meningar som bäst matchar påståendet, inte hela sidan. Ett påstående som bygger på en tabell eller en annan del av sidan kan markeras som utan stöd.
• En domarmodell, en dator, en körning. Resultaten med andra modeller blir andra; granskaren är byggd för att du ska kunna mäta din egen.
• Genomgången av den verkliga rapporten gjordes med hjälp av AI-agenter och stickprovskontrollerades: varje citat de byggde på jämfördes med källsidan av ett skript.

Hur kör jag den på mina egna rapporter?

På en Mac eller Linux-dator med uv installerat och en lokal modellserver igång:

git clone https://github.com/jbastide/receipts
cd receipts
uv sync --extra support
uv run receipts check report.md --judge-url http://127.0.0.1:8080/v1

Den skriver en läsbar rapport, en JSON-fil och en CSV-fil. Citat- och länkkontrollerna fungerar utan modell: uv run receipts check report.md.

Frågor

Kan en liten AI-modell på en laptop kontrollera om källorna i en researchrapport stöder den?

Till största delen, om den används som domare och inte som sista ord. I ett test av Copy for Originals fångade Gemma 4 12B, som kördes på en MacBook Air med 16 GB minne, 222 av 235 påståenden som vi medvetet hade förvanskat (94 %) och godkände 94 av 105 korrekta (90 %), på ungefär tio sekunder per påstående. Tillsammans med en mindre granskningsmodell slank 6 av de 235 förvanskade påståendena igenom utan flagga.

Hur kontrollerar man citaten i en AI-genererad researchrapport?

Hämta varje sida som anges och leta efter varje citerat stycke på den, utan hänsyn till mellanslag, skiljetecken och versaler. Det kräver ingen AI-modell. Copy for Originals granskare återskapade på det sättet alla 593 citatbedömningar från en tidigare studie, och när ett ord i varje citat byttes ut godtogs inget av 588 förvanskade citat. Ett citat som står på sidan kan ändå sakna stöd för påståendet det används till, så påståendet behöver en andra kontroll.

Vilka fel hittar en automatisk kontroll i verklig research?

I våra egna publicerade researchanteckningar om hur AI-shoppingagenter väljer produkter flaggade granskaren 141 punkter. En genomgång källa för källa visade att 36 av dem var fel eller inte stod i någon angiven källa: omskrivningar inom citattecken, ett intervall angivet som +19,75 till +23,38 poäng som artikeln anger som +13,0 till +37,9, och ett resultat beskrivet som utan effekt som artikeln redovisar som statistiskt signifikant. 91 var korrekta. Granskaren smalnade av var vi skulle leta; den avgjorde inte.

Data och metod

• planted.csv: alla 357 inplanterade fall, påståendet som kontrollerades, sidan och varje metods bedömning och poäng.
• audit.csv: de 141 punkter som flaggades i våra researchanteckningar, resultatet av genomgången, källstycket och om anteckningarna rättades.
• method/prepare.py skriver båda filerna från granskarens testresultat; method/build.py skriver den engelska sidan från dem.
• Modeller: MiniCheck-Flan-T5-Large, HHEM-2.1-Open, Gemma 4 12B instruktionstränad (QAT, 4 bitar) på llama.cpp. Testskriptet är bench/planted.py i kodförrådet.