Sådan kvalitetstjekker du et AI-svar med kilder

Et AI-svar kan se veldokumenteret ud og stadig være ubrugeligt. To klikbare henvisninger er ikke i sig selv bevis. Den ene kan være for gammel, og den anden kan handle om emnet uden at understøtte den konkrete påstand.

Du behøver sjældent kontrollere hele svaret på én gang. Begynd med den påstand, som din beslutning afhænger af, og følg kilden helt frem til en enkel afgørelse: brug, omskriv eller afvis.

1. Find den påstand, der skal kunne holde

Markér først den vigtigste faktuelle påstand. Det er typisk et tal, en dato, et krav, en produktfunktion eller en formulering om, hvad en myndighed eller faglig organisation anbefaler.

Del lange sætninger op. Et svar som »Ordningen gælder alle virksomheder fra 1. januar og kræver en årlig kontrol« rummer mindst tre påstande:

• Hvem ordningen gælder for
• Hvornår den gælder fra
• Hvilken kontrol den kræver

En kilde kan godt støtte den første del uden at støtte de to andre. Derfor skal hver vigtig del kunne spores til belæg.

2. Åbn kilden, ikke kun henvisningen

Kontrollér, at linket fører til den dokumenttitel og afsender, som AI-svaret angiver. Find derefter det konkrete afsnit, der skulle understøtte påstanden.

Hvis du ikke kan finde passagen, er henvisningen ikke brugbar endnu. Det kan skyldes, at kilden er forkert, at siden er ændret, eller at svaret har draget en slutning, som teksten ikke giver belæg for. Bed eventuelt AI-værktøjet om sidetal, afsnitsoverskrift eller et kort tekstuddrag, men sammenlign stadig med originalen.

Et link til en lang rapport er ikke det samme som dokumentation for en bestemt sætning.

3. Sammenlign påstand og ordlyd

Læs et par linjer før og efter den relevante passage. Se især efter ord, der ændrer styrken i udsagnet:

• »skal« over for »kan« eller »bør«
• »alle« over for »nogle«
• »viser« over for »tyder på«
• et sikkert resultat over for en mulighed eller anbefaling

Kontrollér også, om AI-svaret har blandet en kildes tekst sammen med sin egen fortolkning. En fortolkning kan være rimelig, men den skal præsenteres som en fortolkning, ikke som om kilden siger det direkte.

Tænkt eksempel: Et AI-svar påstår, at NIST kræver, at alle organisationer følger en bestemt rækkefølge i deres AI-risikostyring, og henviser til NIST AI RMF Core. En korrekt omskrivning kunne være: »NIST AI RMF Core beskriver funktionerne GOVERN, MAP, MEASURE og MANAGE som en ramme for risikostyring. Handlingerne er ikke en tjekliste og behøver ikke udføres i en bestemt rækkefølge.« På NIST-siden står der netop, at handlingerne ikke udgør en tjekliste eller nødvendigvis skal udføres i en bestemt rækkefølge. Kilden er ægte og relevant, men den modsiger den oprindelige påstand. Afgørelsen er derfor ikke »brug med kilde«, men »afvis eller omskriv«.

Eksemplet er ikke en udført test af et bestemt AI-værktøj. Det viser forskellen mellem en rigtig henvisning og reelt belæg.

4. Kontrollér dato og ejer

Se, hvornår kilden er udgivet eller senest opdateret. Datoen er særlig vigtig ved priser, produktfunktioner, regler, frister og andre forhold, der kan ændre sig.

Se også, hvem der står bag:

• Er det den myndighed, virksomhed eller forskningsgruppe, som faktisk ejer oplysningerne?
• Er siden en primærkilde, eller genfortæller den en anden kilde?
• Har afsenderen en interesse i konklusionen?
• Passer kildens land, version og målgruppe til din situation?

En leverandør er ofte den bedste kilde til egne priser og funktioner, men ikke nødvendigvis til en uafhængig vurdering af produktets kvalitet. En ældre kilde kan stadig være fagligt god, men ikke egnet som dokumentation for den aktuelle status.

5. Vælg: brug, omskriv eller afvis

Når du har sammenlignet påstand og kilde, så træf en eksplicit beslutning.

Brug påstanden, når kilden findes, ordlyden dækker det skrevne, datoen passer, og afsenderen er egnet til formålet.

Omskriv påstanden, når kilden støtter en smallere eller mere forsigtig formulering. Hvis kilden siger »kan«, skal svaret ikke ende med »vil«. Hvis dokumentet kun gælder en bestemt version eller branche, skal afgrænsningen med.

Afvis påstanden, når kilden ikke findes, ikke siger det hævdede, er forældet til formålet eller har en afsender, der ikke kan bære konklusionen. Find en bedre kilde, eller lad oplysningen udgå.

Hvis kilden ikke kan åbnes eller kontrolleres, betyder »afvis« her, at påstanden ikke bruges som verificeret. Det er ikke i sig selv bevis for, at påstanden er falsk.

Brug mere kontrol, når konsekvensen er større

Et hurtigt kildetjek kan være nok til et internt første udkast. Det er ikke nok, hvis svaret skal danne grundlag for eksempelvis juridiske, medicinske, økonomiske eller sikkerhedskritiske valg. Her bør en relevant fagperson kontrollere både kilder, fortolkning og den konkrete anvendelse.

NISTs profil for generativ AI anbefaler blandt andet, at kilder og citationer i generative AI-output bliver gennemgået og verificeret som led i risikomåling og løbende overvågning. Den bredere AI Risk Management Framework fremhæver samtidig, at et AI-output skal fortolkes i den sammenhæng, hvor det skal bruges. Det afgørende spørgsmål er derfor ikke bare, om svaret har kilder, men om kontrollen passer til konsekvensen af at tage fejl.

Hvis du vil forstå, hvorfor et AI-system kan hente relevante dokumenter uden automatisk at levere en korrekt konklusion, kan du læse AIBI’s forklaring af RAG og de nødvendige kontroller før tillid. Denne guide handler om selve kildekontrollen, uanset hvordan AI-svaret er blevet lavet.

Kilder

• NIST AI Risk Management Framework Core, kontrolleret 2. oktober 2026
• NIST Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, juli 2024, kontrolleret 2. oktober 2026