Stop AI hallucinationer, sådan tjekker du svaret

Hvorfor finder ChatGPT på ting, og hvornår sker det?

De fleste danske virksomheder, der har leget med AI, kender fornemmelsen. Du stiller et spørgsmål, og svaret lyder præcis som noget, du ville have skrevet selv. Faktisk lyder det endnu bedre. Præcist, velformuleret og med detaljer, der virker troverdige.

Så tjekker du kilden. Den findes ikke. Eller tallene passer ikke med det, du ved er korrekt. Eller navnet på den ekspert, AI'en citerede, viser sig at tilhøre en person, der aldrig har udtalt sig om emnet.

Velkommen til AI hallucinationer. Det er ikke en fejl i systemet på den måde, vi normalt forstår fejl. Det er en grundlæggende egenskab ved, hvordan sprogmodeller er bygget. Og det er vigtigt at forstå, hvis du vil bruge kunstig intelligens på en pålidelig og ansvarlig måde i din virksomhed.

En sprogmodel som ChatGPT er ikke en søgemaskine. Den søger ikke i en database af fakta, når den svarer dig. Den forudsiger det mest sandsynlige næste ord, sætning for sætning, baseret på enorme mængder tekst, den er blevet trenet på. Det betyder, at den kan producere tekst, der grammatisk og stilistisk er fejlfri, men faktamæssigt er opdigtet. Det er ikke løgn i menneskelig forstand. Modellen ved ikke, at den tager fejl. Den ved faktisk ingenting. Den forudsiger bare.

Når modellen gætter, fordi den mangler kontekst

Hallucinationer opstår hyppigst, når modellen møder et spørgsmål, den ikke har tilstrækkelig viden til at besvare korrekt. Det kan være fordi emnet er meget specifikt, meget nyt eller meget lokalt. Spørger du for eksempel om omsætningen i en bestemt dansk SMV, om en paragraf i en specifik bekendtgørelse, eller om en statistik fra en brancheorganisation fra 2024, er der god chance for, at modellen ikke har de præcise data i sin trening.

I stedet for at sige "det ved jeg ikke" vil modellen typisk producere et svar, der lyder plausibelt. Det er her, faren opstår. Modellen fylder hullerne ud med statistisk sandsynlige formuleringer, ikke med verificerede fakta. Det er en form for kreativ ekstrapolation, og det kan koste dig dyrt, hvis svaret ender i en rapport, en e-mail til en kunde eller et stykke kode, der sættes i produktion.

De mest risikable situationer er dem, hvor du bruger AI til at generere indhold med konkrete påstande. Det gælder markedsanalyser, lovgivningstekster, teknisk dokumentation, regnskabsrelateret skriveri og alt, hvad der involverer tal, navne, datoer eller citater. Disse kategorier er præcis de typer af output, der enten ender hos en kunde, en samarbejdspartner eller en revisor.

Hvorfor sikre formuleringer kan være et faresignal

En af de sværeste ting ved AI hallucinationer er, at de sjældent lyder usikre. Tværtimod. Jo mere sikker og autoritativ formuleringen lyder, jo mere bør du spidse ørerne.

Formuleringer som "ifølge en undersøgelse fra 2023 viser det sig, at..." eller "eksperter er enige om, at..." er klassiske eksempler på, hvad jeg kalder tillids-signaler uden kilde. De aktiverer vores naturlige tendens til at acceptere information, der lyder dokumenteret og gennemtænkt.

Det er ikke tilfældigt. Modellen er trenet på tekster, der typisk bruger netop disse formuleringer, når de fremlægger fakta. Så den efterligner stilen. Men stilen er ikke beviset. Et svar kan sagtens lyde som en velskrevet akademisk artikel og alligevel indeholde opdigtede referencer, forkerte tal og vinkrede konklusioner.

Den praktiske lektie er enkel: Tillid til AI svar bør aldrig baseres på, hvor overbevisende det lyder. Det bør baseres på, om du kan spore det tilbage til en verificerbar kilde. Det er grundstenen i AI kvalitetssikring, og det er det, vi bygger resten af denne artikel på.

Tegn på hallucinationer i svar, rapporter og kode

Det gode nyhed er, at hallucinationer ikke altid er umulige at spotte. Når du ved, hvad du kigger efter, kan mange fejl opdages på under et minut. Det kræver ikke teknisk baggrund. Det kræver bare, at du ved, hvilke mønstre du skal holde øje med.

De mest almindelige hallucinationer falder inden for tre kategorier: overpræcise detaljer, inkonsistente tal og ikke-eksisterende kilder. Lad os gennemgå dem én for én, så du kan bruge det i praksis fra i morgen.

Overpræcise detaljer uden kilde

Når en sprogmodel producerer et svar med meget specifikke detaljer, som f.eks. et præcist procenttal, en eksakt dato, en paragraf i en lov eller et direkte citat med navn på person og institution, bør du altid stoppe op.

Præcision uden kilde er et rødt flag. Ikke fordi præcision er forkert i sig selv, men fordi en detalje, der er præcis nok til at citeres, bør kunne spores til en original kilde. Hvis AI'en ikke oplyser kilden, og du ikke selv kan finde den, er der reel risiko for, at detaljen er opdigtet.

Et konkret eksempel: Beder du en AI om at skrive om dansk lovgivning for forbrugerrettigheder og den nævner "paragraf 7, stk. 3 i købeloven" med en specifik formulering, skal du slå det op. Ikke fordi AI'en altid tager fejl, men fordi den med rimelig sandsynlighed kan have blandet paragraffer eller formuleret en variant, der ligner den rigtige men ikke er den.

Tal der ikke hænger sammen på tværs af afsnit

Et andet klassisk tegn på en hallucination er interne modsigelser i et og samme svar. Dette er særligt udbredt i AI i rapportering, hvor modellen genererer et dokument med mange sektioner.

Du kan sagtens opleve, at en rapport nævner "en vækst på 12 procent" i introduktionen og "en vækst på 18 procent" i konklusionen, uden at der er nogen forklaring på forskellen. Tallene er ikke trukket fra en database. De er genereret kontekstuelt, og modellen husker ikke altid sit eget output fra et par afsnit tilbage.

Denne type fejl er ekstra farlig i professionelle sammenhænge, fordi modtageren typisk kun læser introduktionen eller konklusionen, ikke begge. Fejlen opdages måske aldrig. Det er din opgave at sammenligne på tværs af hele outputtet, før det sendes videre.

Kilder der lyder rigtige, men ikke findes

Dette er den mest kendte form for hallucination, og den er stadig udbredt. En sprogmodel kan producere kildelister, der er fuldt ud fagligt klingende, med forfatternavne, titler, årstal og udgivere, og alligevel er ingen af dem rigtige.

• Tjek altid konkrete URL'er manuelt — AI-genererede links virker sjældent, og når de ikke gør, er det selve kilden, der er opdigtet
• Søg titlen og forfatteren separat — Brug Google Scholar, bibliotek.dk eller den relevante brancheorganisations hjemmeside
• Vær ekstra kritisk ved juridiske og videnskabelige referencer — Her er konsekvenserne af fejl størst
• Bed eksplicit om DOI, ISBN eller officiel URL — Modellen vil enten finde det eller afsløre, at kilden ikke eksisterer

AI i kundeservice og AI i kode er to af deområder, hvor falske referencer kan gøre størst skade. I kundeservice kan en chatbot citere en returpolitik, der ikke eksisterer. I kode kan en AI-genereret funktion kalde et bibliotek eller en API, der simpelthen ikke er tilgængeligt. Begge situationer koster tid, tillid og i værste fald penge.

Tjekliste til faktatjek før svaret sendes videre

OK, vi har etableret at hallucinationer er reelle og farlige. Nu til det, der rent faktisk hjælper. Du behøver ikke tjekke alt manuelt. Du behøver en systematisk tilgang, der giver dig tillid til det, du sender videre, uden at det tager en time per svar.

Nedenfor finder du de fire konkrete trin, jeg selv bruger og anbefaler til danske SMVer, der vil have pålidelig kunstig intelligens i hverdagen. Det er ikke en akademisk procedure. Det er en praktisk rutine, du kan indarbejde på fem minutter.

Bed om kilde og citat, ikke bare et link

Den nemmeste og mest effektive ændring du kan lave i din brug af AI er at inkludere et kildekrav direkte i din prompt til faktatjek. Det lyder simpelt, og det er det også.

I stedet for at spørge "hvad er reglerne for ansættelse af elever i Danmark?" spørger du: "Hvad er reglerne for ansættelse af elever i Danmark? Angiv den specifikke lovparagraf, lovens fulde navn og en direkte URL til Retsinformation eller Arbejdstilsynets hjemmeside."

Ved at kræve et konkret citat og en verificerbar kilde tvinger du modellen til enten at producere noget, du kan tjekke, eller at indrømme, at den ikke har kilden. Begge dele er langt bedre end et selvsikkert svar uden dokumentation.

Tjek nøglepåstande med to uafhængige kilder

For alle påstande, der er centrale i det, du er ved at producere, gælder reglen om to uafhængige kilder. Det lyder som noget fra journalisthøjskolen, og det er det faktisk også. Princippet er ikke nyt. Det er bare ekstra relevant nu, hvor en enkelt sprogmodel kan producere en hel artikel med ti påstande, og ingen af dem nødvendigvis er korrekte.

I praksis betyder det, at du tager de to eller tre vigtigste fakta i svaret og verificerer dem et andet sted end AI'en selv. Brug brancheorganisationer, offentlige registers data, officielle statistikker fra Danmarks Statistik, eller faglige nyhedsmedier med redaktionel kontrol.

Du behøver ikke tjekke alt. Du tjekker nøglepåstandene. Dem, der vil gøre ondt, hvis de er forkerte.

Sammenlign med jeres egne data og systemer

Et af de steder, hvor AI er allermest brugbar for danske virksomheder, er analyse og opsummering af intern information. Men her opstår også en specifik risiko: modellen kan blande dine egne data med generel viden fra sin trening, og resultatet kan blive en fortolkning, der lyder korrekt, men bygger på en fejlagtig antagelse.

Rutinen er denne: Tag altid AI-genererede analyser af jeres forretningsdata og sammenlign dem med det, I selv kan se i jeres systemer. Matcher det, AI'en siger om jeres omsætningsudvikling, det, der rent faktisk fremgår af jeres regnskab eller CRM? Stemmer de konklusioner, modellen drager, overens med det, I oplever i hverdagen?

Her er jeres egne medarbejderes faglighed den bedste kvalitetssikring. En økonomimedarbejder kan på 30 sekunder vurdere, om et tal virker plausibelt. Brug det. Verifikation af tal kræver ikke altid ekstern kilde. Det kræver interne øjne.

Få AI til at nævne usikkerheder og antagelser

En af de bedste prompting-teknikker til at reducere risikoen for hallucinationer er at bede modellen eksplicit om at redegøre for sine egne usikkerheder. Det er et af de mest undervurderede evalueringskriterier for AI.

Tilføj til din prompt: "Angiv hvilke antagelser dette svar bygger på, og marker tydeligt hvilke dele du er usikker på." En god sprogmodel vil, når den bliver bedt om det, flagge områder, hvor den mangler data, eller hvor svaret bygger på generel viden frem for verificeret information.

Når modellen siger "jeg er usikker på det præcise tal her" er det faktisk et godt tegn. Det betyder, at den kalibrerer sin usikkerhed i stedet for at producere et selvsikkert svar på mangelfuldt grundlag. Usikkerhedsmarkering er et tegn på en mere pålidelig chatbot, ikke en svag en.

Sporbarhed, så du kan stole på AI i praksis

At tjekke et svar er godt. Men hvis du ikke dokumenterer, hvad du tjekkede og hvordan, ender du med en engangsrutine i stedet for et system. Og systemer er det, der gør forskellen i en virksomhed, der bruger AI dagligt.

Sporbarhed handler om, at du om tre måneder, eller næste gang en kollega, en kunde eller en revisor stiller spørgsmål, kan fremvise ikke bare svaret, men hele sporet bag det. Prompt, kilde, godkendelse og dato. Det er AI governance gjort konkret.

Gem prompt, svar og kilder som dokumentation

Det kræver ikke et avanceret system at implementere grundlæggende dokumentation af AI output. Det kan starte med et simpelt regneark eller en note i jeres projektstyringsværktøj.

For hvert AI-genereret output, der bruges professionelt, noterer du: hvilken prompt du brugte, hvad svaret var, hvilke kilder du tjekkede manuelt, og hvem der godkendte outputtet. Det tager to minutter. Og det er den forskel, der adskiller professionel AI brug fra copy-paste uden ansvar.

Dette er særligt vigtigt i regulerede brancher, i alt relateret til juridisk og finansielt indhold, og i kommunikation, der udgives under virksomhedens navn. AI sikkerhed handler ikke kun om teknisk infrastruktur. Det handler om dokumenterede beslutningsprocesser.

Brug en fast skabelon til svar med kildefelt

En anden enkel løsning er at indføre en skabelon for AI-genererede svar, der automatisk inkluderer et kildefelt. Det kan se ud som en tabel i et dokument, en standardsektion i en e-mail skabelon eller et felt i et workflow.

Element	Beskrivelse
Prompt	Den præcise forespørgsel stillet til AI
AI svar (udkast)	Det rå output fra modellen
Verificerede kilder	De kilder der er tjekket manuelt
Godkendt af	Navn og dato for menneskelig godkendelse
Anvendt i	Hvilket dokument, rapport eller kanal outputtet bruges i

Denne type struktur gør det nemt at overholde interne kildekrav til AI og sikrer, at ingen AI-genereret indhold havner i omverdenen uden at nogen har taget ansvar for det.

Hvornår du bør kræve menneskelig godkendelse

Ikke alt AI output kræver den samme grad af kontrol. Det ville hurtigt blive for tungt i hverdagen. Men der er situationer, hvor menneske i loop ikke er valgfrit. Det er et krav.

Du bør altid kræve menneskelig godkendelse, inden AI output bruges i kommunikation til kunder eller samarbejdspartnere, i alle dokumenter med juridisk eller finansielt indhold, i kode der sættes i produktion uden tests, og i alt indhold, der udgives offentligt under virksomhedens navn.

AI kontrol handler om at matche risikoniveauet med kontrolniveauet. En intern brainstorm behøver ikke gennemgå fire godkendelsestrin. En e-mail til 5.000 kunder gør.

Kontrol i workflows uden at alt bliver langsomt

Den hyppigste bekymring, jeg hører fra danske virksomheder, er netop dette: "Hvis vi skal dobbelttjekke alt, mister vi jo den tidsbesparelse, som AI giver os." Det er en fair bekymring. Og den er bygget på en misforståelse.

Kontrol og hastighed er ikke modsætninger. Det er spørgsmålet om, hvornår i processen kontrollen sker, og om den er bygget ind i systemet frem for lagt ovenpå som en ekstra opgave. Korrekt bygget AI kvalitetssikring tilføjer ikke mere arbejde. Det fordeler arbejdet smartere.

To trin, udkast og godkendelse i samme flow

Den mest effektive struktur for AI i professionelle workflows er et simpelt to-trins flow: AI producerer udkastet, og et menneske godkender det. Ikke fra bunden. Ikke med red pen overalt. Men en fokuseret godkendelse af de elementer, der har størst risiko.

I praksis kan det se ud som et n8n-workflow, der automatisk sender AI-genererede svar til en godkendelseskø, inden de sendes videre. Eller det kan være en simpel intern aftale om, at alt AI-genereret indhold gennemgås af en kollega i fem minutter, inden det bruges.

Nøglen er, at godkendelsen er en del af flowet, ikke noget der sker ad hoc, når nogen husker det. Strukturerede processer er det, der gør AI til virksomheder til en stabil ressource frem for en kilde til ubehagelige overraskelser.

Automatisk flagging af risikable svar

Hvis du bruger AI i automatiserede workflows, f.eks. til kundeservice, e-mail besvarelse eller dokumenthåndtering, kan du bygge logik ind, der automatisk flagger svar, der indeholder bestemte mønstre.

Det kan være svar, der indeholder tal over et bestemt interval, svar der indeholder juridiske termer, svar der er under eller over en bestemt længde, eller svar der ikke indeholder et kildefelt. Disse svar sendes til manuel gennemgang i stedet for direkte ud i systemet.

Denne type automatisk flagging er en central del af et professionelt AI governance setup og er fuldt ud mulig at implementere med værktøjer som n8n eller Make, uden at det kræver en hel IT-afdeling bag sig. Det er AI risiko styring gjort praktisk.

Logning af fejl, så modellen bliver bedre over tid

Den del, de fleste glemmer: at lære af fejlene. Når du opdager en hallucination eller et forkert svar, noterer du det. Ikke bare for at undgå det samme problem igen, men for at forbedre dine prompts, dine systemer og dine kildekrav til AI over tid.

En simpel fejllog kan indeholde: dato, type fejl (forkert tal, opdigtet kilde, inkonsistent output), den prompt der udløste fejlen, og hvad du ændrede for at undgå gentagelse. Over tid giver det dig et billede af, hvilke typer opgaver din AI setup håndterer godt, og hvilke der kræver mere menneskelig involvering.

Hallucinationer i sprogmodeller forsvinder ikke. Men frekvensen og konsekvenserne kan reduceres markant med systematisk logning og løbende optimering. Det er det, der adskiller virksomheder, der bruger AI strategisk, fra dem der bare bruger det tilfældigt og håber på det bedste.

AI hallucinationer er håndterbare, ikke farlige, hvis du ved, hvad du kigger efter

Denne artikel har vist, at AI hallucinationer ikke er en grund til at holde sig fra kunstig intelligens. De er en grund til at bruge det med åbne øjne og en fast rutine i baghånden.

Vi har gennemgået, hvorfor sprogmodeller gætter, når de mangler kontekst, og hvorfor et selvsikkert svar kan være et advarselstegn. Vi har kigget på de tre mest almindelige typer af fejl: overpræcise detaljer, inkonsistente tal og ikke-eksisterende kilder. Vi har bygget en konkret tjekliste op, der giver dig kontrol uden at gøre hverdagen langsommere.

Og vi har set på, hvordan sporbarhed, skabeloner og logning gør det muligt at bruge AI ansvarligt i en reel forretningskontekst, hvad enten det handler om kundeservice, rapportering, kode eller kommunikation.

Den vigtigste pointe er denne: Pålidelig kunstig intelligens er ikke et spørgsmål om, hvilken model du bruger. Det er et spørgsmål om, hvilken ramme du bruger den inden for. Gode prompts, kildekrav, menneskelig godkendelse og en fast fejllog er ikke bureaucratisk bøvl. Det er det, der gør AI til et redskab, du kan stole på i praksis.

Har du spørgsmål til, hvordan du konkret bygger faktatjek og godkendelsesflows ind i jeres AI setup? Jeg hjælper gerne med at se på, hvor jeres største risici ligger, og hvad der giver mest mening at automatisere og hvad der skal forblive i menneskelige hænder.