Datasæt er grundstenen for sprogmodeller

Uanset om du arbejder med AI i undervisning, erhverv eller tekstproduktion, er datasættet det usynlige fundament, der afgør, hvor god en sprogmodel bliver. Sprogmodeller lærer ikke af sig selv – de skal fodres med enorme mængder tekst, der afspejler det sprog og den virkelighed, vi ønsker, de skal forstå. Derfor er valget og behandlingen af datasæt afgørende for, om AI kan levere brugbare, retvisende og nuancerede resultater.

For både lærere, kommunikatører og virksomheder er det derfor ikke bare et teknisk spørgsmål, men et strategisk valg, der får direkte betydning for kvaliteten af AI-genereret tekst, undervisningsmateriale og automatiserede processer.

Hvad kendetegner et godt datasæt?

Et godt datasæt til sprogmodeller skal først og fremmest være stort – gerne millioner eller milliarder af ord. Men størrelse alene gør det ikke. Datasættet skal også være varieret, så modellen lærer både dagligdags sprog, fagsprog og forskellige tekstgenrer. Kvaliteten er dog mindst lige så vigtig: Fejl, stavebøffer, bias og støj kan hurtigt forplante sig til modellen og give uønskede resultater.

De største udfordringer er:

• Fejl og inkonsistens i teksten
• Bias – f.eks. skæv kønsfordeling eller kulturel ensidighed
• Støj – irrelevante eller meningsløse data
• Manglende repræsentation af minoriteter eller specialiserede emner

Det kræver både teknisk snilde og kritisk sans at udvælge og rense datasæt, så de matcher formålet.

Eksempler på udbredte datasæt

Der findes en række populære datasæt, som bruges til at træne de mest udbredte sprogmodeller:

• Common Crawl: Et gigantisk datasæt på over 9,5 petabyte, indsamlet fra hele internettet. Fordelen er mangfoldigheden, men det kræver massiv rensning for at fjerne støj, bias og dubletter.
• C4 (Colossal Clean Crawled Corpus): En “renset” version af webcrawl-data, ca. 750GB. Lettere at bruge end Common Crawl, men stadig med risiko for bias og fejl.
• Wikipedia: Ca. 19GB engelsksproget, struktureret og velredigeret tekst. Høj kvalitet, men meget encyklopædisk – kan give modeller, der skriver lidt for tørt.
• WikiText: Udvalgte, kvalitetssikrede Wikipedia-artikler. Findes i versioner på 2 mio. og 100 mio. ord. God til træning af mindre modeller.
• BookCorpus: Tekster fra bøger – god til sammenhængende tekst og fortællinger, men indeholder copyright-udfordringer og social bias.
• The Pile: 825GB blandet tekst fra bøger, artikler, kode og forskning. Dækker mange emner, men kvaliteten svinger, og der er risiko for dubletter.

Ingen datasæt er perfekte – det handler om at kende styrker og svagheder og vælge ud fra formål.

Sådan får du fat i datasæt

De fleste datasæt kan findes på åbne repositorier som Hugging Face (huggingface.co/datasets). Her kan du nemt søge, downloade og bruge datasæt direkte i Python. For eksempel kan WikiText-2 hentes og bruges med få linjer kode:

import random
from datasets import load_dataset

dataset = load_dataset("wikitext", "wikitext-2-raw-v1")
print(f"Size of the dataset: {len(dataset)}")
n = 5
while n > 0:
    idx = random.randint(0, len(dataset)-1)
    text = dataset[idx]["text"].strip()
    if text and not text.startswith("="):
        print(f"{idx}: {text}")
        n -= 1

Det kræver dog, at du har installeret Hugging Face-biblioteket (pip install datasets), og at du har plads på harddisken.

Fejl og bias i datasæt

Fejl og bias opstår, når datasættet ikke afspejler virkeligheden korrekt. Det kan være alt fra stavefejl, forældet sprogbrug og tekniske fejl til systematisk skævhed i køn, etnicitet eller holdninger. For eksempel har analyser vist, at sprogmodeller trænet på Common Crawl ofte overtager fordomme og stereotyper fra nettet.

Meta-rater-metoden, præsenteret på ACL 2025, viser, at det ikke er nok at måle på én dimension. Professionalisme, læsbarhed, evne til at ræsonnere og “cleanliness” skal alle vægtes, hvis man vil undgå at fejl og bias sniger sig ind i modellen. Meta-rater kan faktisk halvere træningstiden og forbedre resultaterne med over 3% på store modeller.

Rensning og efterbehandling af datasæt

Rensning er alfa og omega. Det kan være alt fra at fjerne HTML-tags, dubletter og irrelevante tegn til at ensrette tekst (fx gøre alt til små bogstaver). Her er et simpelt eksempel på efterbehandling af WikiText-2:

def wikitext2_dataset():
    dataset = load_dataset("wikitext", "wikitext-2-raw-v1")
    for item in dataset:
        text = item["text"].strip()
        if not text or text.startswith("="):
            continue  # spring tomme linjer og overskrifter over
        yield text.lower()  # lav alt om til små bogstaver

Det handler om at finde balancen: For meget rensning kan fjerne vigtige nuancer, for lidt kan give støj og fejl. Brug gerne flere værktøjer og test løbende på små datasæt, før du skalerer op.

Konsekvenser for undervisning og kommunikation

Fejl og bias i datasæt kan forplante sig direkte til AI-genereret tekst. For undervisere betyder det, at elever kan få forkerte eller unuancerede svar. For virksomheder kan det give kommunikation, der ikke rammer målgruppen eller – værre – støder nogen fra sig. Derfor er det vigtigt at teste og validere output, især hvis AI skal bruges til at generere undervisningsmateriale eller ekstern kommunikation.

Vi anbefaler at lave små cases, hvor output fra modellen sammenlignes med “rigtige” tekster, og at der laves tjeklister for neutralitet og korrekthed.

Sprogmodeller som værktøj i praksis

Lærere, forfattere og kommunikatører kan bruge sprogmodeller til at forbedre tekster, generere idéer og automatisere rutineopgaver. Men det kræver, at man er kritisk: Spot fejl og bias, og ret dem manuelt. Brug AI som sparringspartner – ikke som facitliste.

Et godt tip er at bruge “prompt engineering” til at styre output og løbende give feedback til modellen, så den lærer af sine fejl. Kombinér gerne AI med menneskelig redigering for at få det bedste resultat.

Opsummering og videre ressourcer

Datasæt er grundlaget for alle sprogmodeller – og dermed for kvaliteten af AI i undervisning og erhverv. Vælg datasæt med omhu, rens og test dem grundigt, og vær opmærksom på fejl og bias. Brug åbne ressourcer som Hugging Face, og følg med i den nyeste forskning, fx Meta-rater, der sætter nye standarder for datasæt-kvalitet.

Vil du vide mere? Tjek Hugging Face Datasets og Meta-rater for scripts og data.

Fremtidens datasæt og sprogmodeller

Udviklingen går stærkt. Fremtidens sprogmodeller vil kræve endnu bedre datasæt – både i kvalitet, diversitet og gennemsigtighed. Nye metoder som Meta-rater viser vejen mod mere nuanceret og effektiv dataselektion. For alle, der arbejder med AI, bliver det afgørende at forstå og påvirke datasættets sammensætning, hvis vi vil have modeller, der kan bruges ansvarligt og effektivt i praksis.

Kilder:

• https://machinelearningmastery.com/datasets-for-training-a-language-model/
• https://aclanthology.org/2025.acl-long.533/
• https://machinelearningmastery.com/
• https://ar5iv.labs.arxiv.org/html/2101.00027
• https://discuss.huggingface.co/t/generating-croissant-metadata-for-custom-image-dataset/150255
• https://arxiv.org/html/2510.08588v1

Målgruppens mening om artiklen

Anne Madsen, gymnasielærer:
Jeg giver artiklen 85. Den er meget relevant for mig som underviser, fordi den forklarer, hvorfor datasæt er vigtige for kvaliteten af AI i undervisningen. Jeg synes, den rammer plet med eksempler og advarsler om bias, men jeg kunne godt have ønsket flere konkrete cases fra undervisningsverdenen.

Jonas Petersen, kommunikationskonsulent:
Jeg giver den 78. Artiklen er grundig og forklarer datasæt på et niveau, hvor jeg sagtens kan følge med. Jeg savner dog lidt mere om, hvordan man konkret kan spotte og rette bias i praksis i kommunikation, men ellers er det en solid introduktion.

Camilla Sørensen, AI-udvikler:
Jeg giver den 92. Artiklen er teknisk velfunderet og rammer mange af de problemstillinger, jeg selv arbejder med. Den nævner både rensning, bias og de vigtigste datasæt, og jeg synes især afsnittet om Meta-rater er spændende og aktuelt.

Mikkel Holm, erhvervsleder:
Jeg giver den 70. Den er lidt teknisk til tider og kunne godt være mere målrettet beslutningstagere. Men den gør det klart, hvorfor datasæt ikke bare er et IT-anliggende, men noget der har strategisk betydning for virksomheden.

Sarah Lind, tekstforfatter:
Jeg giver den 80. Jeg kan bruge mange af pointerne, især om kvalitet og rensning af datasæt, når jeg arbejder med AI-genereret tekst. Jeg savner dog lidt flere konkrete eksempler på, hvordan fejl og bias kan påvirke slutproduktet i praksis.

*Denne artiklen er skrevet af en redaktion bestående af kunstig intelligenser, der har skrevet artiklen på baggrund af automatiseret research og oplysninger om de seneste teknologi nyheder fra internettet.

Billederne i artiklen er lavet af FLUX.1.1 Pro fra Black Forest Labs.