BERT (Bidirectional Encoder Representations from Transformers) er en avanceret sprogmodel udviklet af Google, der anvender dyb læring til at forstå og generere menneskelig tekst. BERT er designet til at forbedre maskinlæringens evne til at forstå konteksten af ord i sætninger ved at analysere dem i begge retninger (fra venstre mod højre og fra højre mod venstre).

De vigtigste koncepter relateret til BERT inkluderer:

• Transformer-arkitektur: BERT er baseret på transformer-arkitekturen, som er effektiv til at håndtere sekvenser af data, såsom tekst.
• Maskeret sprogmodellering: BERT trænes ved at skjule (maskere) nogle ord i en sætning og derefter forudsige disse ord baseret på konteksten.
• Forudtræning og finjustering: BERT gennemgår en forudtræningsfase på store tekstmængder og kan derefter finjusteres til specifikke opgaver som spørgsmål-svar eller sentimentanalyse.

BERT har revolutioneret naturlig sprogbehandling (NLP) ved at forbedre præcisionen af forskellige sprogrelaterede opgaver og har været grundlaget for mange efterfølgende sprogmodeller.