Transformer arkitektur er en type neuralt netværk, der blev introduceret i 2017 af Vaswani et al. i artiklen “Attention is All You Need”. Denne arkitektur er designet til at håndtere sekventielle data, såsom tekst, og er især kendt for sin effektivitet i natural language processing (NLP) opgaver.

De vigtigste koncepter i transformer arkitekturen inkluderer:

• Selvopmærksomhed: En mekanisme, der gør det muligt for modellen at vægte forskellige dele af inputsekvensen forskelligt, hvilket hjælper med at forstå konteksten og relationerne mellem ord.
• Positional encoding: Da transformer arkitekturen ikke bruger rekursive eller konvolutionelle strukturer, tilføjes positionsinformation til inputdataene for at bevare rækkefølgen af sekvenserne.
• Encoder-decoder struktur: Transformer arkitekturen består typisk af to hovedkomponenter: en encoder, der behandler inputdata, og en decoder, der genererer outputdata.
• Parallel behandling: I modsætning til tidligere sekventielle modeller kan transformer arkitekturen behandle alle elementer i en sekvens samtidigt, hvilket øger hastigheden og effektiviteten.

Transformer arkitekturen har revolutioneret feltet NLP og er grundlaget for mange moderne sprogmodeller, herunder BERT, GPT og mange andre.