Indledning til post-træning af sprogmodeller

Den stigende udvikling inden for kunstig intelligens har medført en større fokus på post-træning af store sprogmodeller som GPT-4. Post-træning handler om at raffinere adfærden af modellerne og forbedre deres kapabiliteter ud over den oprindelige træningsfase. Det omfatter teknikker som supervised fine-tuning (SFT) og reinforcement learning. Disse metoder er designet til at få modeller til at overholde menneskelige præferencer og opfylde specifikke opgavekrav.

Vigtigheden af syntetiske data

Syntetiske data spiller en central rolle i post-træning, da de muliggør evaluering og optimering af teknikkerne. Dog er forskningen på dette felt stadig i sin begyndelse, da tilgængeligheden af data og skalerbarhed er begrænsede. Uden adgang til høj-kvalitets datasæt, bliver det vanskeligt at analysere effekten af forskellige finjusteringsstrategier og vurdere deres virkning i virkelige anvendelser.

Udfordringer i post-træning

En af de største udfordringer inden for post-træning er mangel på store, offentligt tilgængelige syntetiske datasæt, der er velegnede til træning af sprogmodeller. Forskere har brug for bred adgang til konversationelle datasæt, som tillader meningsfulde komparative analyser og forbedring af justeringsstrategierne. Den manglende standardisering af datasæt begrænser evnen til at evaluere post-træningspræstationer på tværs af forskellige modeller.

Snillds perspektiv på udfordringerne

Hos Snilld ser vi på post-træning med stor interesse, især i forhold til vores arbejde med at designe og implementere AI-løsninger for SMV’er. Manglen på passende data betyder, at vi ofte må skræddersy løsninger til hver enkelt kunde. Dette understreger behovet for fleksibilitet og tilpasning i AI-løsninger, noget vi er dygtige til at levere.

Løsninger til dataudfordringer

En potentiel løsning på datamanglen er udviklingen af syntetiske datasæt, som f.eks. det nyligt introducerede WILDCHAT-50M. Dette omfattende datasæt, udviklet af forskere ved New York University, sigter mod at facilitere LLM-post-træning ved at inkludere svar fra mere end 50 åbne modeller. WILDCHAT-50M gør det muligt med en bred komparativ analyse og forbedring af post-træningsteknikker.

Muligheder med WILDCHAT-50M

WILDCHAT-50M består af ca. 125 millioner chattranskripter, som giver mulighed for en hidtil uset skala af syntetiske interaktioner. Datasættet blev frembragt over to måneder ved hjælp af en delt forskningsklynge, der optimerede effektiviteten og sikrede en diversitet af svar. Dette store datasæt er desuden basis for RE-WILD, en ny SFT-blanding designet til at forbedre træningseffektiviteten af LLM’er.

Potentielle effekter af RE-WILD

Det nyere RE-WILD SFT-tilgang demonstreret i forskningen, har outperformed andre teknikker som Tulu-3 SFT-mix fra Allen AI, mens det kun brugte 40% af datasættets størrelse. Dette viser mulighederne for besparelser og forbedret ydeevne ved implementering af smartere SFT-strategier.

Udviklingen af dataforbruget

Post-træningsprocesser, som dem brugt af WILDCHAT-50M, fremviser mulighederne for forbedring i modelperformance og effektivitet. Det understreger også behovet for åbne, offentligt tilgængelige datasæt for at lette skabelsen af stærkere og mere generelle modeller. Dette er kritisk for akademiske og industrielle brugere, som ønsker at skabe LLM’er, der generaliserer bedre på tværs af opgaver.

Kosteffektivitet i post-træning

De stigende omkostninger ved post-træning kan være en barriere for mindre institutioner, men det understreger også nødvendigheden af at finde mere kosteffektive tilgange. AI-forskning, herunder brugen af syntetiske data, kan hjælpe med at reducere omkostningerne ved at erstatte menneskelig evaluering med AI-baseret feedback, hvilket dramatisk kan sænke omkostningen pr. datapunkt.

Snillds rolle i post-træning

På Snilld hjælper vi virksomheder med at navigere i kompleksiteten ved AI-implementering, herunder post-træning af sprogmodeller. Vores unikke tilgang til skræddersyede AI-implementeringer betyder, at vi kan tilpasse vores løsninger til hver enkelt virksomhed, selv når standardiserede datasæt ikke er tilgængelige. Dette sikrer, at vores kunder får den bedst mulige løsning.

Fremtidsperspektiver for LLM-post-træning

I takt med at forskningen på området for post-træning af sprogmodeller udvikler sig, er det afgørende, at der etableres klare standarder for datasættene. Dette vil forbedre sammenligneligheden på tværs af studier og lette videnskabeligt samarbejde mellem akademia og industri. Snillds rådgivning kan bidrage med praktisk viden til organisationer, der ønsker at indføre AI-integration i deres arbejdsprocesser.

Opsummering

I sidste ende viser udvikling som WILDCHAT-50M, at der er fantastiske muligheder for fremtidig udvikling i AI-post-træning. Udnytter man disse fremskridt til fulde, vil det blive muligt at skabe mere effektive og tilpassede sprogmodeller, der kan håndtere et bredere spektrum af opgaver og interaktioner. Dette kræver en vedvarende indsats inden for både forskning og implementering af AI-løsninger.

Snillds Engagement i AI

Snilld vil fortsat være engageret i at levere skræddersyede AI-løsninger til erhvervslivet og at udvikle nye strategier for at optimere effektiviteten af LLM’er gennem post-træning. Vi er stolte over vores bidrag til det voksende felt af AI og ser frem til at hjælpe vores kunder med at maksimere fordelene ved AI-teknologi i deres processer.

Kilder:

• https://www.marktechpost.com/2025/02/04/nyu-researchers-introduce-wildchat-50m-a-large-scale-synthetic-dataset-for-efficient-llm-post-training/
• https://www.interconnects.ai/p/the-state-of-post-training-2025
• https://www.marktechpost.com/2025/02/04/nyu-researchers-introduce-wildchat-50m-a-large-scale-synthetic-dataset-for-efficient-llm-post-training/
• https://arxiv.org/html/2406.15126v1
• https://www.reddit.com/r/MachineLearning/comments/10rpj0f/d_why_do_llms_like_instructgpt_and_llm_use_rl_to/
• https://arxiv.org/abs/2405.13181

Målgruppens mening om artiklen

88

*Denne artiklen er skrevet af en redaktion bestående af kunstig intelligenser, der har skrevet artiklen på baggrund af automatiseret research og oplysninger om de seneste teknologi nyheder fra internettet.

Billederne i artiklen er lavet af Fluxx Schnell fra Black Forest Labs.