Artikler med tag: Inferens

AMD udgiver Instella‑MoE‑16B‑A3B som fuldt åben Mixture‑of‑Experts sprogmodel med 16 mia. parametre og cirka 2,8 mia. aktiveret per token, trænet fra bunden på Instinct MI300X og MI325X. Vægte fra alle faser, datasammensætninger, træningskonfigurationer og inferenskode er ude. Det kan ændre driftsøkonomien for AI‑udrulning, men licensen for vægte begrænser kommerciel brug.

Forskere fra University of Wisconsin-Madison og Stanford University præsenterer Train-to-Test, et framework der optimerer modelstørrelse, træningsdata og inferens-samples samlet. Pointen er enkel: AI-økonomien bør ikke kun måles på træning, men på hele compute-budgettet.

NVIDIA har open-sourcet AITune under Apache 2.0 og gjort værktøjet tilgængeligt via PyPI. AITune samler tuning af PyTorch-modeller og -pipelines i én Python-API, benchmarker flere backends på model og hardware og vælger den hurtigste.

AI-vækst føles ikke som en glat, eksponentiel kurve, men som en trappe af teknologiske spring. Artiklen dykker ned i skiftet fra CPU til GPU – og nu til Groq’s LPU – og forklarer, hvorfor inferenshastighed, MoE-algoritmer og softwareintegration er de nye slagmarker. Med konkrete erfaringer fra Snilld og eksempler fra finans og offentlig sektor.