Artikler med tag: CUDA

ByteDance Seed og Tsinghua AIR præsenterer CUDA Agent, et agentisk RL‑system der træner en stor sprogmodel til at skrive CUDA‑kernels, som på en 250‑opgavers benchmark oftere slår torch.compile end den taber – med 2,11× geomean‑speedup ifølge forskerholdets egen rapportering. Det lukker et konkret performance‑gab og har praktiske konsekvenser for teams med GPU‑tunge arbejdslaster, men fuld replikation kræver massiv infrastruktur, og vægtene er ikke frigivet.

Faktatjekket gennemgang af tutorialen, der viser, hvordan 1-bit Bonsai-27B køres lokalt med PrismMLs fork af llama.cpp, CUDA-builds og en OpenAI-kompatibel server. Oplysningen om ~5,2 GB peak ved 4K context gengives som forfatterens enkeltmåling, og områder uden dækning i kilderne markeres som sådanne.

Et nyt open source‑bibliotek fra UC Berkeley og UT Austin omstrukturerer dataflowet i Lloyds k‑means på GPU. Flash‑KMeans flytter flaskehalsen væk fra HBM‑IO ved at streame fliser til SRAM og flette afstandsberegning med online argmin, og rapporterer op til 17,9× end‑to‑end speedup, 33× over cuML og mere end 200× over FAISS på NVIDIA H200. Licens er Apache 2.0, installation via pip.

Google udfordrer Nvidia på AI-hardware med TPUv7, der lover lavere omkostninger og højere performance for store AI-projekter. Artiklen dykker ned i tekniske forskelle, økonomiske konsekvenser, barrierer for migration og hvad udviklingen betyder for danske virksomheder og offentlige aktører.

Huawei har gjort deres CANN-platform open source for at udfordre NVIDIAs AI-monopol. Artiklen afdækker barrierer, tekniske forskelle og forretningsmuligheder for danske firmaer – og guider virksomheder til at tænke strategisk og kritisk, før migrering eller investering.