Kort og konkret nyhed
Ifølge forfatterne og omtalen hos MarkTechPost introducerer Sakana AI PC‑ALM, en lag‑lokal træningsmetode i familien predictive coding. De rapporterer, at residual‑MLP’er med op til 1000 lag kan trænes på MNIST med præstationer inden for cirka to procentpoint af backpropagation. Der henvises desuden til en MIT‑licenseret JAX‑referenceimplementering, som kan køre på CPU og genskabe et bredde‑dybde‑grid fra papiret. De konkrete tal og tolkninger er forfatternes egne rapporter; tredjepartsverifikation er ikke dokumenteret i kilden.
Hvad predictive coding er og hvorfor det er relevant
I standard predictive coding behandles skjulte aktiveringer som optimeringsvariable, og hvert lag straffer kvadratisk forskellen mellem sin aktuelle aktivering og forudsigelsen fra laget under. Inference kører som gradientnedstigning i denne energi, og vægte opdateres Hebbian‑agtigt. Det giver en pæn lokal opdeling af arbejdet, men supervisionen tilføres i toppen og må diffundere ned gennem mange små kompromisser. I dybe og smalle netværk forsvinder kredit‑signalet undervejs, og nøjagtigheden halter efter backprop, særligt når dybden overhaler bredden, som omtalt i Innocenti m.fl.
Hvad PC‑ALM konkret ændrer
PC‑ALM skriver træningen som et constraints‑problem: minimer den superviserede loss under kravet h_i = σ(W_i h_{i−1}) i hvert lag. Hvor klassisk PC svarer til en kvadratisk straf af disse constraints, tilføjer PC‑ALM per‑lag Lagrange‑multiplikatorer λ_i (lokal fejl‑state) og bruger en augmented Lagrangian med vægt ρ (penalty‑vægt). Inference kører i lokale, indre iterationer T (antal indre trin pr. batch) med to skridt: et primal‑skridt, der justerer aktiveringerne, og et dual‑skridt λ_i ← λ_i + α r_i, hvor α er dual‑stepstørrelsen og r_i er lagets prædiktionsfejl.
Som beskrevet i omtalen kan hvert primal‑skridt ses som en PC‑opdatering med målpunkt forskudt af −λ_i/ρ. Efter T indre trin påvirkes vægtopdateringen af signalet λ_i + ρ r_i. Mekanisk minder det om en PI‑regulator pr. lag: r_i er proportionaldelen, λ_i er det integrerede led. Pointen i praksis er, at multiplikatoren akkumulerer fejl lokalt, så kredit ikke fordamper fra skridt til skridt i dybe kæder.
Teorien, præciseret
Ifølge omtalen viser forfatterne i den lineære case, at under en spektral‑stabilitetsbetingelse konvergerer PC‑ALM mod et KKT‑punkt, hvor aktiveringer vender tilbage til forward‑værdierne, og λ_i matcher backprop‑adjoints. Det er en klar kobling — men kun bevist for lineære net under nævnte betingelser. ReLU‑aktiveringer, batchnorm og dropout ændrer dynamikken markant og gør, at konklusionen ikke kan læses som et generelt bevis for ikke‑lineære, regulariserede modeller.
Omtalen noterer også, at PC‑ALM’s iterationsmatrix kan få komplekse egenværdier og dermed dæmpede svingninger. Frekvensen styres af α, mens dæmpningen følger af den samlede stabilitet. Det er et spørgsmål om fornuftige hyperparametre snarere end et rødt flag i sig selv.
Hvad forfatterne rapporterer empirisk
Ifølge forfatterne matcher PC‑ALM backprop på tværs af grids af bredde og dybde på MNIST og Fashion‑MNIST, hvor standard‑PC kollapser i de dybeste og smalleste celler. Omtalen gengiver blandt andet en referencecelle på Fashion‑MNIST, hvor PC‑ALM nærmer sig backprop både i nøjagtighed og gradient‑alignment. De rapporterer også, at 1000‑lags residual‑MLP’er på MNIST holder sig inden for cirka to procentpoint af backprop efter få epoker. Disse tal er forfatternes; uafhængig reproduktion uden for gruppen er ikke dokumenteret i kilden.
Kode, licens og reproducerbarhed
Der henvises til en JAX‑reference under MIT‑licens, som kan køre på CPU og genskabe bredde‑dybde‑grid fra papiret. For reproducerbarhed bør læseren gå direkte til forfatternes papir og repo (README og scripts) frem for sekundære omtaler. Tjek især seeds, hyperparametre og træningsprotokoller, før resultater sammenlignes én til én.
Operationel vurdering i praksis
Den afgørende forskel fra backprop er T: de indre iterationer pr. batch. Det øger compute pr. opdatering og kan ændre udnyttelse på GPU/TPU. En nøgtern måleplan kunne være: på CPU og én mellemklasse‑GPU, mål 1) wall‑clock per epoch og per 1000 opdateringer, 2) peak‑ og gennemsnitlig memory, 3) energi per opdatering (hvis wattmåler er tilgængelig), 4) accuracy og gradient‑alignment mod en stærk backprop‑baseline, 5) følsomhed for α, ρ og T. Brug mindst 3–5 seeds pr. konfiguration og rapportér middelværdi samt spredning.
Hvorfor det kan betyde noget i praksis
Backprop er globalt og hårdt optimeret i software og hardware. Hvis PC‑ALM’s lag‑lokale opdateringer reducerer behovet for synkronisering og aktiveringsbuffering, er der et potentiale i miljøer med stramme kommunikations‑ eller energibudgetter. Det gælder on‑device tilpasning på edge‑enheder, distribueret træning med begrænset båndbredde eller asynkrone scenarier uden tunge barrierer mellem lag.
Rent systemisk kan λ_i ligge tæt på compute i små on‑chip buffere, mens aktiveringer ikke nødvendigvis skal holdes til et globalt backward‑trin. Det kan skære i dataflyt. Risikoen er, at mange korte lokale skridt drukner i kernel‑overhead på generiske GPU’er, så gevinsten forsvinder i praksis.
Tradeoffs der skal håndteres
Prisen er flere indre iterationer pr. batch og ekstra state i form af λ_i pr. lag. Det kan øge latenstid og reducere kerneudnyttelse på GPU/TPU. Følsomhed for α (dual‑step), ρ (penalty) og T (indre trin) kan desuden ramme stabilitet og konvergenshastighed. I MLOps ændres kravene: checkpointing skal medtage eller kunne genskabe multiplikator‑state, og rollback kræver omtanke, når opdateringer sker via lokale primal/dual‑trin.
I regulerede miljøer gælder de velkendte krav: dokumenterbar valideringsspor, determinisme ved genkørsel og klare rollback‑procedurer, før en ny træningssløjfe får lov at køre i produktion.
Hvad man kan teste i morgen
Start småt og målbart: reproducér CPU‑grid på MNIST/Fashion‑MNIST med forfatternes hyperparametre; mål wall‑clock, peak‑memory og accuracy mod backprop. Kør derefter samme setup på GPU for at se, om T‑iterationerne skader udnyttelsesgraden. Udvid til CIFAR‑10/100 og et lille ImageNet‑subset. Profiler tid, hukommelse og energi — ikke kun accuracy. Stop tidligt, hvis T‑budgettet skal øges proportionalt med dybden for at holde alignment.
- Reproducer bredde‑dybde‑grid på CPU med forfatternes settings
- Udvid til 3–5 seeds og rapportér middel og spredning
- Benchmark på GPU for udnyttelsesgrad og latenstid
- Test CIFAR‑10/100 og et lille ImageNet‑subset med faste og varierende T
- Profiler energi per opdatering, peak‑memory og wall‑clock
- Stress‑test α, ρ, T for at kortlægge stabilitet
Ekspertblik og skepsis
En teoretiker vil hæfte sig ved koblingen mellem multiplikatorer og adjoints i lineære net: den er interessant som pejlemærke, men siger ikke meget om ReLU‑net med batchnorm og dropout. En praktiker vil kigge på regningen: hvis T skal skaleres med dybden, stiger compute, og matrix‑kerner udnyttes dårligere. Dertil kommer spørgsmål om synkronisering af multiplikator‑state i klynger og fejlscenarier midt i en indre sløjfe.
Hvad der står klart — og hvad der ikke gør
Klart fra omtalen: PC‑ALM præsenteres som en lag‑lokal læringsregel med en stringent teoretisk kobling til backprop i lineære net, og de småskalafund peger på mindre PC–BP‑gab i dybe, smalle opsætninger. Koden er, ifølge forfatterne, frit tilgængelig under MIT‑licens.
Mangler stadig: fuld forsøgsprotokol på tværs af seeds, skalerbarhed til større datasæt, tids‑ og energipris mod en stærk backprop‑baseline, samt driftsmønstre i distribuerede miljøer. Også uklart, om 1000‑lags demonstrationen beror på særlige arkitekturvalg, der ikke generaliserer.
Prioritet og næste skridt
Prioritér konkret: 1) reproducér CPU‑grid, 2) mål wall‑clock og memory på GPU, 3) sammenlign energi per opdatering, 4) test CIFAR‑10/100 med faste og stigende T, 5) dokumentér stabilitet på tværs af seeds. Først hvis tallene holder, giver det mening at investere i større forsøg eller hardware‑mapping.
Bundlinjen er nøgtern: PC‑ALM er et interessant lag‑lokalt alternativ med lovende signaler ifølge forfatterne. Beslutninger bør bygge på egne målinger af tid, energi, hukommelse og nøjagtighed — ikke på forhåbninger.
