MarkTechPost har udgivet en tutorial, der går MolmoAct igennem trin for trin. Den viser, hvordan action-reasoning-modeller kan ræsonnere i rum ud fra visuelle observationer, med opsætning af miljø, modelindlæsning, multi-view billedinput og inferens undervejs. Mere konkret handler det om, at modellen kobler naturlige sproginstruktioner med dybdebevidst ræsonnering, visuelle spor og handlingsorienterede robotoutput. Det er stadig en tutorial, ikke en driftstest, men som temperaturmåling er den interessant.

Tutoriallen ser også på, hvordan modellen parser handlinger, visualiserer trajektorier og kan indgå i mere avancerede pipelines til robotikorienterede opgaver. Det er grunden til, at den stikker lidt ud fra den sædvanlige modeldemo. Her er fokus ikke kun på at genkende, hvad der er i et billede, men på at komme et skridt videre og pege mod en mulig handling.

Det tekniske setup

Den viste kode installerer de pakker, der skal bruges for at køre MolmoAct, blandt andet torch 2.0.0 eller nyere, torchvision, transformers 4.52, accelerate, einops, Pillow, numpy, matplotlib, requests, scipy og huggingface_hub. Kildeteksten beskriver også opsætning i Google Colab, hvor runtime tjekker, om GPU-acceleration er til rådighed. Det gør gennemgangen mere håndgribelig for folk, der faktisk vil vurdere, om det her kan afprøves uden det store cirkus. Altså, ikke bare flotte slides.

Modelkonfigurationen er også konkret. Der bruges allenai/MolmoAct-7B-D-0812 med bfloat16 som torch_dtype, device_map sat til auto, max_new_tokens på 256, temperatur 0.0 og do_sample sat til false. Det er små detaljer, men det er også dem, der afslører, om vi ser på en reel kodegennemgang eller bare en løs beskrivelse. Her er det det første.

Hvorfor det er værd at følge

I den medsendte brief bliver MolmoAct-tutoriallen læst som et eksempel på agentiske, visuelle AI-systemer, der kan omsætte observationer til handling med dybdeforståelse. Det er en rimelig læsning. Når en model arbejder med multi-view input og rumlig ræsonnering, bliver den straks mere relevant for fysiske arbejdsgange, hvor et enkelt billede sjældent er nok.

Det er her erhvervsperspektivet begynder at blive konkret. Briefen peger på visuel kvalitetskontrol, lager og logistik, robotassisteret plukning, feltinspektion og sikkerhedsovervågning som mulige anvendelser. Det er ikke dokumenteret drift i tutoriallen, og det skal man holde fast i. Men retningen er til at få øje på.

Kilder

• A Coding Implementation of MolmoAct for Depth-Aware Spatial Reasoning, Visual Trajectory Tracing, and Robotic Action Prediction
• AIDeveloper44