NVIDIA har open-sourcet AITune, et inference-toolkit til tuning og deployment af deep learning-modeller med fokus på NVIDIA-GPU’er. Værktøjet er udgivet under Apache 2.0 og kan installeres via PyPI. AITune benchmarker flere backends på den konkrete model og hardware og vælger den hurtigste.

Det går lige ind i et kendt problem i modeldrift. En PyTorch-model kan virke fint i udvikling og stadig være dyr eller besværlig at få til at køre hurtigt i produktion. Her prøver NVIDIA at fjerne noget af det manuelle slid.

NVIDIA vil automatisere backend-valget for PyTorch

AITune samler tuning af PyTorch-modeller og -pipelines i én Python-API, så teams ikke selv skal konfigurere hver backend manuelt. Det understøtter TensorRT, Torch-TensorRT, TorchAO og Torch Inductor. De værktøjer har forskellige styrker, så valget afhænger af både model og hardware.

Historisk har det krævet separat benchmarking og en del custom engineering at finde den rigtige vej. Det er den del AITune skal automatisere.

Fra udvikling til produktion

Værktøjet opererer på nn.Module-niveau. Det bruger compilering og konvertering for at forbedre inferenshastighed og effektivitet på tværs af workloads som computer vision, NLP, talegenkendelse og generativ AI.

NVIDIA beskriver de tunede modeller som klar til deployment i produktionsmiljøer. Det gør nyheden relevant for drift, ikke kun for eksperimenter. For det er først i produktion, at svartider, stabilitet og GPU-forbrug for alvor begynder at koste noget.

Kilder

• NVIDIA Releases AITune: An Open-Source Inference Toolkit That Automatically Finds the Fastest Inference Backend for Any PyTorch Model
• AIDeveloper44