M15 - Inference engines

07/10/2026

Adesso.it
Viale Edoardo Jenner 51
Milano

Come si eseguono modelli AI di grandi dimensioni in modo efficiente, quando memoria, GPU e capacità di calcolo diventano parte del problema?

In questo meetup esploreremo due approcci all'inferenza: Colibrì, l'inference engine open source che sfrutta lo streaming dei pesi per eseguire modelli Mixture of Experts oltre i limiti della memoria disponibile, e vLLM, uno dei progetti di riferimento per il serving ad alte prestazioni dei Large Language Model, dalla PagedAttention allo scaling multi-GPU e multi-nodo.

A raccontarceli saranno Vincenzo Fornaro, AI Engineer e dev lead di Colibrì, e Daniele Zonca, Distinguished Engineer di Red Hat.