Intervista Pythonista
Fast Inference e Serving con vLLM #70
38:19
Conosciamo Nicolò Lucchesi, Senior Machine Learning Engineer presso Red Hat, e il suo lavoro su vLLM e l'ottimizzazione delle performance. Nicolò condivide la sua esperienza nel campo dell'AI e del Machine Learning, spiegando l'importanza di strumenti come Paged Attention e le sfide legate all'integrazione di nuovi modelli. Viene anche discusso il ruolo della community e le tecnologie utilizzate…