Blog portant sur l’actualité informatique, geek et high-tech
vLLM-MLX - Pour remplacer l’API d’OpenAI par votre propre Mac
18 mai, Par Korben ✨Si vous avez un Mac avec une puce Silicon et que vous en avez marre de raquer pour des tokens à chaque requête API à un LLM à la con, y’a un projet qui mérite, je trouve, le détour. Ça s’appelle vLLM-MLX , et c’est un serveur d’inférence local qui transforme votre Mac en machine à générer du (…)
→ Lire la suite sur le site d’origine…
