Sites Web : vLLM-MLX - Pour remplacer l’API d’OpenAI par votre propre Mac - Site d’actualité geek, informatique et high tech - Korben.info

Publié le lundi 6 octobre 2008

⇒ https://korben.info/

Blog portant sur l’actualité informatique, geek et high-tech

vLLM-MLX - Pour remplacer l’API d’OpenAI par votre propre Mac

https://korben.info/vllm-mlx-serveur-inference-apple-silicon/vllm-mlx-serveur-inference-apple-silicon-1.png
18 mai, Par Korben ✨

Si vous avez un Mac avec une puce Silicon et que vous en avez marre de raquer pour des tokens à chaque requête API à un LLM à la con, y’a un projet qui mérite, je trouve, le détour. Ça s’appelle vLLM-MLX , et c’est un serveur d’inférence local qui transforme votre Mac en machine à générer du (…)

→ Lire la suite sur le site d’origine…


Revenir en haut