Vous faites tourner des LLMs en local comme le gros fifou de Hipster IA que vous êtes et, Ô drame, la VRAM de votre ordinateur explose dès que le contexte dépasse 8000 pauvres malheureux tokens ? Le problème c’est le KV cache les amis ! Le KV cache c’est ce truc qui stocke les clés et valeurs (…)